五台山历史悠久，佛教传入中国后就在这里建寺。这座最古老的佛教名山，有时兴盛，有时衰落，历经沧桑。中国佛教各宗派都到这里活动，遍山形形色色的佛教寺庙星罗棋布。五台山是文殊菩萨的道场，佛经中就有这样的记载。文殊菩萨是释迦牟尼佛的左胁侍，在佛教中以智慧辩才著名，所以又称大智文殊，他顶结五髻，手持宝剑，骑坐狻猊，象征智慧、锐利、威猛，在四大菩萨中排在头位。因此，他的道场也就特别显赫。
据多种古书记载，东汉明帝永平八年（65年），汉明帝刘庄一天夜里梦见金人向西飞去，于是就派大臣去西天拜求佛法，请来了高僧摄摩腾、竺法兰，用白马驮回佛经和佛像，并在洛阳建起了白马寺。永平十一年，摄摩腾和竺法兰从洛阳来到清凉山，这两位高僧“慧眼识灵山”，认为这里与释迦牟尼修行的灵鹫山很相似，又有印度阿育王的舍利塔，是文殊菩萨演教的地方，便奏请汉明帝在这里兴建了大孚灵鹫寺。这座五台山的开山寺，也就是现今的显通寺，与白马寺同为中国最古老的佛教寺院，又可视为中国辟山建寺的最早的记录。
五台山历经沧桑，从它的兴盛和衰微也可窥见中国佛教发展的一斑。中国佛教史上曾经发生过四次“灭佛”事件，五台山都首当其冲。北魏时期，魏太武帝笃信道教，下令摧毁各地佛教寺庙，五台山初次遭受了厄运。不久，文成帝即位，又开始复兴佛教，五台山重建寺庙，香火日益兴旺。北齐时期，五台山寺院已超过二百处。北周武帝宇文邕消灭北齐后，推行废佛政策，五台山佛教又受到沉重打击，寺庙全部被拆毁。隋兴，隋文帝、隋炀帝都是佛教信徒，热衷于扶植佛教，对五台山更特别重视，命在五个台顶都建寺庙。唐朝开国以后，唐太宗和武则天等都大力倡导佛教，五台山又进入新的发展时期。这期间，名僧辈出，各宗派都到五台山活动，使五台山佛教呈现出异彩。唐代的初、中期，是中国佛教的全盛时期，中国佛教走向成熟，当时五台山寺院多达360余处。敦煌莫高窟第61窟内的《五台山图》壁画，画面60多平方米，寺院林立，香客云集，反映了五台山全盛时期的风貌。唐武宗会昌年间，发生了来势汹涌的灭佛浪潮，五台山是重点打击对象之一，众多寺庙夷为平地，独有南禅寺因位处台外偏僻之处幸而免遭“法劫”。武宗去世后，继位者又恢复佛教。这时，唐王朝已经日薄西山，五台山虽重建寺庙，但已不能达到武宗灭佛前那样了，中国佛教从此走向衰落。五代周世宗是，又一次掀起废佛风波，五台山又再遭破坏。历经“三武一宗”灭佛事件，到了北宋初年，五台山只存寺院67所。
五台山又一特色，就是既有青庙，也有黄庙。青庙就是和尚庙，为汉传佛教，汉族僧人多穿灰色僧衣，所以他们居住的寺庙叫青庙；黄庙就是喇嘛庙，为藏传佛教，蒙藏僧人多穿黄袍，黄庙因此而得名。从元朝开始，喇嘛教在五台山兴起。忽必烈封西藏胆巴喇嘛为“金刚上师”，并委他主持五台山寿宁寺。从此以后，五台山藏传佛教和汉传佛教并重，青庙和黄庙相互比邻，共同发展，这在四大佛教名山中是独有的现象。
