王屋山主峰海拔1715．7米，主峰之巅有石坛，据说为轩辕黄帝祭天之所，“黄帝于此告天，遂感九天玄女、西王母降授《九鼎神丹经》《阴符策》，遂乃克伏蚩尤之党，自此天坛之始也”。故又称天坛山。
魏华存《清虚真人王君传》称其师王褒（字子登）得道后，被封为“太素清虚真人，领小有天王、三元四司、右保上公，治王屋山洞天之中”。故王屋山又称小有清虚之天，被列为十大洞天之首。杜光庭《天坛王屋山圣迹记》云：“元始天王曰：夫小有洞天者，是十大洞天之首，三十六小洞天之总首也。”司马承祯《天地宫府图·十大洞天》曰：“第一王屋山洞，周回万里，号曰小有清虚之天，在洛阳河阳两界，去王屋县六十里，属西城王君（王褒）治之。”
道教何时传入王屋山，已难稽考。南北朝以前，仅见若干道士居此山服丹成仙的传说，《真诰》卷五云：“毛伯道、刘道恭、谢稚坚、张兆期，皆后汉时人也。学道在王屋山中，积四十余年，共合神丹。毛伯道先服之而死，道恭服之又死，谢稚坚、张兆期见之如此，不敢服之，并捐山而归。去后，见伯道、道恭在山上。二人悲愕，遂就请道，与之茯苓持行方，服之皆数百岁。”唐代是王屋山道教的兴盛时期，有一大批道士居此修道。开元十二年（724）。司马承祯奉召入京师，旋命于王屋山置阳台观以居之，曾于此处著《修真秘旨》十二篇行于世。至开元二十三年卒，享年八十九，葬于王屋山西北之松台。
王屋山在唐代还建有大批宫观。主要者有：上方院，传说轩辕黄帝曾于此处访寻四山，故原称上访院。司马承祯初来王屋时，居紫霄峰，唐睿宗诏其居此，遂改名上方院。金末重修。奉仙观，在济源县城西北，唐垂拱二年（686）创建。白云道院，为纪念司马承祯（号白云子）而建，始建于唐，至明尚存。AH灵都观，唐玄宗于天宝二年（743）为玉真公主（睿宗之女）所建，御书灵都观额。金明昌三年（1192）升观为宫，蒙古海迷失后二年（1250），加灵都万寿宫。AI清虚观，创于唐，后升观为宫，元世祖至元二十五年（1288）至大德五年（1301）间重修。此外，还有青罗仙人观，三清殿，山神庙，太山庙等，盖皆建于隋唐。
宋代，王屋山道教续有发展，除原有宫观外，宋代又新建紫微宫。据雍正《河南通志》卷五十载，紫微宫在济源县西北一百里王屋山下，宋绍圣（1094～1097）初创建，元大德（1297～1307）间重修，明天顺元年（1457）再修。LB金元是王屋山道教又一兴盛期。先后有大批全真道士居此修道。王志祐，号栖神子。少业儒，长慕玄理。金正大四年（1227）至王屋山。时阳台观已遭贞祐二年（1214）兵火，尽为废墟，邑令请其主持重建。经十二年，工成而卒，年八十八。
金元时期，对王屋山原有宫观进行重修，又增建有若干宫观。金正大四年（1227）至蒙古太宗十一年（1239），道士王志祐重建阳台观，工成改观为宫，称阳台宫。 LH金泰和、崇庆（1201～1212）间，又于阳台宫之左，新建通仙观。元好问《通仙观记》曰：“通仙观者，初为泰和道院，郝志朴实居之。崇庆癸酉（1213），以恩例得今名。始大为崇建，堂宇廊庑，斋厨库厩，以次而具。”LI蒙古太宗十三年（1241）宋德方去王屋山，见许多宫观残坏，乃选派弟子住此山，相继重修了天坛、三清殿、上方紫微宫，其再传弟子陈志忠又在其后重修了清虚宫。
明清时期，住山道士不见记载。此后，经历道教衰落期，大部宫观废圮。至今仅存阳台宫、奉仙观若干建筑。阳台宫内有玉皇阁、三清殿等。奉仙观内有山门、玉皇殿、三清大殿等。
千百年来，王屋山不仅是道家人物采药炼丹，修身养性以求得道成仙之地，它还以其集雄、奇、险、秀、幽于一体的自然景观，吸引了众多的帝王将相，文人墨客来此寻幽探胜、陶冶情操，李白、杜甫、白居易等皆游览于此，留下许多摩崖石刻和脍炙人口的名篇佳作。诗仙李白有“愿随夫子天坛上，闲与仙人扫落花。”大诗人白居易也盛赞“济源山水好”。
