西周初，穆王姬满，欲东游沂山，守土者为便於穆天子登临观景，立即征调徭役，辟修山径，并於玉皇顶之巅，建造石楼观（即观景台）。山径虽窄小崎岖，台也砌筑粗糙，然是沂山道路之先驱、古建营造之肇端，为沂山后来的登临、开发打开了门径。
东周中叶（春秋时期），沂山之颠玉皇顶建有舞雩台（雩，yú 据考为古代祭祀名，祭时“舞而呼雩，谓之舞气”见《公羊考》）。据《论语·先进）篇载：孔子与曾点诸弟子对话，曾点曰：“冠者五六人，童子六七人，浴乎沂，风乎舞雩，咏而归。”汉朝的郑玄（山东高密人，我国历史上著名经学家）注曰：“沂水，出沂山；舞雩台在其上。”
西汉建立，游人日多、一些仙道方士（研究神仙、祈攘等法术者）也相继而至，传道修炼。“武帝元封四年（前107年），有安期生的弟子、齐都道人李少君，云游至骈邑，初居石门山，后住沂山朝阳洞，炊炉炼丹，传道四方。乡民拜谒求道习其仙术者，日至徒众数十”（《古骈邑·东小泰山篇》。少君去后，又有临淄道人和君实往来朝阳洞采药炼丹，广传（道德经）。太初三年（前102年）“公玉带援黄帝故事，请武帝封东泰山，武帝亲至其下，令礼官祀之”（清[光绪]《临朐县志·建置》卷五）。并在玉皇顶立“泰山祠”（《前汉书·郊祀志》）。在东汶水之上建“五帝词”（《汉书·地理志》）。由是沂山誉满四海。西汉末，佛门也设坛沂山，《东镇述遗记札》云：“前汉孺子婴居摄二年（公元7年），岁次丁卯，川人释子王静（净），由巫山来东海青州说法传经。先寓仰天，越年，南去东镇沂山，居极巅玉皇顶泰山词，设坛传教，四方士商村老云集，拜佛习经，多至数百。”佛徒日增，祠狭难容，至东汉章帝元和元年（84年），於沂山中心、圣水泉畔营造“法云寺”。东汉末，陕西羽士张丹诚，受天师教主张鲁委托来沂山朝阳洞设坛，宣说“五斗米教”，甚得民心，并於洞外建造“朝阳观”。东晋太和六年（371年），法云寺住持竺法汰在前秦高僧道安建议下，又於山之东麓创建“明道寺”。其寺大僧众，香火极盛，为沂山佛寺之最。《东镇述遗记札》载；“（明道）寺大竟数十亩，面临汶水，背靠凤凰岭，左毗官道，右倚镇山。寺钟山音回荡、香火云烟升腾。每逢朔望，释子八方云集，车马载道。”北魏孝文帝延兴初，沂山再增建白玉庵、柳泉寺、朝阳寺等5座兰若招提。与此同时，还利用沂山天然岩窟、峭崖、巨石錾凿佛石屋、摩崖造像。自汉至南北朝，整个沂山被僧伽羽流所居，且通过地方官府划定山界，大兴土木营造寿庵庙观，动金石之土，雕造佛屋石像，拓修旧路，辟设新径，使寺庙佛屋、泉溪洞窟互连。山中日日暮鼓晨钟，善男信女络绎往来，这里成了佛门道家的天下、观光览胜的天然公园。
南北朝时，北魏著名的地理学郦部道元，钟情於沂山山水，他在太和（北魏孝文帝年号，即477～499年。当时其父郦范任青州刺史，道元随居青州）间，数次游览沂山，后来他在（水经注）卷二十五、二十六中翔实而生动地记录和描述了发源於沂山的汶、弥、沂、沐、潍（其上游为汶水）水的水系、流径、走向和其流域中众多的名胜古迹、历史掌故和风俗民情，为后人了解沂山和沂山诸水系的治理和开发，提供了宝贵的历史资料。
隋朝兴起，“隋文帝开垦十四年闰十月诏东镇沂山，并就山文祠”（《隋书·礼仪二》卷七）。封山诏下，道家遂於法云寺侧创建“东镇沂山神庙”，佛门於沂山西麓天齐湾畔增建青龙寺。至唐，法门受宠得势，於大宗贞观十年（636年）诏封沂山为“东安公”后，这里逐步为其所占有。高宗龙朔间（661～663年）禅宗五世弘忍的弟子神秀来沂山说法，在其提示下，咸亨五年（674年），又在山外九龙口增建凤阳寺。周武氏长安四年（704年），武则天遣使修沂山寺院，并於明道寺北增修青竹庵。代宗大历间（76～779年），在沂山内外錾凿佛石屋80余座，还於歪头崮、花枝台等10余处的悬崖峭壁，广雕摩崖造像，大小共2000余龛。此时期，佛教发展至鼎盛，沂山也随之繁盛空前。《东镇述遗记札》云：“（唐）文宗开成间，东泰景致，可谓古来极盛。百里雄山秀水、万顷丛林花木间，经营繁华棋布，古刹尼庵凡十有九，庙观凡五，台凡四，塔凡二，亭凡六，桥凡六、洞府凡六，佛石屋九十有九，它如崖壁佛龛，诸小营造，繁不胜计。其位巧涓，境幽相适，天工人作浑一，景美色丽。缁黄论道山亭，墨客优游桥溪……”由上述可见，唐代，沂山不仅是齐国南境的佛门话动中心，也是风景幽雅的游览胜地、名士荟萃的文苑。俗语云，兴极必衰，唐末，帝恶僧侣耗蠹天下，武宗李炎於会昌五年（845年），敕令拆毁天下佛寺，僧尼还俗。沂山是载籍佛教重地，摧毁的重点，“会昌法难”自难幸免。经营千年的沂山古建群，除法云寺（每州仅留的一所大寺）外，几乎毁坏殆尽，庙田分予百姓耕种，山内始有农民结庐而居。
五代后汉末，郭威於山之东北隅屯兵建寨，人称“郭雀寨”。威夺权称帝后，曾於后周广顺二年（952年），亲临沂山祭告，然无复修新建。
宋朝肇立，太祖於建隆三年（962年）“诏重建东镇庙”，遂由山阿圣水泉畔迁至山下九龙口凤阳寺遗址重建，由单室小型扩建为占地数十亩、庙舍170余间的大型山庙，其为沂山寺庙之首。山庙落成，宋大祖亲临祭告。太宗淳化中，於百丈崖建造“迎仙亭”。景德元年，创建明道寺舍利塔。明道、景祐问，创始歪头崮碧霞祠，复修南天门，对法难中被毁的古建，几乎无一修复。此时，沂山又成了道家的天地，由於古建毁记，新建甚少，仅有春秋二季的东镇庙会，且香客游人疏落，景况萧条。
宋末金代建立，世宗完颜雍巡游沂山。宣宗时，设穆陵县，沂山归其管辖，并於迎谷山建造“雨师庙”。人们祷雨不再远去百丈崖，香火兴盛。章宗泰和七年（1207年），全真道大宗师丘处机登临歪头崮，隔年，为纪念真人至沂山，於崮巅北侧建“长春亭”，名人光临，古建修，使沉寂的沂山增加了一些生机。
元明两代，对其各有诏封，元封沂山为“元德东安主”，明“诏定岳镇海渎神号，东镇曰沂山之神”。废除佛道独占旧制，山场权属归州、县官府，寺庙使用划定范围，百姓亦可於外山拗凹土地肥沃处，开垦种植。建置方面，主要是保护修饰，除元代移址重修飞云楼外，较大的营建极少。然御祭颇多，尤其是明代，多达百次，为历代之最，由是东镇庙会勃兴，山会也相继而起，繁荣无前。《古拾遗》云：“东镇庙会、山会为一年二会，春於‘放生节’（农历四月初八日），秋在下元节（农历十月十五日）。香客游人，商贾摊贩，八方麇集，面广三州数十县。人众如潮，拥塞官道，延至山际。杂货土物充斥市面，售购兴旺。时短经旬，长则半月余。庙会繁华，不亚唐之香火。”明代虽无营造，但对林木古建，管理修饰较好，再加兴腾的山会，又使沂山活跃起来。
清代，创建增修均无，即是修葺也不尽善，中期渐次倒塌，至末叶，名闻海内的东镇庙亦仅剩大殿、寝殿、钟鼓二楼及数间道舍，且墙裂顶漏，岌岌欲倾。山林划为皇家放马场，乔木滥加砍伐，灌木任其啃噬，花草稀疏，水土流失，破坏甚巨，千古秀丽的沂山，几乎变成了荒山秃岭。
清亡民国建立，沂山仅剩东镇庙、法云寺、碧霞祠3处残破古建，委托无家可归的老僧看管。日寇侵华期间，人逃他乡，复遭兵匪之祸，寺祠相继倒塌。山场亦任意伐木凿石，破坏残重。解放战争时，陈毅、粟裕率部在沂山休整期间，关心群众疾苦，爱护一草一木，为沂山的保护和开发打下了良好的群众基础。
“五镇之首”注：
据《周礼·春官》载，周朝受国家祭祀的名山有五岳和四镇。东汉郑玄注：“山镇，名山安地德也。”四镇意为镇守华夏四方的人山，战略地位险要，是中原的天然屏障。《周礼》所载的四镇郑玄注云：东镇沂山（在山东省临朐县）、南镇会稽山（在浙江省绍兴市）、北镇医巫闾山（在辽宁省北镇县）、西镇霍山（即霍泰山，在山西省霍州市）。西汉宣帝时封霍山为中镇，改吴山为西镇（周初为西岳，在陕西省宝鸡市西）。因古代尊“东方为万物交替、初春发生之地，大地日出之所”和“神灵之区，紫气之源”，加之泰山、沂山近海、濒河，巍然耸立，气势磅礴，中原平原的海右，两山东西对峙，被历代尊为神山傣山）、仙山（沂山），引得无数帝王登临封禅，诏封祭告，佛、道的兰若、宫观、洞府，仙迹遍山，历来为华夏名山。从隋朝文带开皇十四年闰十月，诏天下五镇并就山立祠（见《隋书·礼仪》卷七）后，在历朝的《礼仪》、《地志》、《祀典》中都把泰山、沂山列在首位（隋以后成为定制）、因此，历史上也就有了“泰山为五岳之宗”、“沂山为五镇之首”的称谓，从隋代（包括隋）以后，历代王朝帝王对五镇的祭祀诏书，都把东镇沂山列在首位。今以隋、宋、元、明四朝祭山诏书的秩次为例：隋朝（《隋书·礼仪》）秩次为东镇沂山，南镇会稽山，北镇医巫闾山，中镇霍山，西镇吴山；宋朝（《宋史》）秩次为：东镇沂山，中镇霍山，西镇吴山，北镇医巫闾山，南镇会稽山；元朝（大元诏书）秩次为：东镇沂山，南镇会稽山，西镇吴山，北镇医巫闾山，中镇霍山；明朝（大明诏书）秩次为：东镇沂山，南镇会稽山，中镇霍山，西镇吴山，北镇医巫闾山。从以上所列四朝祭山诏书看，东镇沂山都位列第一，其余各镇，各朝均有变化，这充分说明历朝对东镇沂山祭祀和营造的高度重视。
