雾灵山历史上曾称伏凌山、孟广硎山、五龙山，明代始称雾灵山。自夏殷代以来就有人烟居住。雾灵山地处我国古代山戎、东湖、拓拨、契丹等北方少数民族与幽燕汉族交往之地。雾灵山因其特点和所谓的灵性，历史上就有许多文人骚客吟颂雾灵，来此游览，并被她的险峻所折服。北魏地理学家郦道元、唐朝进士祖咏都曾到过雾灵山，赞美过她的雄浑和壮美。郦道元在《水经注》中称“伏凌山（雾灵山）甚高峻，严障寒深。阴崖积雪，凝冰夏结，故世人因以名山也”。古人另称雾灵山 “其山陡峻，峰峦拱列”。顾炎武在《昌平山水记》中也称雾灵山“其山高峻，有云雾蒙其上，四时不绝”，这也可能就是称为雾灵山的原因吧。还称雾灵山“上多奇花，又名万花台，山之左右峰峦拱列，深松茂柏”。
雾灵山也曾是一座佛山，据记载，雾灵山在宋代就建有寺院，修建了诸多庙宇，“有僧道万余人”，元代曾有僧道来此做佛事，《昌平山水记》记载“文宗（元）命西僧于雾灵山作佛事一月，而其绝顶可瞰塞内”。现存的寺庙遗址有：红梅寺、钟古院、云峰寺等，在当时被称为下院、中院和上院。相传过去在红梅寺“有名和尚三千六，无名和尚赛牛毛”，这就说明在当时雾灵山一带僧道甚多，香火旺盛。据《长安客话》记载，“雾灵山有云峰寺，相传宝志公锡于此”。
到明代，雾灵山为边关重地。明洪武年间，中丞刘基（字伯温）巡视边陲重镇曹家路时，曾登临雾灵山，行至半山劳累烦热，歇于一巨石下，忽觉一阵凉风袭来，疲劳顿觉消失，随赐“雾灵山清凉界”。二百年后的明崇祯八年，后人在此石上刻字铭古，成为京东特有石质巨碑，人称“大字石”，上刻有“雾灵山清凉界”六个大字，每字约四平方米，豪放洒脱，苍劲有力，另外还有许多不同型号的小字，内容大都是守关将士的名字和诗句。
雾灵山山体高大，崖悬壁险，具有一定的军事防御价值，又处于边关，所以雾灵山上就建有许多长城，大都是明长城，现存近百公里。有黑谷关、龙门关等关口。除长城外，在高山险峰上建有许多烽火台，现在可以看到破壁残垣。
清顺治二年，雾灵山被划为清东陵的“后龙风水禁地”，封禁长达270年。清东陵陵区占地2500平方公里，分后龙和前圈两部分。其中陵寝后龙，是风水来龙之地，它从陵后的长城开始，向北经过清东陵的少祖山雾灵山。整个后龙地带山峦起伏，群峰叠翠，奇峰秀岭，纵横交错，风景异常美丽。清王朝为了保护清东陵，这包括后龙区的保护，后龙的边界标志主要是木桩和界石，其中木桩分为红、白、青三种，红桩为内界，白桩为外界，青桩在白桩10华里之外，每青桩上写“后龙风水重地”，规定“凡木桩以内，军民人等不准越入设窑烧炭，各宜凛遵。如敢故违，严拿从重治罪”。定雾灵山为官山，清王朝为了加强雾灵山的保护，专设墙子路和曹家路二兵营重兵守护后龙一带安全。通过清王朝的严密防护措施，在清东陵的二百多年的历史中，没有发生过重大火灾，这无疑对雾灵山森林资源的保护起到了重要作用。
雾灵山随着长时间的封禁，宋元时期所修的庙宇，也开始荒废败落。这段时期人文历史遗迹较少。清圣祖康熙帝在《晓发古北口 望雾灵山》一诗中写道“流吹凌晨发，长旗出塞分，远峰犹见月，古木半笼出，地迥疏人迹，山回簇马群，观风当夏景，涧草自含薰”。从诗中可以看到，当时看到的只是山景树木，人迹稀少。
雾灵山在清王朝长时间的封禁下，雾灵山的居民被迫迁出，这就给森林的生长创造了条件，森林、野兽在无忧无虑的生长着。雾灵山形成了“森林满山，树木遮天，野兽无数、遍地涌泉”的壮丽景观。
随着清王朝的衰败，作为皇家风水禁地的雾灵山也随之开禁开垦。清末宣统二年（1910年）因朝廷财政困乏，遂将东陵范围内的“风水地”允许清兵开垦。由于开荒种地，时常引起山火，一着就是几个月，不下大雨火不灭，原始森林遭到了破坏。到后来，直系和奉系军阀混战，雾灵山又遭到了战火的洗劫，破坏十分严重。
抗日战争时期，雾灵山是八路军抗日根据地。1938年2月9日，毛泽东同志指示八路军前方总部：“以雾灵山为中心开辟游击区，创建敌后根据地”，八路军第四纵队便从平西斋堂出发东进，开进雾灵山，以雾灵山为中心开展游击战争，创建了兴（隆）滦（平）丰（润）、承（德）兴（隆）平（泉）等八个抗日联合政府。
日军采取“囚笼政策”，制造无人区，把山上的老百姓赶下山，进入“人圈”，不断放火烧山，试图割断我军民联系。日寇以“铁壁合围”、“梳篦清剿”的惨无人道的手段欲达到“民匪隔离”的目的，但是雾灵山区的人民的抗日烈火始终没有被扑灭，坚持抗战。
1948年，雾灵山经历了37年血与火的洗礼，终于回到了人民的怀抱，给雾灵山的发展注入了活力。
解放后，党和政府非常重视雾灵山，为了建设雾灵山，发展雾灵山，保护好这快绿色宝地，1950 年始建森林经营机构，成立雾灵山森林经营所，全面开展封山育林，荒山造林。为了更好的建设和经营雾灵山这宝贵的森林，1962年为林业部直属实验林场，并将主峰周围8000亩划为自然保护区。随着国家形势和政策的变化，雾灵山的建制也经历了不同的变化。改革开放后，党和政府愈来愈重视环境建设，意识到林业的重要地位，1984为省级保护区，1988年为国家级保护区，雾灵山的发展进入了新的时期，1995年雾灵山加入中国人与生物圈网络组织。
