五老峰，原称五老山，在虞乡。早在晋代张僧鉴的《浔阳记》中就有“五老峰横隐苍空，其形势如河中府虞乡县五老山”的记载。北魏郦道元的《水经注》中有“奇峰霞举，孤标峰出，罩络群泉之表，翠柏荫峰，清泉灌项”的描写。在《虞乡县志》中有“五老山，在县南十五里，玉柱、太乙诸峰之总名也。”历代文人墨客都有文章诗赋予以赞美和记述，如碑文记述“条山秀甲三晋，五老峰嶙峋萃律秀丽更甲条山”，誉为三晋之第一胜迹了。据考察，在道教排列为“第五十二福地”。
每年的七月初一到十五是朝峰庙会，南北商贾官吏云集人数多达数万。现存明万历年木刻《条山玉柱晴峰图》、民国初年印制的《新绘山西虞乡县西南五老峰胜景全图》都生动地描绘了当时的繁荣景象。
直到日军入侵前，从山下的虞乡西关到山上的玉柱峰顶，沿途开设的茶馆、饭律就达四十多处。山口的寺庙、梨园社戏轮番献艺，余音缭绕，民间娱乐活动及迎神赛会尽情抒怀，热闹非常。之后，出于多种原因，五老峰便逐渐衰落而鲜为人知了。
改革开放给五老峰恢复生机，分别列为县、地、省的重点旅游开发项目，1994年又被批准为国家级的风景名胜区。
