五老峰由玉柱锋、太乙坪峰、棋盘山、东锦平峰、西锦平峰组合而成，五峰乃恰似五位元老一样的彬彬有礼列座厅堂，故名五老峰。
据历史记载，此峰还称五臣峰，当年唐朝曾有五位元老为立大唐江山于七月初一被隋军包围于玉柱峰西身，为保唐高祖李渊的安全，五位元老从玉柱峰西身舍崖下留得忠名，后唐明皇李隆基嘉封五老名，比如虞帝有诗云：皇隆戏玉柱五星浴河，天降五老近我来歌；唐朝著名诗人韩愈有诗云：五峰灵境盖天下九州之胜名；再比如仙诗吕洞宾也曾经这样吟过两句诗歌：执剑抱壶三三界，身隐条峰九九天。
五老山也被命名为小华山，乃为八仙修炼之所。
五老山，还是五老携《河图》《洛书》藏经授典的隐身之所，研卦修行，传经布道的地方，是易学文化创元时期的传播之地，河洛文化的摇篮之地。
五老峰还有许多民间传说轶闻，宋代杨业在此屯兵练武，兵围普救寺的孙飞虎在此安营扎寨，道教八仙中的张果老、吕洞宾等人物都有许多传奇的趣闻，更增添了五峰山的神秘色彩。
