浮山还是一座佛教名山。远在晋梁时代（266-557）就建立了寺庙，时为“浮山寺”。后在陈隋年间（557-618），浮山即成为佛教天台宗智顗大量的道场。宁天禧年间（1017-1021），郑州名僧远禄来此住持，是为浮山第一代开山禅师，宋仁宗赐号“园鉴大师”，又赐寺名“大华严寺”，彼此浮山进入佛教鼎盛时期。在以后漫长的岁月里，浮山的佛教香火一直绵延不断，寺庙、塔院林立，高僧辈出，成为驰名中外的佛教名山。同时，浮山还是中国道教三十六洞天之一，在此修道之人，汉有左慈，宋有张同之，明有雷鲤等。
浮山拥有极其丰富的人文景观。历朝历代无数名流雅士、文人墨客如唐宋的孟郊、白居易、范仲淹、王安石、欧阳修、苏轼、黄庭坚等均来此游览。这里还诞生了明大学士何如宠、清桐城派宗师方苞、刘大櫆、姚鼐等名士，他们的一生无不受到浮山深刻的影响。这些风流人物在浮山吟诗唱游，留下了上至唐宋、下至民国的大量的摩崖石刻，现存483块。文体各异，书法万千。有诗词、游记，有庵堂碑记、题词留名。大者一米见方，小者不及一寸，或铁画银勾，或清瘦严谨，或丰润饱满，或端庄秀丽，构成了浮山之一名景。
