嵩岳山林天生与佛有缘。隋文帝开皇20年，即公元600年，一代高僧玄奘于嵩山北麓缑氏镇陈河村悄然出生。隋唐时期，中国佛教宗派纷纷创立，标新立异。玄奘遍学佛教传入中国的各家经论，发现了诸家之间的见解差异。这种分歧争论“凡数百年，率土怀疑，莫有匠决”，玄奘要来决断。他选择的也是朱士行西行求法的道路，想到印度求取《瑜伽师地论》来统一诸家异说。玄奘长途跋涉历尽艰辛，终于到达印度的佛学中心摩揭陀国王舍城的那烂陀寺，从主持人戒贤学习五年，成为精通五十部经论的十大德之一。唐贞观十九年，即公元645年，玄奘回到长安，夹道相迎者数十万，争相目睹唐僧风采。此后，玄奘历时十九年，共翻译佛经七十五部，一千三百三十一卷。并完成地理学巨著《大唐西域记》。
唐初，少林寺已拥有一支勇猛善战的僧侣队伍。武德年间，少林寺僧13人，在李世民讨伐王世充的征战中助战解围，立下了汗马功劳。李唐立国后，唐太宗李世民后来封昙宗和尚为大将军，并特别允许少林寺和尚练僧兵，开杀戒，吃酒肉。以后各朝代相沿成习。庙内有一块<<唐太宗赐少林寺主教碑>>，记述了这一段历史。由于朝廷的大力支持，少林寺发展成驰名中外的大佛寺，博得“天下第一名刹”的称号。宋代，少林武术又有很大提高，寺僧多达2000余人。元朝初年，少林寺方丈富裕曾被武功盖世的元世祖忽必烈封为晋国公。在明朝，少林寺到达鼎盛时期，从清朝开始衰落。
1673年，少林寺派人参加战争，帮助康熙皇帝打赢了一场战争，但是，随后康熙命蒙古八旗进攻少林，少林寺被夷为平地，仅有五名僧人逃了出来，据说加入了天地会。
1928年，军阀混战，军阀石友三火烧少林寺，把天王殿、大雄宝殿、法堂和钟楼等主要建筑统统毁于一炬；许多珍贵的藏经、寺志、拳谱等烧成灰烬。现在还幸存的建筑有山门、立雪亭、千佛殿等，其他建筑正在陆续恢复中。
千佛殿内供毗卢佛铜像，因此亦叫毗卢殿。殿内砖地上还保存着20多个直径约4.5厘米的洼坑，是往昔寺僧练拳习武时的脚坑遗迹。脚坑分布方圆不大，呈一条线状，这是僧人刻苦练功的见证，也说明少林拳的所谓“曲而不曲，直而不直“的特点。千佛殿东侧的白衣殿，三面墙绘有少林拳谱壁画，壁画长约20米，很生动地表现少林寺和尚练拳习武的情景。最著名的有“十三棍僧救唐王”、“五百罗汉毗卢图”，色彩艳丽、构图和谐，衣袂飘飘，展示了唐代壁画的极高水准。
方丈室是寺中方丈起居与理事的地方。公元1750年，清朝乾隆皇帝游少林寺时，即以方丈室为行宫，故又称“龙庭”。室内有1980年日本所赠的达摩铜像，东侧立有弥勒佛铜像。墙上的一幅“达摩一韦渡江图”，画面布局合理，形象生动、逼真，线条细腻柔和，是不可多得的艺术珍品。
在少林寺西约300米的山脚下，有一塔林，这是唐以来少林寺历代住持僧的墓地，共250余座塔。是我国最大的塔林。塔的大小不等，形状各异，大都有雕刻和题记，反映了各个时代的建筑风格，是研究我国古代砖石建筑和雕刻艺术的宝库。山门门额上悬挂的“少林寺”匾额，是清康熙皇帝亲笔书写的。山门后大甬道和东西小马道旁立有碑碣数十通，其中有两通碑刻是留学我国的日本禅僧撰写的。
