东汉末年，大乘佛教传入嵩洛。“乘”是乘载，小乘佛教说的是自我解脱，大乘佛教讲的是普渡众生。除了目的有差异，在修行方式上，大乘也比较简单。随着大乘佛经传入，佛教的影响开始波及民间。三国时期，嵩洛间出了中国佛教史上第一个正式受戒出家的汉族僧人，他就是朱士行。
出生于嵩山南麓颍川的朱士行，在嵩洛出家之后，以弘传佛教大法为己任，专心于佛教理论的研究。当时风行的大乘经典尚质简约，很多观点实际上没有讲清楚。他因此“誓志捐身，远求大本”，于魏甘露五年从嵩洛出发，开始他的西行求法壮举。
在于阗，朱士行抄取了九十品《般若经》梵文本，于西晋太康三年遣弟子弗如檀等十人护送经卷回洛阳。十年之后，由精通梵汉两语的天竺僧人竺叔兰和学识渊博的西域僧人无罗叉两人译出，称《放光般若经》，共二十卷。
当《放光般若经》在汉地大为风行之时，朱士行仍在于阗，最后以八十岁高龄为求法而客死他乡。《梁高僧传》说他死时有异相，火化后，“薪尽火灭，尸犹能全”，后念诵咒语，骨架才散碎，其弟子们聚骨造塔以供养。北魏太和二十年，即公元496年，少室山北麓五乳峰下寂静的山林中矗立起一座寺院，这便是日后声名显赫的少林寺。少林寺是北魏孝文帝元宏为安顿印度僧人跋陀住锡传教而兴建的。但少林寺的名扬天下，却缘于另一位印度高僧菩提达摩。
少林寺落成三十多年后，即北魏孝昌三年，菩提达摩不辞艰辛，从南天竺国渡海来到东土，开始了禅宗在中华大地上的传播。
人们说起禅宗时，往往会用一派“本地风光”来表达对禅宗的印象。佛教的文化渊源在印度，而禅宗是独具中国特色的佛教宗派，它的文化渊源在嵩山，在被誉为“禅宗祖庭”的少林寺。
达摩首先到了金陵，一月之后来到永宁寺，只见那九级浮屠“金盘炫日，光照云表；宝铎含风，响出天外；歌咏赞叹，实是神功”，自称活了一百五十岁，周游列国，从未见过如永宁寺这般精美的寺院。于是，达摩口唱南无，合掌赞美不停，已经将心许与嵩洛。
离开永宁寺，达摩来到几十里外的嵩山少林寺，落迹于此，终日面壁。面壁似乎是一种追根溯源，也似乎是一种等待良机。
这时候嵩山有位名叫神光的僧人，听说达摩大师住在少林寺，于是前往拜谒。
达摩面壁端坐，不置可否。神光没有气馁。他暗自思忖：“古人求道，无不历尽艰难险阻，忍常人所不能忍。古人尚且如此，我有何德何能？当自勉励！”时置寒冬腊月，纷纷扬扬飘起漫天大雪。夜幕降临，神光仍在寺外站立不动，天明积雪已没过他的双膝。达摩这时才开口问道：“你久立雪中，所求何事？”神光泪流满面说道：“只愿和尚慈悲，为我传道。”达摩担心神光只是一时冲动，难以持久，略有迟疑。神光明白达摩心思，就取利刃自断左臂，置于达摩面前。达摩于是就留他在自己的身边，并为他取名慧可。少林寺内的立雪亭，便是为纪念慧可断臂求法的事迹而建。
达摩禅师以四卷《楞伽经》授予慧可，慧可就是日后禅宗在东土的第二代祖师，自此，禅宗在中国有了传法世系。
