少林寺创建于北魏太和二十年(公元496年)，是北魏孝文帝元宏为安顿印度僧人跋陀(又称佛陀)落迹传教而建造。跋陀博通经法，长住少林，翻译佛经，传播佛法。所以山门外东边石坊的四面题额有“跋陀开创”字样。

      跋陀在少林寺传授小乘佛教。小乘是以自我解脱为目的早期印度佛教，当时前来少休寺求法的达数百人。慧光、僧稠是跋陀的两个高足弟子。慧光以学显，僧稠以禅著；伹跋陀传法之后，传灯转移，并未继续发展，年老移居寺外。寿终于少林。

      北魏孝明帝孝昌三年(公元527)印度婆罗门种姓，摩诃迦叶第二十八代佛徒菩提达摩，从海上历时三年抵达广州，然后经南京，北渡长江来到少林寺。在跋陀开创基础上，广集信徒，传授禅宗。从此，少林名重一时，成为禅宗祖庭。东魏天平三年(公元536年)达摩传法于慧可后，离少林寺他去，死于禹门，葬熊耳山，造塔定林寺。

      达摩的事迹在《续高僧传》和《传灯录》中有较详细的记载，也参杂一些神奇色彩。达摩北魏孝昌年间来少林传授大乘禅法。禅，是梵语“禅那”的略称，即安定，止息杂虑的意思，佛教认为于身为律，于口为经，于意为禅，但达摩所传之禅不同于此，达摩禅的待点在于壁现。就是要以清白无杂的心念去投契佛理。这既不同于印度之禅，也不同于小乘的旧禅，达摩以《楞伽经〉四卷传授弟子。

      南北朝时，佛、道盛行。到了北齐、北周，佛寺遍天下，“食之者众；生之者寡”。北周武帝欲革其弊，采用益州成都人卫元嵩“定教先后”的建议，于建德三午(公元574年)五月廿七日，下令禁止佛、道二教传流，僧道尼姑被遣返乡，寺庙庵观遂遭废弃，财产散给王公、臣下，少林寺亦不能幸免，寺像被毁，僧众流亡。唐裴漼《少林寺碑》称：“周武帝，建德中，纳元嵩之说，断释、老之教。率土伽蓝，咸从废毁。”

        到大象年间(公元579—581年)北周静帝复行佛、道二教，僧徒重回到少林。静帝又选120名菩萨僧置于寺。重整寺院，寺院名称改为陟岵寺。北周的几个皇后笃信佛教，先后出俗为尼者六人，同时掌握政权的杨坚正图谋代周，也不遗余力地提倡佛教，少林寺由此得到恢复。隋唐间，少林寺从统治者手中得到了大量的土地及其它财产，形成寺院庄园。

        隋文帝代周，诏令五岳，各建佛寺，广造舍利塔。开皇初午，仍改陟岵寺为少林寺，并诏赐柏谷坞屯田100顷为寺院庄田，少林寺的殿阁佛塔在此时也得到恢复。作为一个百顷的寺院大庄园，隋末农民战争遭到农民军的打击。《少林寺碑》称：“大业之末，此寺为山贼所劫，僧徒拒贼，遂纵火焚塔院，院中众宇，倏焉同灭。”

      隋末唐初，少林十三和尚因助唐有功，受到唐太宗的赏赐，除了封爵，并赐田四十顷。嵩岳近在京畿，位在嵩岳的少林寺便成皇帝游幸之所，高宗、武后不断到少林寺游幸，每次都有封赐。武则天为其代唐为周的需要，提倡佛教，高抬僧尼。所以少林寺在从武德，贞观到垂拱、开元年间，大规模恢复和修建，到开元十一年少林寺殿宇已华丽壮观“妙楼香阁，俯映为林，金刹宝铃，上摇清汉。”以后少林寺在李唐诸帝的支持下，继续兴盛，即是唐武宗毁佛，禅宗一派仍很发达，少林为禅宗祖庭，所以“海内灵岳，莫如嵩少”。直至宋、元未有衰落，宋代理学兴起，儒佛合流，互为影响。唐、宋年间，少林寺拥有土地14000余亩，寺基540亩，楼台殿阁凡5048问，僧徒达两千乡人。宋雍熙间所藏佛经凡9500余卷。

        元代崇佛，对少林僧十分尊崇，据元代《裕公和尚碑》，元世祖命福裕和尚主少林，并统领嵩岳一带所有寺院，皇庄元年(1312)封赠他为大司空开府仪同三司，追封为晋国公，福裕主持少林，“兴仆起废，训徒说法，施者如丘山，来者如归市。”当时少林寺颇为兴盛，创建钟楼、鼓楼，增修廊庑库厨，金碧辉煌，殿宇一新。中外僧徒云集，演武礼佛，众常两千”。

        元末红巾军曾至少林，寺僧逃散，寺院空虚，无人看管，殿宇佛像悉遭破坏。明建立后，少林寺的殿宇楼阁屡经修葺，并有所增建，宣德间，寺僧八百余，寺院整饰，花水满院，正德三年，又翻修禅堂，在月空禅师主持少林期间门人以千计。在嘉靖三十二、三十三年因寺僧抗倭和镇压农民军有功，明朝皇帝又大规模地修整寺院，按旧制重修初祖庵大殿。少林寺“大开法席，四方学徒，众盈五百”。

        万历间又增修毗卢阁。万历十年(1582年)皇太后又特赐少林寺精工刻印佛经637函。明朝的王子先后有八人到少林寺出家，少林寻成为“域内巨刹，缁衲之伦，聚众者以千数”，并享有明朝官府赐予的免除粮差等特权。明末少林寺僧因参与镇压农民军活动，遭到农民军的打击。此后四十余年间，久经劫火，异常冷落萧条。待清朝统治者平三藩、台湾后，广建寺院，少林寺也在这时开始重建，从康熙到道光末的近二百年间，少林寺不断得到修整。其中以雍正十三年(1735)的修整工程为最大。清朝诸帝，对于少林寺特别重视，康熙亲自为山门及大雄宝殿书写匾额。弘历帝于乾隆十五年(1750)亲临少林，夜宿方丈室，写下五言律诗三首。又亲自为佛殿写了五块匾额、四副楹联。及至清末、民国间，少林寺寺迭遭兵燹。民国十七年(1928)建国豫军与国民军交战时，建国豫军樊钟秀以少林寺为司令部，因寺僧有阴助之嫌，故国民军石友三、苏其铭追至寺，纵火以泄愤，大火延烧，寺僧星散，主要建筑尽为灰烬。民国二十一年，林森、戴传贤、杜月笙等复集资重修。