唐龙朔元年（661年）前后，智空入闽在清源山麓建筑少林寺。唐天佑元年（907年），南少林寺僧反对王审知叛唐附梁，导致泉州南少林被毁。

北宋太平兴国六年（981年），南少林寺被诏修。南宋景炎元年（1276年），泉州清源少林寺僧众反蒲寿庚之降元，千僧抗元，少林寺再次被毁。

明洪武十年（1377年），州官黄立中疏奏朝廷，敕修泉州少林寺。

清乾隆二十八年（1763年），朝廷为铲除福建沿海的反清力量，降诏焚毁泉州南少林寺，剿灭寺中武僧。火烧少林寺之后，少林寺和尚至善法师避祸民间，继续招收少林弟子，反清复明。至善、洪熙官及其弟子传至广东，继续发展南少林拳，出了南少林拳王黄飞鸿，后又由黄飞鸿弟子传至香港，并远播美国等。

1992年10月，泉州市佛教界和地方知名人士决定在原址重建南少林寺。经省政府批准，泉州市成立了复建委员会，同年10月13日在东岳山少林寺遗址举行复建奠基典礼。

1993年10月18日，正式举行大雄宝殿奠基，南少林寺复建起一座主要的殿堂。时任中国佛教协会会长赵朴初为其题“东禅少林寺”匾额。

1997年，南少林寺建成大雄宝殿、五观堂及僧舍。同年常定法师经泉州市佛教协会聘任，出任泉州少林寺住持，并于次年任武僧团团长。

2002年，南少林寺开始在大雄宝殿正前方复建天王殿。从地下挖掘出石制寺庙构件40多件，其中塔座1个、塔盖1个、与承天寺应庚塔相似的塔刹7个、石帽4个、柱础4块、石柱6根等，保存完整的直径达1米的榫石就有20块。同时，还从现场发掘出大量的瓦片和瓦盖。

2024年11月12日，历时三年建设、承载千年历史沉淀的泉州少林寺文史馆正式开馆。