中国古人对石头的崇拜由来已久。石头的永恒、完美和力量是人类敬慕的根源。因坚信灵石具有辟邪之功效，“石敢当”随之诞生。
关于“石敢当”的文字记载，最早见于西汉史游的《急就章》：“师猛虎，石敢当。所不惧，龙未央。”唐代训诂学家古注：“敢当，言所向无敌也”。《闽中金石志》载，宋仁宗庆历年间，莆田县出土的唐代大历五年（公元770年）的石铭云：“石敢当，镇百鬼厌百殃，官吏福， 百姓康，风教盛，礼乐昌。”此石铭原埋于宅下，其镇宅之意不言而喻。
明清以后，用“石敢当”（或“泰山石敢当”）镇宅或镇巷陌桥道之要冲颇为盛。《通俗编》引《继古丛编 》云：“ 吴民庐舍，遇街衢直冲，必设石人或植片石，镌石敢当以镇之。”袁枚的《随园随笔》亦载：“镌今俗为厌胜，树一石于庐所，曰‘石敢当’。
相传康熙年间，数任知县皆到县不几日，即卒于任上。某黄知县知其事，携一风水先生同赴任。先生察明系本县一座宝塔之影正落于县太爷公座之上，诸官皆因不能经受宝塔之压力而死。遂于县衙前立石碑，刻“泰山石敢当”五字，谓泰山之力可敌宝塔。此后遂无事。
