从临县，离石一带出土的大量陶片、石刀、石斧、陶环等多种文物考证、远在新时期时代，碛口这方土地上就有人类居住、生息、繁衍。道光七年《永宁州志》记载：“靠林县和州之间，有古城遗址。民国6年，《临县志》记载，：“汉武帝4年，今碛口秋水河东寨村记载”
南北朝时期临南置定邦郡，定胡县，故治在今柳林孟门镇。碛口之名，最早见于书《隋书》，是山西面对匈奴的防御要塞。道光七年《永宁州志》记载：“州西少一百二十里，曰孟门镇，周大象元年于次设定和县，隋置孟门关，其地势显固，碛口距孟门只有15公里，且兼在黄河暗边，均应为重要的军事重镇。
碛口座落在黄河和楸水河的三角冲积而成，仅知在明末清初，临县天灾人祸，人口不到2万，但碛口非常萧条。当时集镇2公里的侯台镇。传言“先有侯台镇，有有碛口镇。清朝乾隆秋水河冲毁侯台镇，碛口镇开始兴盛。
碛口在清朝乾隆年间，得益于大同碛险关，以及晋商的的辉煌，成为“晋商西大门，黄河大码头”。时有州县之分，就是说碛口一半属于永宁州，一半属于临县。民国初年，临县行政区划为五区36所，碛口一带属于香炉所，管辖112个村庄，其中包括今柳林一些镇。
民国十四年临县设四个区，三区为碛口：离石县分为五个区，四区为碛口，区所都住扎在碛口黑龙庙。
民国35年，临县、临南县合并为临县；离石和离东县合并为离石。将碛口划归临县，成为碛口镇，一直到今。
