安吉建县于东汉灵帝中平二年（公元185年），至今已有1800多年历史，汉灵帝赐名“安吉”，源自《诗经。无衣篇》中诗句“岂曰无衣，七兮，不如子之衣，安且吉兮”。
安吉更早的历史可追溯到秦朝设置故鄣县。据《越绝书》记载，秦始皇于三十七年（公元前210年）东游会稽，“徙大越民置余杭、伊攻、故鄣。”当时故鄣县幅员辽阔，大致包括现在安吉县全境、长兴县西南一部和安徽省广德县全境、郎溪县一部。故鄣县开始属鄣郡，后来属丹阳郡。鄣郡以故鄣县治为郡治，治所在今安吉县境内，是浙江全省境内出现最早的郡级治所。直到西汉元狩二年，即公元前121年改为丹阳郡，才将郡级治所迁往宛陵（今安徽省宣州市）。由于安吉以前在故鄣县南境，所以有人称安吉为鄣南。
三国吴宝鼎元年（公元266年），安吉属新设的吴兴郡。隋开皇九年（公元589年）废郡并县，安吉县被撤，并入绥安县。绥安初属宣州，仁寿二年（公元602年）又改属湖州。义宁二年（公元618年）复置安吉县，属吴兴郡。唐武德四年（公元621年），安吉改属桃州。武德七年，安吉县又被撤销，并入长城县（今长兴县），属湖州。唐映德元年（公元664年），复置安吉县。安吉县经过七十多年的撤而复设，从此稳定下来。
由于安吉曾属桃州，安吉历史上留下了不少关于桃州的记载。唐代大诗人皎然曾赠诗与安吉康丞，诗云：“君吏桃州尚奇迹，桃州采得桃花石”；安吉最早地方志撰写于明代，名曰《古桃志》；民国期间，安吉县城被称为“桃城镇”。
宋元两代，南宋宝庆元年（公元1225年）改湖州为安吉州，元至元十三年（公元1276年）改安吉州为湖州路，安吉仍分属安吉州和湖州路。元至正十八年（公元1358年），安吉属长安州（后改为长兴州）。至正二十七年，又属湖州府。
明朝建立后，朱元璋因湖州府地方势力助张士诚长期抵抗，特加重湖州府赋税，以致民不聊生，据历史记载：“毙于桎梏，殒于囹圄，自投于沟壑者不可胜数。”明成化二十三年（公元1487年），经湖州知府王瑄上疏奏准，分安吉县南境九乡置孝丰县，并将长兴县的荆溪、顺零、晏子三乡划归安吉。明正德元年（公元1506年），朝廷升安吉为州，次年领孝丰一县。直到清乾隆三十九年（公元1774年），降安吉州为县。安吉设州的时间有268年。
明清时期，安吉一直属湖州府。民国初年，废府设道，安吉、孝丰两县同属钱塘道；民国 16年（公元1927年）道废，直属浙江省；后又相继归属浙江省第三行政督察区、浙江省第六特区行政督察区、浙江省吴兴行政督察区、浙江省第一行政督察区、浙江省第二行政督察区、浙江省第九行政督察区。
中华人民共和国成立后，安吉、孝丰两县属浙江省第九专区（即临安专区）。1953年，改属嘉兴专区。1958年孝丰并入安吉时，仍属嘉兴专区（1970年改称嘉兴地区）。1983年7月，撤销嘉兴地区设立湖州、嘉兴两市后，安吉属湖州市至今。
安吉历史悠久，古迹众多。境内安城镇的古城遗址，为秦汉时鄣郡的郡治所在地，古城墙保存至今。古城城墙用泥土夯筑，现四面还有城墙，城墙保留尚好。城略呈方形，东西长600余米，南北宽近550米，占地约0。33平方公里。秦汉时期，这里是长江中下游地区政治、经济、文化中心之一，这一带现已发掘出商、周、秦、汉、西晋、宋、元、明、清各个朝代一定数量的具有历史、科学、艺术价值的珍贵文物。
安吉著名古塔灵芝塔，始建于五代。北宋政和二年，灵芝塔旁又建成了东岳行官及行官碑。据同治十二年《安吉县志》载：“灵芝塔在顺安乡马家渡南山麓，相传五代吴越时建，虽不甚高而至今千余年，巍然独存。”灵芝塔属古代佛教建筑形式之一。它具有较高的历史、艺术和科学价值，反映了我国五代时期建筑艺术成就。该塔为楼阁式八面十层砖构实心体，通高22。46米，每层辟有一门二辟龛。并用平砖和菱角平子相间叠涩出檐，叠涩檐的五面上下均微向内倾，仍保留唐代遗风，上覆筒瓦。勾头饰宝相花，花瓣丰满。滴水饰重唇锯齿纹，钱脊饰脊兽，铁刹由覆钵、仰莲、相轮、宝瓶等组成。
安吉名刹灵峰寺自梁代建寺始，历来为文人墨客聚集之地。元代著名文学家、书法家杨维桢曾隐居在此。明代“四大高僧”之一、灵峰寺主持蕅益大师也是著名书法家，曾在灵峰寺留下佛学经典之作《灵峰宗论》，并在该寺圆寂。
安吉书画历史源远流长。明嘉庆年间，递铺画蟹大家郎葆辰誉满京城，人称“郎蟹”。出生于安吉鄣吴的吴昌硕先生，集诗书画印于一炉，在中国艺术史上享有极高地位，被尊为“一代宗师”，日本称其为“中国画圣”，拥有众多崇拜者。他在国内的弟子潘天寿、沙孟海、齐白石、刘海粟等皆为书画大家。
