刘公岛上人类居住的历史悠久，据出土文物显示，约7000年前就有人类居住。岛上曾挖掘出新石器时代的石斧，陶罐，遗址等。
元朝海运业发达，货船从长江口的刘家港北上直沽(今天津)，刘公岛成为中转站。
明朝海运业兴隆，到刘公岛停泊的运船日增，岛上居民也随着增加。明代倭寇屡犯中国国沿海，威海也深受其害。为加强海防，明洪武三十一年(1398年)设立了威海卫，屯兵驻守。从此，威海卫港及刘公岛便为海防重地。
清朝时期，中国的首都是北京，渤海为北京，天津的外海。而威海卫与辽东半岛尖端的旅顺，共扼渤海咽喉，形同京津门户，刘公岛战略地位因而极其重要。被选为北洋海军及其舰队的驻泊之所，与以舰艇修理为主的旅顺，共同为北洋海军的重要基地。
1887年，威海海防工程建设开始。刘公岛为海防建设的重点，当时建有六座炮台、铁码头、麻井子船坞,设立了水师学堂、工程局、机械局、电报局、弹药库等。
1888年12月17日北洋舰队在刘公岛正式成军，丁汝昌为北洋海军提督。此时，这支近代化的海军己拥有大小舰艇25艘，总吨位4万多吨，实力居世界第四位，亚洲第一位。
1889年北洋海军提督署(又称水师衙门)竣工。
1895年2月17日日本军在甲午战争后期登上了刘公岛，接收了岛上的所有军事设施、大量的军备物资，并俘获了北洋舰队残余港内的十艘军舰。经营近20年的北洋舰队就此终结。日军占领刘公岛3年一直到1898年。
1898年7月,英国租占威海卫，包括刘公岛
1930年，英军撤离威海卫后，刘公岛被英国远东舰队续租。
1938年3月，日军第二次占领刘公岛，在岛上设立华北要港司令部，驻扎伪海军。此时，岛上英军除少数勤杂人员外，大部分撤至香港。
1940年11月1日，英军全部撤离刘公岛。。(注:1898年7月到1940年11月1日，英国租借刘公岛达42年之久。从晚清开始到中华民国)
1945年，威海被中共占领。
1952年，中国人民解放军海军进驻，此后刘公岛长期为中国人民解放军北海舰队的重要基地之一。
1985年被命为“国家森林公园”。
1999年刘公岛被建设部命为“国家文明风景区”
