刘公岛在威海城区东部，威海湾口中央。据旧志记载，元代名刘岛，亦名刘家岛。大约在明代始名刘公岛。关于刘公岛名称的由来，还有一段传说。
相传在数百年以前，有一条来自江南某地的商船，在海上突然遇到了大风，狂风卷起巨浪，无情地扑向商船。船上的人们奋力地与风浪搏斗，祈望能找到一处可以躲避风浪的地方。然而船正航行在大海之中，四周没有陆地，也不见岛屿，到哪里去找可以避风的地方呢?人们失望了，纷纷祷告苍天保佑。但无济于事，风越来越猛，浪越来越大，船在风浪中颠簸，一会儿被掀到浪峰之上，一会儿又被抛入浪谷之中……就这样，一天过去了，又一天过去了，……几天几夜过去了，风浪仍不见停息。船上的桅杆被风吹折了，舵也被浪打歪了，船失去了控制，象一片树叶在海面上漂浮。船上的淡水用光了，食物也没有了，艄公们筋疲力尽，垂头丧气地倚在舱板上，任凭船只随波逐流。天色又渐渐地黑了，入夜，天海间漆黑一团，伸手不见五指，只有风浪依旧在夜幕中呼啸着。
突然，在绝望中，不知是谁惊叫一声：“看，前面有火光!”众人忙起身寻找，果然在黑暗的前方有一点微小的火光闪烁，在风浪中时隐时现。有火光，就有人，就有希望。众人顿时精神抖擞，忘记了饥饿和疲劳，拼力将船向着火光划去。渐渐地，火光近了，隐隐约约地可以看出前方是一个岛屿，那火光就在岛上闪烁。终于船靠岸了，艄公们下船寻着火光走去，不一会儿，看见前面有一栋房屋，窗前亮着灯光。艄公们急忙上前敲门。片刻，门开了，一位老翁出现在门口。众人一边打躬作揖，一边诉说他们的遭遇，要求老翁能施舍一些茶饭。老翁爽快地答应，并呼一位老媪出来与众人相见。众人随老两口进屋后，发现屋子里虽不算宽敞，却十分古朴可亲。老翁一面安排众人歇息，一面吩咐老媪生火做饭。只见老媪从里屋挖出一碗米，洗好后倒进锅里。众人见了，心里在嘀咕：“区区一碗米，怎能解众人之饥?”艄公们虽然饥肠辘辘，却又难于启齿。不一会儿，饭熟了，老翁招呼大家吃饭。大家随吃随盛，饱餐一顿，锅里的饭却不见减少。众人心里暗暗称奇，但也不便询问。
饭后，艄公们感激不尽，向前拜谢道：“救命之恩，永志不忘。不知此为何地，老丈贵姓?”老翁笑答道：“此为刘家岛，老朽姓刘。”说罢，又取出一袋食物相赠，并送他们回船休息。
次日天明，风息浪小，红日高照。艄公们又上岛取水，寻遍全岛，却不见昨夜的那栋房屋，也不见老翁老媪的身影。但见岛上树木葱茏，鸟语花香。众人这才醒悟，皆曰：“我们大福，遇到神仙了。”
后来，这条船再次经过这里。艄公们又上岛寻找，岛上依然是树木葱茏，鸟语花香，但仍不见老翁老媪和那栋房屋。为了纪念刘公刘母的救命之恩，众艄公集资在岛上修了一座刘公庙，庙内祀刘公刘母泥塑双象，以表示纪念之情。刘公庙建成后，来往的艄公船夫们每经此地，必上岛进庙祈祷。从此，刘公庙的名声越来越大，该岛也逐渐被称为刘公岛了。
