景区前身为邙山提灌站，1970年郑州市政府为解决城市用水和农田灌溉的紧张状况而修建，工程历时2年，1972年建成通水。在此基础上，提灌站的管理者们将“以水养水，以水养旅游”作为指导方针，绿化荒山，开发景区，弘扬黄河文化，使景区初具规模。1981年3月21日，更名为“郑州市黄河游览区”。2002年，黄河游览区更名为郑州黄河风景名胜区，当年先后被评为国家4A级景区和省级风景名胜区。2009年12月31日，被国务院评为国家级风景名胜区。
郑州黄河风景名胜区多次被省、市旅游局、省委宣传部等有关部门授予“省级爱国主义教育基地”、“十佳旅游景区（点）”、“旅游管理先进单位”等荣誉称号。
