黑龙江原始居民与山东半岛上的原始人类有着非常悠久的渊源关系。前2000年，夏朝初期，龙山文化时期的山东半岛的农业传入东北经渤海传入肃慎。帝舜25年（前2130年），肃慎氏来朝，贡弓矢，成为我们自豪的、永久性的历史美谈。肃慎人来到了中原，看到了中原的“舜耕田”。
前1100年，肃慎族生活在长白山下，松花江中下游、乌苏里江和黑龙江中下游一带。其中心区域为牡丹江中游。公元前1050年左右，华夏族羌族混血的周武王姬发灭掉通古斯-华夏族混血的商朝末代国王子辛，建立西周，肃慎族进贡楛矢石弩。
东周时期，黑龙江流域有两大民族东胡和挹娄，都是通古斯民族，有图腾崇拜，后来信仰萨满教。大兴安岭居住着东胡，东胡东边是扶余，扶余东边是挹娄，挹娄南边是北沃沮。
秦汉时期，北沃沮（扶余人后代）在高勾丽的长白山以东，东滨日本海，北临挹娄和夫余，南临豁貊。北沃沮地域包括今天的珲春全境、双城子和海参崴，区域中心在珲春境内。北沃沮的南面是南沃沮也叫沃沮，相距约八百余里。北沃沮人的房屋结构远较北邻挹娄人的穴居复杂的多，尤其是“烟道──火墙式”取暖设施的发明，更是对祖国北方高寒地区住宅建筑方面的一大贡献。但北沃沮人在历史发展中，除受高勾丽的奴役之外，还经常受其北邻挹娄人的盗寇，最后连偏安一隅也没有得以保持下去，被挹娄后代勿吉灭掉。
东汉末期，匈奴在故土亡国后，居住在南大兴安岭的东胡乌桓部占领蒙古高原和黑龙江上游，成为草原骄子。乌桓部被汉族曹操击败，居住在北大兴安岭的东胡鲜卑部强大起来，控制了黑龙江上中游和蒙古高原，鲜卑民族形成，分为段部、慕容部、乞伏部、拓拔部、宇文部、柔然部。鲜卑南迁中原后，一部分留在北大兴安岭老家，即现在的锡伯族；同时，鲜卑族在蒙古高原和黑龙江上游的地位被鲜卑族柔然部取代。
柔然称霸漠北的时候，牡丹江生活着勿吉人（挹娄人后代），而后发展延伸为靺鞨族人：一是粟末靺鞨，乃勿吉西进后同夫余一部分融合而成；二是勿吉号室部，乃勿吉向东南进展与北沃沮融合而成；三是在拉林河、阿什河流域以东的拂涅部，乃纯正的勿吉七部之一。勿吉人在历史上曾以强悍著称，并有西逐夫余，南侵沃沮的英雄业绩。其疆域面积比先祖挹娄广大；部族众多，有勿吉七部。
555年，白黄混血的突厥灭掉柔然，柔然的北支逃到雅布洛诺夫山脉以东、外兴安岭以南的地区，是室韦的祖先；柔然的南支逃到辽河上游，成为契丹人的祖先。698年，粟末靺鞨族人的领袖大祚荣率众回归故地，在牡丹江上游的奥娄河-东牟山（吉林敦化的敖东城）自立为“震国王”，靺鞨族是勿吉人的后代。公元707年受唐招慰，公元713年受唐册封为渤海郡王（后在762年为渤海国王），授忽汗州都督，自此不再称粟末靺鞨，专称渤海。公元755年迁都上京龙泉府（今宁安渤海镇），征服黑水靺鞨，成为经济发达、文化灿烂的“海东盛国”。当时绥芬河市隶属于率宾府华洲。公元857年，渤海聘日大使乌孝慎，曾将唐长庆宣明历传至日本。日本天皇责令组成专门班子进行考察和研究，终于在公元861年采用了宣明历，历经823年之久，影响深远，成为史学界大书特书的中日文化交流事件。渤海成为当时亚洲“东方丝绸之路”的中心，从唐朝运来丝绸，加上自己制造的名产桑蚕之丝和柞蚕丝绸，运向东方的日本、西方的契丹和室韦、南方的新罗、北方的黑水靺鞨、东北的流鬼（堪察加一带）。
917年，契丹在巴林左旗建立辽帝国，926年（后唐时期）灭掉渤海国，渤海人被强制迁徙至辽宁西部，辽帝国统治了渤海国境内的女真族，疆域达到鄂霍茨克海。当时，牡丹江（意思是弯曲的河）地区是东丹国天府城属地，人们饲养训练名鹰“海东青”。绥芬河（生长着锥形河螺的河）属东京道北宾府。
完颜阿骨打从今阿城出发，逆阿什河东行，翻张广才岭、马纪岭、斜寸岭，进入绥芬河流域，讨伐乌春、窝谋军的叛乱，平定了绥芬河流域的职德·斡准的叛乱，1115年在阿城建立金帝国。牡丹江一带属于金国上京路管辖，是胡里改路（今依兰）与恤品路（绥芬河流域一带）的一部分。猛安谋克是金朝内地（即上京路一带）一种普遍的社会组织形式，自然在牡丹江和绥芬河一带也是这种形式。金初应有人口在六十万左右。当然随着军事政治的发展，猛安谋克的大量南迁（迁入关内中原一带），人口自然会有较大幅度的减少。猛安为千户，谋克为百户。
