平凉市位于陇山东麓，泾河上游，是关中西去北上的古道要冲；又依六盘三关之险，历来是兵家必争之地。历史悠久，建制变革较大。
公元前二七二年，秦昭王灭义渠戎，置陇西、北地、上郡，平凉入秦的版图，属北地郡。
汉武帝元鼎三年(公元前一一四年)分北地郡置安定郡(治所在高平，今宁夏回族自治区固原县境)，平凉全境改属安定郡；东汉并泾阳入朝那，平凉属凉州刺史部安定郡的朝那、乌氏二县。
三国时曹魏于郡上设州，此地属雍州安定郡，恢复了泾阳县。西晋又废泾阳县，新置都卢县，平凉市境东部属朝那县，西部属都卢县。
十六国南北朝是最乱的时期，平凉全境先后为前赵、后赵、前秦、后秦、夏、北魏、西魏、北周所领有，建制变化很大。前秦永兴二年(公元三五八年)苻坚欲进攻前凉，置平凉郡(初治高平镇，后治鹑阴)，取平定凉国之意，平凉之名始见于史册。以后，前秦苻坚曾以平凉为根本，向后秦反攻：夏赫连定曾即皇帝位于平凉。北周武帝建德元年(公元五七二年)于今市境的西北部治平凉县，属长城郡。是平凉市建制的开始，距现在一千四百一十年。
隋代，开皇三年(公元五八四年)废郡置州，平凉市属原州。大业初又废州置郡，平凉市属平凉郡。
唐武德元年(公元六一八年)复置原州，治平高。天宝元年(公元七四二年)再改平凉郡，旋复为原州，平凉市属原州。贞元七年(公元七九一年)泾原节度使刘昌筑平凉城扼弹筝峡口，奠定今平凉市城址，距现在一千一百九十一年。宪宗元和四年(公元八零九年)移行渭州于平凉，平凉市废。广明初复陷吐蕃，中和四年收复为渭州治。
唐末，李茂贞据凤翔称岐王，渭州属于岐，历后梁。后唐明宗天成元年(公元九二六年)灭岐，渭州属后唐。后唐清太二年(公元九三五年)以原平凉市的安国、耀武二镇复置平凉市，属泾州；后晋天福五年(公元九四零年)改属渭州。宋代，仍为渭州治所，属泾原路，为泾原路经略安抚使驻地，与西夏接壤，是当时的军事重镇；至大观二年，共领泾州、原州、渭州、西安州、会州、德顺军、镇戎军、怀德军等五州三军，遂代泾州、原州成为这一地区的政治军事中心。徽宗政和七年(公元一一一七年)置平凉军，设节度使。金代开六盘道，大定二十七年(公元一一八七年)始置平凉府，辖五县，属凤翔路。平凉市为府治所。
元代仍以平凉为府，辖三县，属巩昌总帅府，并潘原县入平凉市，平凉市仍为府治所。自此，平凉市的辖境再未有大的变动。明代的平凉府辖三州七县，属陕西布政使司关内道；平凉市仍为府治所。
清初沿明制，属陕西布政使司。康熙八年(公元一六六九年)改属甘肃布政使司，平凉仍为府，府上设道：初为平庆泾固化道，同治末改为平庆泾固化盐法兵备道，平凉县为道、府治所。
一九一二年即民国元年废府，仍设道。一九一三年改平庆泾固化道为陇东道，设观察使；后改为泾原道，设道尹。一九二七年改设泾原区行政长，一九三五年改为甘肃省第二区行政督察专员公署。平凉县为道、署驻地。
一九四七年七月二十八日平凉解放，成立了平凉市人民政府。一九五零年由县城内划出城关和郊区另设平凉市。一九五八年十二月撤销平凉、华亭两县并入平凉市。一九六一年十一月恢复华亭县。一九六四年元月撤销平凉市，恢复平凉县。二零零二年九月，平凉撤地建市。
