西周以后，在今阜阳境内即建立了归姓的胡国，临泉境内的姬姓沈国，颍上境内的慎等。三国魏置汝阴郡。北魏孝昌四年（528年）置颍州。清雍正二年（1724年）升颍州为直隶州。雍正十三年（1735年）升颍州为颍州府。1949年10月1日中华人民共和国建立时，设立阜阳专区专员公署。1971年改阜阳专区为阜阳地区。1975年12月19日国务院批准设立阜阳市（县级）。1996年1月，撤销阜阳地区和县级阜阳市，设立地级阜阳市。
截至2023年12月31日，阜阳市下辖3个市辖区、1个县级市、4个县，分别为颍州区、颍东区、颍泉区、界首市、临泉县、太和县、阜南县、颍上县。