1952年6月，成立淮南矿务局钻探工程队。1954年，隶属华东煤田地质勘探局淮南煤田地质勘探队。1955年，改编为全国编号120队。1958年，以120队为基础，成立安徽煤炭工业厅地质局，驻地合肥，下辖四个勘探队。

1962年，易名安徽煤田地质勘探公司。1964年，公司撤销划归华东煤炭工业基建公司。1970年，划归安徽煤炭工业基建总队。1974年，划归安徽省燃化局，成立安徽省煤田地质勘探公司。

1982年，经安徽省编制委员会、安徽省组织部批准为副地市级单位；1985年，划归中央管理，隶属煤炭工业部，易名为安徽煤田地质勘探公司。1986年，组建安徽两淮地质基础工程公司，隶属安徽煤田地质勘探公司；

1991年，更名为安徽煤田地质局，由中国煤田地质总局领导和管理。1995年10月，煤炭部煤办字[1995]第520号文批准为地市级单位。1998年7月，划归安徽省领导和管理。

2002年，组建安徽两淮建设有限责任公司，隶属安徽煤田地质局。2004年，隶属于多个地方管理的全局党组织关系全部划转归属安徽省直机关工委管理。2005年1月，安徽煤田地质局蚌埠基地管理处成立。2005年6月，安徽煤田地质局机关迁回省城合肥。2006年3月，经安徽省政府批准，正式更名为安徽省煤田地质局。