1979年，成立平凉地区博物馆，隶属于平凉地区文教局。

1985年，从平凉地区群众艺术馆分出搬到明代韩王紫金城延恩寺的旧址宝塔梁上。

1999年，开始在宝塔梁上筹建馆址。

2002年，平凉撤地设市后，正式改名为平凉市博物馆，隶属于平凉市文化出版局，正科级单位。

2004年，平凉市博物馆被财政部、国家文物局确定为全国博物馆馆藏文物保存环境标准化达标试点单位。

2005年4月28日，正式开馆。

2009年，评为国家二级博物馆。

2014年10月23日，平凉市委、市政府决定建设平凉市博物馆新馆。

2015年9月，平凉市博物馆新馆在崆峒山生态文化旅游示范区龙隐寺公园内奠基建设。

2019年9月26日，平凉市博物馆新馆开馆。

2020年，入选国家一级博物馆。