清雍正年间，清廷为了安排从漠北撤回的八旗将士，也为了就近监控归化城土默特、乌兰察布盟和伊克昭盟等蒙古诸部，决计在归化城东北五里处勘定一处城址，作为右卫驻防八旗兵北移屯居之用。

清乾隆二年（1737年），新城动工修建。

乾隆四年（1739年），新城竣工，乾隆皇帝赐名“绥远城”。将军衙署成为绥远城将军之府邸，直至清朝灭亡未变。

民国元年（1912年）十月，北洋军人张绍曾被委任为绥远城署将军，驻节将军衙署，改清制“将军衙署”为“将军府”。

民国十七年（1928年），将军衙署被绥远特别行政区政府占用。

民国十八年（1929年），绥远特别行政区政府设置绥远省，将军衙署改牌为绥远省政府。

民国二十六年（1937年）“七七事变”后，日军进攻绥远省。同年10月，在日本帝国主义扶持下，由德王拼凑的伪“蒙古联盟自治政府”军队占据绥远，将军衙署一度为伪政权属下“巴彦塔拉盟公署”所占用，后又为伪“蒙疆联合政府”所占据。

1949年9月19日，以董其武将军为首的国民党绥远部队通电起义，绥远国民党统治区宣告和平解放。这座二百多年来一直作为统治压迫各族人民的将军衙署，变成了为人民谋福利的政府办公设施。

1985年，衙署交由内蒙古文化厅管理，为内蒙古文物考古所所使用。

1986年，将军衙署被评为自治区重点文物保护单位。

1992年，经自治区政府批准，正式成立了内蒙古自治区将军衙署博物院。

1997年，内蒙古自治区将军衙署博物院划归内蒙古博物馆管理。

2002年，内蒙古自治区将军衙署博物院划归内蒙古文物交流中心管理，并对将军衙署院落进行整修。

2003年，内蒙古自治区将军衙署博物院正式对外开放。