奋斗中学时期

呼和浩特市第二中学前身为傅作义邀樊福煊、王克俊、周均诸人于1942年5月创办的私立奋斗中学。在绥西陕坝（今杭锦后旗）借房建校，招收两个初中班，主要是傅部军政干部子女。

1943年9月迁入陕坝北郊新校址。

呼市二中时期

1952年8月，人民政府接管了私立奋斗中学，改为归绥市第二中学。

1954年，蒙、绥合并，学校改为呼和浩特市第二中学。

1960年，学校被确定为内蒙古自治区重点中学和五年一贯制的试点学校。

1967年5月，军宣队进校，开始复课，学校秩序稍有好转。

1968年初，学校成立第一届“革命委员会"。

1968年8月，呼和浩特市动员高、初中毕业生上山下乡，大多数学生去农村插队，去建设兵团。同年，开始招收“文革”后的第一批初中班。

1970年秋，招收“文革”后的第一届高中班。

1980年，被内蒙古自治区教育厅重新确定为首批办好的自治区级重点中学。

1983年，高中学制改为三年。

1990年，试办“智力超常少年班”。

2002年，被内蒙古自治区教育厅授予“内蒙古自治区示范性高中”称号。

2022年9月1日，呼和浩特市第二中学如意校区扩建项目（一期）工程顺利交付。

2023年4月27日，呼和浩特市第二中学与呼和浩特市敕勒川实验中学实施合作办学，挂牌为呼和浩特市第二中学敕勒川分校。