山西大学堂时期

山西大学堂与“令德堂”书院也有历史渊源。1882年（光绪二十八年），张之洞继任山西巡抚，针对山西“士气衰微而废其学”“此时唯苦人才不足”的情况，到任伊始，张即与学使王学庄商议，设“令德堂”书院。

1901年9月，山西巡抚岑春煊奉清政府“各省所有书院于省城均设大学堂”令，将并州的晋阳书院和令德堂书院合并，筹办山西大学堂。（图册来源：）

1902年5月8日，山西大学堂宣告成立；6月26日，西斋开学，敦崇礼担任西学专斋总教习；同年，山西大学堂在上海成立了山西大学堂译书院。

1903年，根据清政府颁布的《奏定学堂章程》须设有三科方能称为大学的规定，其他各省都遵章将学堂改为高等学堂，全国仅有京师大学堂、北洋大学堂、山西大学堂称大学堂。

国立山西大学时期

1912年，改名为山西大学校，设立预科和本科，预科分为一、二两部，一部为文法科，二部为理工科，均修业三年，本科分文法工三科。由此山西大学校便奠定了以后文理多科的综合性大学的基础。

1914年，山西省省立工业专门学校并入。1918年，确定为国立山西大学。（图册来源：）

山西大学时期

1931年7月，改名为山西大学。1934年8月，山西省省立法学校、山西省省立教育学院并入。

1937年8月初，日本侵略者袭击同蒲路北段及太原，山西省政府命令山西大学及省城各大专学校迁往晋南。法学院迁平遥，文学院迁运城，校部及理工两院迁临汾。

1938年春，晋南各县相继沦陷，山西大学被迫停办。1939年6月，在重庆工作的原山大工学院教授王宪、常克勋等向国民政府行政院院长孔祥熙提议恢复山大，得到同意；9月，山西省省立工业专科学校、山西省省立农业专科学校并入。1940年3月，山西省私立川至医专奉省政府令迁三原城北鲁桥镇，并入山大为医学专修科。

1941年6月，学校因“国立风潮”迁至陕西宜川县秋林镇虎啸沟。1943年4月，奉教育部令，山西大学正式改为国立。1943年10月底，学校教职员工又分批西渡黄河，迁回虎啸沟。1946年3月，学校从陕西韩城迁回太原侯家巷。

1949年春，中国大学理学院并入山西大学。中华人民共和国成立初期，学校设有文、理、医、工、法五个学院，进步学者邓初民任校长。法学院法律系并入北京大学。

1952—1953年，全国高校进行院系调整，山西大学院系调整如下：

①文、理两院（含中文、历史、外语、教育、数学、化学、生物7个系及中文、史地、数学、理化、生物、体育5个专修科）合并，改称山西师范学院；

②工学院（含土木工程、采矿工程、冶金工程、化工工程、机械工程、电机工程、纺织工程7个系）中冶金工程系参与组建新成立的北京钢铁工业学院（今北京科技大学），纺织工程系和采矿工程系并入西北工学院（今西北工业大学）；工学院其余部分（机械工程、电机工程、土木工程、化工工程4个系）独立建校为太原工学院（今太原理工大学）；

③医学院（含医学系）独立建院（今山西医科大学）；

④法学院改称财经学院（含经济、工商管理、会计3个系），后划归入中国人民大学。

1953年，经全国高校院系调整，更名为山西师范学院。1959年，恢复山西大学建制。1961年，与山西师范学院合并，仍定名为山西大学。1962年，山西体育学院、山西艺术学院并入山西大学。

1981年，成为全国第一批硕士学位授予单位。1988年，成立研究生处，后更名为山西大学研究生院。1998年，成为山西省重点建设大学。1993年，成为博士学位授予单位。

2005年5月，成为山西省人民政府与教育部共同建设的省部共建大学。2008年11月，学校与亚美尼亚“布留索夫”埃里温国立语言大学组建埃里温国立语言大学孔子学院。

2012年，成为“中西部高校综合实力提升工程”入选高校。2014年2月，太原电力高等专科学校并入山西大学，成为山西大学大东关校区。2016年12月，山西大学大数据学院暨山西大学大数据科学与产业研究院揭牌，李彦宏任名誉院长；同年，成为国家中西部“一省一校”重点建设大学。2017年，成为全国创新创业典型经验高校。

2018年3月，在省部共建和“一省一校”建设基础上，学校成为教育部和山西省政府合建的部省合作共建高校；5月，山西大学国际关系学院正式揭牌；8月，学校与北京大学签署《北京大学支持山西大学建设与发展实施方案》。2019年11月，学校入选中华优秀传统文化传承基地。

2021年8月28日，山西大学东山校区启用；11月，入选“英才计划”实施高校，物理学入选“英才计划”实施学科。2022年2月，山西大学进入国家“双一流”建设高校行列。

2023年1月1日，学校全新校史馆揭牌开馆，与新建的“山西大学堂”门楼、文化连廊组成有机整体，构成山大校史风貌区；8月，学校入选教育数字化实践基地。

2023年1月19日，经吕梁市人民政府研究，决定成立山西大学吕梁科学技术研究院，山西大学吕梁科学技术研究院由吕梁市人民政府和山西大学联合共建；6月16日，山西大学考古文博学院揭牌仪式在山西大学举行。；6月28日，“山西大学哲学社会学学院”更名为“山西大学哲学学院”；7月4日，图书馆东山分馆搬迁基本完成，进入试运行阶段。

2024年6月28日，山西大学和大同市人民政府共建山西大学大同校区协议正式签约。7月19日，山西大学归国华侨联合会成立。10月，山西大学和山西师范大学共同牵头建设山西省化学基础学科研究中心。

2025年3月27日，山西大同大学与山西大学举行战略合作协议签约仪式。4月，山西大学量子科技大楼建设项目的a座、c座工程施工资格预审公告正式公示。6月10日，山西大学欧美同学会（山西大学留学人员联谊会）成立。