成立初期

1952年至1954年，中国科学院山西煤炭化学研究所的前身中国科学院煤炭研究室是中国科学院工业化学研究所的一个室。

1954年6月，中国科学院工业化学研究所更名为中科院石油研究所。

1954年10月15日，中国科学院通知：经中科院第三十五次院务常务会议决定，将石油研究所煤炭研究室改为独立室，独立后名称为中国科学院煤炭研究室，直属中科院领导，党政业务由石油所代管，财务工作独立。

1959年6月，中国科学院决定将煤炭室迁往煤源丰富、煤种齐全的山西省会太原。

自1959年7月起，经过两年筹建，于1961年下半年搬迁工作结束。

1961年12月，经中国科学院同意，并报请国家科委批准，煤炭室扩建为中国科学院煤炭化学研究所。

1962年12月，中国科学院对部分研究机构进行调整时，将中国科学院煤炭化学研究所移交中国科学院华北办事处领导，但仍保持该所全国性研究所的性质。

文革时期

1970年7月，中科院将中科院燃料化学研究所移交给燃料化学工业部。

1971年1月，燃化部将中科院燃料化学研究所下放到山西，实行双重领导，以地方为主，归属山西省煤炭化工局，称谓山西省燃料化学研究所。

稳步发展

2012年6月，山西煤化所原有的化工专业工程咨询甲级资质、生态建设和环境工程专业工程咨询丙级资质及新申报的特种材料专业工程咨询丙级资质均通过国家发改委组织的2012年工程咨询单位资格认定专家评审。7月，获2011年度综合统计调查工作先进单位称号。

2013年3月11日至13日，山西煤化所通过中国新时代认证中心的军品第三次、民品第二次质量管理体系监督审核。

2014年4月，获山西省国防科技工业安全保密工作先进集体荣誉称号。

2015年11月，获批国家级专业技术人员继续教育基地培训点。

2016年11月，中国科学院山西煤炭化学研究所分析测试中心（即公共技术服务中心）通过cnas认证。

2022年4月18日消息，美锦能源电容炭工业化项目在清徐精细化工循环产业园开工。美锦能源与中科院山西煤化所达成合作，成立中科美锦炭材料有限公司，依托煤化所在酚醛树脂、石油焦、柳絮、香蒲、淀粉和煤炭等原料制备多孔炭材料的基础研究及产业化工作方面的经验，启动电容炭国产化技术攻关。

2024年10月，依托于中国科学院山西煤炭化学研究所和山西钢科碳材料有限公司建设的炭材料山西省重点实验室揭牌。