1978年2月，铁道部批准成立铁道部科学技术馆筹备组。同年8月，铁道部科学技术馆正式成立，隶属铁道部。铁道部科学技术馆自成立以来，开展了文博、影视、展览、模型制作等业务工作，但当时没有正式的馆址。

1987年11月6日，詹天佑纪念馆开馆。

1991年6月，铁道部领导指示拟建中国铁道博物馆或博览中心，馆址选在铁道部科学研究院实验基地附近。

1993年3月，根据《关于调整部科学技术馆领导体制的决定》（铁编〔1993〕1号），铁道部科学技术馆由铁道科学研究院代管。

2002年11月2日，东郊馆机车车辆陈列厅对外开放。

2003年9月，根据中央编制委员会办公室《关于铁道部科学技术馆更名为中国铁道博物馆的批复》（中央编办复字〔2003〕113号），铁道部科学技术馆更名为中国铁道博物馆。

2007年，铁道部和北京市政府共同决定将正阳门东车站改建为铁道博物馆。同年8月，经北京市文物局批准立项后，改建工程正式启动。

2010年，根据铁道部党组的指示，由原中国铁道博物馆和北京铁路博物馆整合成立的，新的中国铁道博物馆为局级单位，仍为铁道部所属事业单位，由北京铁路局代管，是国家级专业博物馆和公益性文化事业单位。同年年10月23日，正阳门展馆开馆。

2025年3月17日，入选国有公益性收藏单位名单（第一批）。