上海交通大学图书馆创建于1896年，同年建成一个图书室，即南洋公学藏书楼。

1919年10月，建成独立的图书馆大楼，命名为交通部上海工业专门学校图书馆。

1921年，更名为交通大学图书馆。

1956年，图书馆大部分工作人员及百分之九十二的藏书随交通大学内迁西安。

1957年9月，交通大学图书馆随校分设西安、上海两地。

1981年7月，在党和国家领导人邓小平、王震等同志亲自关怀下，原香港环球航运集团主席包玉刚先生向上海交通大学捐赠1000万美元用于建设一座现代化的图书馆。

1985年10月，包兆龙图书馆落成使用。

1990年，为适应学校办学规模的迅速发展，在闵行校区兴建了包玉刚图书馆。

1992年10月，包玉刚图书馆建成。

2005年，学校整体战略开始向闵行校区转移，遂计划在闵行校区兴建新馆。位于闵行校区中心位置的新馆，即当前的主馆。

2006年3月11日，主馆奠基。

2008年9月，主馆正式启用。为配合学校整体布局，徐汇校区包兆龙图书馆分别搬迁至徐汇校区西大楼、新上院，分别定位为图书馆储备书库、社科阅览室。

2013年4月，储备书库正式启用；9月，社科馆正式启用。

2014年12月，李政道图书馆正式落成。

2019年，包玉刚图书馆开始进行大修。

2021年4月8日，包玉刚图书馆正式恢复开放。