南京图书馆的前身是1907年由清两江总督端方创办的江南图书馆。

1927年，因实行大学区制，改名为第四中山大学国学图书馆。

1928年5月，改为国立中央大学国学图书馆。

1929年10月，大学区制取消，定名为江苏省立国学图书馆，直属江苏省教育厅。

1933年4月，南京国民政府教育部委托蒋复璁筹建的国立中央图书馆，地址成贤街。

1937年，西迁重庆。

1946年，返都南京。

1950年3月19日，中央图书馆奉中央文化部令，正名为国立南京图书馆。

1952年10月，江苏省立国学图书馆并入国立南京图书馆。

1954年7月，江苏建省，文化部将国立南京图书馆改名为南京图书馆。

2002年，南京图书馆大行宫馆区（新馆）正式动工修建。

2006年11月，南京图书馆实现全面开放。

2025年3月20日，南京图书馆援建塔吉克斯坦首座“中文图书馆”签约仪式在南图举行，此次合作标志着南京图书馆首个海外援助项目正式落地，建成后将成为塔吉克斯坦首座“中文图书馆”。