1939年创办于江西泰和，曾更名为私立天翼图书馆、私立豫章图书馆。

1946年迁址至九江，改为九江图书馆。

新中国成立后，正式更名为九江市图书馆，现为国家一级图书馆。

半个多世纪以来，九江市图书馆几易馆址，馆舍面积和设施逐步改善。经全体员工勤勉努力，读者服务工作取得很大成绩，多次受上级表彰，获“全国文明图书馆”、“全国文化工作先进集体”等光荣称号。但随着时代的发展，九江市图书馆馆舍窄小、设施简陋的矛盾日益突出，难以满足社会公众的精神文化需要。

1997年，市委、市政府决定在市区庐山南路兴建新馆。

2003年7月，九江市图书馆新馆建成并对外开放，新馆建筑面积14068平方米。

2022年11月27日起，九江市图书馆临时闭馆，恢复开放时间另行通知。