济南市图书馆的前身为1931年6月设立的济南市立图书馆。

1938年秋，伪济南市公署以原省立济南女子中学的书籍为基础成立济南市立图书馆。

抗日战争胜利后，国民党政府接收该馆改为市立民众教育馆图书室。

1948年底，由人民政府接管。

1952年，称第五人民文化馆。

1952年8月济南市图书馆筹建。

1953年7月1日，定名济南市图书馆，正式对外开放。

1956年，将济南市第三区文化馆图书室并入。

1984年，在旧馆两侧兴建新馆。

1986年5月，新馆正式落成并使用。

2023年8月23日上午，济南市图书馆“海右书馆”正式揭牌并向社会公众开放。

2023年12月13日，“济南市图书馆市法院分馆”揭牌。

2024年3月，济南市图书馆依托“爱山东”app及“爱山东”微信小程序的“鲁通码”，在线开通社保卡免押金借阅功能。

2025年7月，由济南市图书馆牵头设计研发的全国首个图书无感借阅闭环系统在济南市图书馆中心馆亮相。