齐齐哈尔市图书馆始建于1906年5月，建馆初期隶属于黑龙江省将军署学务处。

1908年7月，在省城西关外嫩江畔原普恩寺旧址建图书馆舍，定名为黑龙江图书馆。

1925年，迁至省教育厅内，称黑龙江省立图书馆。

1930年，在龙沙公园望江楼南侧建新馆舍为三层宫殿式仿古建筑，名为黑龙江省图书馆。

1954年，原黑龙江省和松江省两省合并后，更名为齐齐哈尔市图书馆。

2006年09月17日，齐齐哈尔市图书馆隆重举行了建馆100周年暨新馆奠基庆典。同年齐齐哈尔市委、市政府投资7000万元，建设图书馆新馆。

2014年12月15日，齐齐哈尔市图书馆新馆举行开馆仪式。