随州图书馆事业有着悠久的历史。据古《随州志》记载：早在明朝时就建立有“汉东书院”，修建了白云书院。

1933年建有二层楼的“烈山图书馆”。

1950年4月，随县文化馆办了一个小型的公共图书室。

1978年，随县图书馆成立。

1991年，原随州市图书馆在随县图书馆基础上建立，建筑面积4000平方米。

2000年12月，随州市图书馆升格为地级图书馆，级别为正科级事业单位。

2006年9月，湖北省随州市图书馆神农分馆正式动工兴建。

2008年8月26日，湖北省随州市图书馆开馆试服务。