1978年10月18日，玉林县文物事业管理所成立，是玉林市博物馆的前身。

1984年6月1日，随着玉林撤县设市，玉林县文物管理所改名为玉林市文物管理所。

1989年7月26日，玉林市文物管理所升格为玉林市博物馆。

1991年2月1日，玉林市博物馆接收玉林市图书馆旧馆舍，建筑面积1419平方米。

1992年2月2日，玉林市博物馆正式开馆。

1992年7月，全国政协副主席、民革中央主席屈武为玉林市博物馆题写馆名。

1997年10月11日，随着玉林撤地设市，县级玉林市博物馆升格为地级市博物馆。

2005年，因当时玉林市城区建设需要，玉林市博物馆被拆迁，原址建成现在的玉林人民公园正门停车场。自从拆除玉林市博物馆后，经过几年的多方论证，玉林市博物馆新馆项目启动。

2014年10月，玉林市博物馆主体建筑基本完工。

2015年12月，玉林市博物馆新馆建成并正式免费对外开放。