北京市海淀区图书馆的前身是1917年京师学务局在海淀西大街建立的西郊阅书报处。

1950年3月，北京市文化事业管理处在海淀镇西建立第十书报阅览室。

1951年12月，改为海淀区文化馆。

1958年，海淀区政府批准建立图书馆，在海淀镇南大街95号院内筹建新馆舍；同年7月1日，正式开馆，对外称海淀区图书馆，对内仍称区文化馆图书组。

1970年，图书馆迁到海淀镇八一学校花园借住。

1972年，海淀区革命委员会，在海淀镇南大街89号，建立680平方米的两层小楼作为海淀区图书馆，对内仍称文化馆的图书组。

1979年3月，海淀区图书馆单独建制，同年，8月18日正式成立海淀区图书馆。

2005年，搬入新馆重新向读者开放。

2016年7月10日，海淀区图书馆（北馆）建成正式开放。

2023年12月18日，北京市海淀区图书馆被文化和旅游部评定为“一级图书馆”。