其前身是“忠源女子学校”，系原省立第六女子中学进步组织“朝曦读书会”成员为抗日救亡活动而建立的小学当时校址在江忠源祠和昭公祠，只有5个教学班。学校成立后，积极开展了抗日救国和妇女解放的宣传工作，并为接待北平、东北、天津河南等地的流亡学生作出了贡献。民国二十六年（1937年）抗日战争爆发后，该校停办，部分教师奔赴延安和抗日前线。

1949年合肥解放后，在原校址重建了合肥市立初级小学，开设2个班。1950年改为合肥市第一初级小学。1953年改为合肥师范学校第二附属小学。

1958年改为现名。自1949年至1966年，该校有12届毕业生近千人。“文革”中，学校遭到严重破坏。粉碎“四人帮”后，学校通过认真贯彻“调整、改革、整顿、提高”的方针，教学上坚持德智体全面发展，教育质量逐步提高。1978年被评为合肥市教育系统先进集体。

1981年副校长童本忠被评为特级教师。

1985年全校有13个教学班，在校学生738人，教职工42人，其中专任教师37人。学校占地6·9亩，校舍建筑面积3650平方米。有图书2500册，杂志22种，报纸16种。

2004年底，学校拥有三栋教学楼房，占地约3900平方米，有教职工近90人，学生1000余名，18个教学班。系全日制六年制学校。学校拥有自然实验室、语音室、计算机房、舞蹈房、音乐室、多媒体网络室等一流的教学环境和设备。

2007年，合肥市长江路第二小学迁入新校区，并更名为合肥市栢景湾小学。现有合肥市长江路第二小学栢景湾校区和合肥市长江路第二小学橡树湾校区两大校区。