1920年，上海市宝山中学的前身“宝山县立甲种师范讲习所”于宝山古城内文昌宫正式创立，原北京师范大学附属小学校长管城任所长。学校修理陈化成祠辟作教室，收管陈化成祠祭田充作农事实习场。

1922年，学校举行第一届毕业典礼，首届44名毕业生中，就有日后蜚声中外的著名儿童文学家陈伯吹。

1923年，学校易名为“宝山县立师范学校”，管城改任校长。

1926年，教育家陶行知先生应邀来校讲学，并题赠“创校纪念诗”。学校推行陶行知先生“教学做合一”主张，发展为“做学教合一”教学模式，成为宝山最早创新实践陶行知教育思想的学校。

1928年，中国共产党吴淞区委、共青团吴淞区委派徐克强到宝山师范学校秘密发展党团组织，中共宝山师范支部和共青团宝山师范支部相继成立，成为宝山最早批同时建立共产党和共青团组织的学校之一。

1932年，“一·二八”淞沪抗战爆发，宝山县立师范学校停办。在宝山绅士周之桢先生的倡议下，利用宝山师范学堂旧址，集资筹办重建“宝山县立初级中学”。在浦文贵、徐纪锺、杨仰周三任校长主持下，宝山中学历尽抗日战争烽火和解放战争风云，以“为民教育”为宗旨，为地方和社会培养了一批批人才。

1949年新中国成立后，上海市人民政府接管学校，黄一冰任校长。有着“勤、敏、诚、朴”优良校风和爱国主义革命传统的宝山中学获得了新生。1952年起，学校向全县招生。

1956年起开始招收高中生，成为宝山县第一所全日制完全中学，学校易名为“宝山县第一中学”。

1960年时，学校被上海市教育局确定为上海市四十所重点中学之一。

1982年，学校从宝山县划归吴淞区，更名为“上海市宝山中学”。

1985年，学校调整初高中脱钩，高中部在原址上与宝钢一中高中部合并为高级中学，保留上海市宝山中学校名。

1988年起，随着吴淞区与宝山县合并，学校归属宝山区。

在改革开放春风的沐浴下，宝山中学按着时代的节拍，步入了改造、发展、创新的新时期。

1995年，学校抓住投资1100万元全面改造校舍的机遇，乘势而上，大力推进校园绿化工作，全面更新学校硬件设施。

1998年8月5日，全国政协副主席、上海大学校长钱伟长为学校题写了校名。

2011年，学校被评为宝山区实验性示范性高中。

2017年，教育部授予学校“全国青少年校园篮球特色学校”称号。

2020年，学校启动恢复完全中学办学性质。