1954年10月27日，杨浦区人民检察署正式成立，办公地点为平凉路2049号。

1955年1月，根据宪法和人民检察院组织法的规定及最高人民检察院的通知，更名为杨浦区人民检察院。

1955年9月21日，榆林区人民检察院成立，办公地点为辽阳路31号。

1958年12月3日，上海市委决定将杨浦、榆林两区合并，撤消榆林区的建制。同年12月25日，杨浦、榆林两院正式合并为杨浦区人民检察院，办公地点为平凉路2049号。期间，曾一度迁址至周家牌路办公。

“文革”期间，中国检察制度遭到了严重的破坏。公、检、法等执法机关由中国人民解放军实行军管。

1968年2月，杨浦区人民检察院被实行军管。

1975年1月，检察机关被正式取消，检察权由公安机关行使。

1979年1月，根据党的十一届三中全会和五届人大一次会议的精神，杨浦区人民检察院重建，办公地址仍为平凉路2049号。

2003年5月1日，杨浦区人民检察院迁址至河间路31号办公。