上海人民出版社前身是华东人民出版社。1951年3月，由新华书店华东总分店编辑部和出版部组成，地址新乡路1号。由中共中央华东局宣传部领导。同年7月，社址迁至绍兴路54号。8月，华东画报社并入，增设美术编辑部。1952年8月，美术编辑部划出，另行成立华东人民美术出版社；文艺等其他出书业务划给有关出版社。1955年1月，随着华东行政大区撤销，改为上海人民出版社。

最初的上海人民出版社，作为华东与上海地区主要的国营出版社，是综合性出版社。华东人民出版社成立时，设文艺、通俗读物和一般读物3个编辑室。一般读物包括时事政治、农业生产、医药卫生等读物。随着编辑业务走向专业化，美术、文艺出版业务划出后，设时事政治、基本理论和通俗文艺3个编辑室。上海人民出版社成立时，通俗文艺也划出，成为哲学、社会科学等政治理论专业出版社。设党的建设、思想修养、财政经济等读物编辑室；基本理论、政法文教等读物编辑室；历史读物编辑室，以及工人、工矿读物编辑室。至1956年，设立政治编辑室、哲学编辑室、经济编辑室、工人读物编辑室(后撤销)、历史读物编辑室，另设翻译读物编辑室。

“文化大革命”期间，上海市出版局和各出版社被合并为一个大社，仍称“上海人民出版社”。“文化大革命”结束后，上海出版系统恢复原建制。上海人民出版社编辑部下设政治、哲学、经济、历史4个编辑室。1979年成立青年读物编辑室，1983年成立祖国丛书和新学科编辑室，1984年成立党建读物编辑室，1985年成立法律编辑室，并重建翻译室。为了加强审读，设立编审室，协助总编辑决审书稿。

在期刊方面，50年代以来，先后编辑出版《文化学习》《华东农民》《华东妇女》《展望》《解放》；“文化大革命”中曾出版市委写作班主编的《学习与批判》。“文化大革命”后，创刊《党的生活》《书林》《青年一代》《中外书摘》《少女》等刊物。

1989年8月，上海人民出版社开始实行目标管理制度。体制结构，改建成立政法（含党建）、哲经、文史、青年4个编辑部，下设若干编辑室；并将出版部的校对、出版科一分为四，分属每个编辑部。后又增设期刊编辑部，并附设发行出版科。

1992年，扩大为6个图书编辑部（党建业务单独建部，哲、经部一分为二），部下不设编辑室，成为两级管理；除期刊部分，各部的校对出版科仍还归出版部。

1993年，成立12个编辑策划组，同时成立两个编辑部，每部各辖6个策划组。为了保证必要的重点书出版，另设一个重点图书策划组，由总编室直接管理。

1994年后设4个图书编辑部，图编一、二部各辖5个编辑组，图编三部辖2个编辑组和中华文化通志编辑部，图编四部辖3个编辑组，着重出版学术专著。目标管理制度施行以来，在重点书、畅销书的出版方面，在出版社年产值与创利方面，均居同类出版社前列。