医院前身可以追溯至创建于1927年的南昌市立医院，当时由国民党南昌市政委员会管辖。1934年经扩充改建为江西省立医院，隶属于国民党江西省政府卫生处，院址设在南昌市贡院背（现民德路）。1937年4月 ，江西省立医院被江西省政府确定为国立中正医学院的实习医院。1939年日军占领南昌，省立医院随国民党省政府先撤至吉安市，后又迁往泰和县。1944年，医院先后迁往兴国、宁都等地。1945年10月省立医院随国民党江西省政府迁回南昌原址。

1949年南昌解放，医院更名为江西省立南昌人民医院。1951年，更名为江西省立南昌第一人民医院。为救治抗美援朝伤病员，同年7月改为第五预备医院。1952年1月恢复省立南昌第一人民医院。同年，江西省卫生厅调整部分医院格局，向专科重点方向发展，医院改名为江西省外科医院。1955年，更名为江西医学院附属医院，担负着城市医疗预防及教学工作的双重任务。1952年9月 ，江西省立医学专科学校附属医院和省内科医院的部分专业人员调入省外科医院，这些人的很大一部分以后都成为医院乃至江西省医疗卫生界的学科带头人。1958年9月，医院更名为江西医学院第二附属医院。

“文化大革命”期间，医院下放给南昌市管辖，1970年2月改名为南昌第二医院，并在南昌市湾里区耗资100余万元兴建了设有500张床位的湾里医院。之后其更名为南昌市人民医院。

1972年5月，省革委会决定恢复南昌市人民医院与江西医科大学（原江西医学院）的隶属关系，医院更名为江西医科大学第二附属医院。11月，复名江西医学院第二附属医院。

2005年8月，南昌大学与江西医学院合并，9月医院随之更名为南昌大学第二附属医院。