1901年（清光绪二十七年）春，黄晦闻、杨渐逵、黄汉纯、欧阳日瑚、李蕴石、谢英伯、何锡朋等学人为着修学励行，启迪民智，于河南龙溪首约，创办“群学书社”。

1903年，因地方不敷，学校转迁海幢寺圆照堂，易名为“南武公学会”。

1905年，公学会创办“南武两等小学堂”。

1912年，添办“南武中学”并设立“南武中学附属小学”。

1937年，战乱，学校撤离广州。

1939年1月，学校租得香港九龙深水埗南昌街南中中学旧址，开办香港“南武中学”。

1942年9月，内地在曲江复办广州“南武中学”。

1945年，广州光复。

1946年7月，广州恢复办校。

1950年，政府接办南武中学，更名“广州市第一职业学校”（西湖路）并名“广州市财经技术学校”（西湖路）。

1952年秋至1954年7月，学校改名为“广州市财经技术学校”。

1954年8月至1958年8月，学校又改名为“广州市财政学校”。

1954年秋至1959年，学校更名为“广州市第十九中学”。

1959年，学校改名为“广州市第33中学”，附设“龙溪南小学”。

1960年9月至1968年8月，学校改名为“广州市实验学校”。

1968年9月至1984年11月，学校改名为“广州市第五十八中学”。

1969年，广州市南武中学（时名广州市第五十八中学、广州市实验学校）为了响应广州市革委会指示市区中学到远郊建立学农基地办分校的指示，曾在现从化区龙潭龙聚村马岭山下建立分校，分校在党的十一届三中全会后被撤销。

1984年11月，学校复名为“广州市南武中学”。

2000年9月，开办“南武实验学校”。

2004年8月，广州市102中学并入南武中学，建新校区杏园大街81号是为“广州市南武中学初中部”。

2013年3月，成立“广州市南武教育集团”，成员学校有广州市南武中学、广州市江南外国语学校、广州市第33中学、广州市南武实验学校、广州市海珠区南武小学、广州市南武实验小学。

2018年11月，海珠区教育局决定中海名都小区配套学校（在建）委托南武中学管理。