1948年7月，中国革命胜利在即，鲁中南行署二专区（沂蒙专区）决定在新泰县嶅阳镇建立教干教师训练班，为前后方培养有文化、有知识的人才。是红色政权在山东解放区建立的第一所师范学校。

1948年10月，山东省府和鲁中南行署决定在此基础上成立“沂蒙中学”，以训练革命干部，培养小学师资。

1949年，改名为“山东省立沂蒙乡村师范”。

1950年，遵山东省府指示易称“山东省立沂水师范学校”

1951年，学校从嶅阳镇迁至沂水县城阳。

1997年成为第一批山东省规范化学校，随后有莒南师范学校、郯城师范学校、临沂师范学校、山东煤炭师范学校等先后并入。

2007年4月25日，经临沂市政府研究，山东省政府批准，沂水师范学校和费县师范学校一起，正式宣布整体并入临沂师范学院。并校初期两师范学校仍独立运行，待关系理顺后由临沂师范学院统一管理。

2007年6月，沂水师范学校正式并入临沂师范学院，学校正式名称改为“临沂师范学院沂水分校”。

2010年1月，临沂师范学院职业技术学院在沂水分校挂牌；

2010年，学校迁于沂水县城南岜山南坡，即现址。

2010年12月，临沂师范学院更名临沂大学，学校名称据此改为“临沂大学沂水校区”。