铁佛寺，原名开元寺，始建于唐朝开元年间（公元713—714年）。在开元寺东廊，名广福观音院，立观音像；西南隅有智者院，供奉普贤造像。因开元寺屡遭火灾，佛像屡造屡毁，相传到唐天宝元年（774年），鉴真大师三次东渡日本未成，曾从明州（今宁波）阿育王寺经越州（今绍兴）、余杭来湖州讲经授戒。

开元寺大师们向他谈及开元寺常遭火灾，佛像每每补毁之事。鉴真 大师提出铸一尊铁之观音。因为条件尚不具备，未果。到宋天圣三年（1025年），方始承鉴真宿愿，铸成铁观音像。从那以后，观音院里佛灯长明，香火极盛。当时苏杭二州都有成批的香客前来敬香朝拜。

元末广福观音院毁于兵乱，仅存铁观音像。明洪武二年（1369年）以院基地造泰定仓，移寺于今址；改名铁佛禅寺。宣德八年（1433年），僧昙壁又铸大铁佛释迦牟尼、文殊、普贤三尊，创慈云阁，寺院又呈兴旺景象。但到清同治年间（1862—1874年）又遭兵毁，正法眼藏被焚，仅存铁观音和三尊大佛立在露天。同遭风吹雨打日晒，三尊大佛上出现了锈点，唯铁观音不蚀不锈。