据《太清宫志》记载，西汉建元元年（前140年），崂山道教开山始祖张廉夫在此处始建三官庵。

唐天祐元年（904年），道士李哲玄与张道冲等人施建殿宇，在今太清宫三皇殿处建三皇庵。

北宋建隆元年（960年），道士刘若拙被敕封为“华盖真人”，奉敕回崂山修建道院，后在此创立太清宫。

金泰和八年（1208年），全真道掌教邱处机在崂山太清宫谈玄传道，使太清宫名声大噪。

金明昌六年（1195年），全真道北七真之一真君刘处玄于崂山太清宫讲授经典创立全真道随山派（隐山派），太清宫道众从此归为全真道。嗣后，许多著名道士闻名而来，如徐复阳、张三丰、齐本守等都曾在太清宫栖居修道。

明万历十三年（1585年），太清宫旧道院倾圮，被佛教憨山法师占据，在宫前建造有海印寺；万历三十一年（1603年），敕旨毁寺，重建崂山太清宫。

明天启二年（1622年），道人赵复会重修太清宫，正式确定了分三官、三清、三皇殿为三个院落的格局。

1956年，青岛市人民政府拨款修葺太清宫。

文革时期，崂山太清宫遭人为破坏。

1982年，青岛市人民政府重修崂山太清宫。

1985年，青岛市道教协会筹备委员会成立，设于崂山太清宫。

1989年，重修崂山太清宫三清殿、东华帝君殿和西王母殿，重塑神像47尊。

2005年，崂山太清宫新辟前后两院，前院建有元君、元辰两阁，后院是混元殿。