この寺院は、 天平7年(735)、聖武天皇の勅願により、東大寺の良弁僧正が開創したと伝えられ、寺の縁起では、寺院建立時、地面より湧出した十一面観音菩薩を本尊とし、当初は「観音寺」と呼ばれました。
保延3年(1137)に焼失、承元2年(1208)解脱房貞慶が再興し、観音霊場に因んで「補陀落山海住山寺」と名づけたとのことです。