普陀山的宗教活动可溯于秦，成为佛教圣地则始于唐代。
相传秦方士安期生卖药东海边，曾渡海七上普陀，现存“仙人井”遗迹。西汉末年，梅福因朝廷政治黑暗，忠言得不到采纳。于是弃官归隐，最后遁迹普陀山，采药炼丹，修道济世。普陀山古称“梅岑山”，即因梅福而得名。现尚有炼丹洞、梅福庵等遗迹。
唐大中元年（公元847年）有梵僧来谒潮音洞，感观世音菩萨现身，为说妙法，授以七色宝石，遂传此地为观音显圣地。后梁贞明二年（916年），日本高僧慧锷大师从五台山迎奉观音像乘船回国，途经普陀莲花洋遭遇风浪，数番前行无法如愿，遂晓悟观音不肯东渡，乃留圣像于潮音洞侧供奉，故称“不肯去观音”。此后，普陀山就成为观音菩萨的应化道场。
南宋绍兴元年（1131年），普陀山佛教各宗被统一归于禅宗。嘉定七年（1214年），宁宗御赐给普陀山宝陀寺“圆通宝殿”匾额，并指定山中各寺圆通殿均得供养观世音像。明清两朝帝王对普陀各寺院，或颁圣旨，或赠玉印，或建御碑，或赐物题字。如普陀山现存历史文物中，就有明万历皇帝颁赠给镇海禅寺（现法雨寺）的圣旨，清康熙、乾隆钦赐的海青袈裟，康熙御碑“海月常辉”的横额，光绪钦赐的玉印，慈禧画的牡丹图等。
普陀鼎盛时期，全山共有4大寺、106庵、139茅蓬，4654余僧侣，史称“震旦第一佛国”。称曰：“山当曲处皆藏寺，路欲穷时又遇僧”。
