原建于唐开元年间，唐会昌五年（845）建立楼阁，五代重修，名“瑞像寺”、大中祥符元年（1008）赐名为“宝相寺”、至明永乐九年（1411）重建佛阁三层五楹，取名“毗卢阁”，万历廿九年（1601）建无梁桥，现在的五层五楹为光绪十九年（1893）重建。
大殿1981年大修，增塑文殊、普贤，重塑十八罗汉，主体建筑改为五层七楹，依崖而建，歇山顶，飞檐翘角，逐层退进成塔形，外观雄伟壮丽而又精巧稳重。
“逍遥楼”匾额为唐颜真卿手书；“大雄宝殿”为清俞樾书，殿内楹联“理哲家言同源西圣、华严法界现象南明”为蔡元培书。
