回香阁位于华严岭上，华严岭是由九华街蹬道上天台必经之岭，昔日香客上天台后多有在此烧回头香的习惯，故有寺名"回香阁"。
回香阁始建于明代，历代屡毁屡建，现存建筑为90年代建造。大雄宝殿为宫殿式，重檐翘角，内供华严三圣，毗卢佛、文殊、普贤、二十四诸天等塑像。
标签回香阁西南有一株高13米，干围2米的迎客松；东南谷地有华严井，口面直径约1米，甘泉清冽，久旱不涸。山门殿前置福建青潮石大型观音壁石雕三幅：正面《千手千眼观音》，高4米，宽8米，扇形结构，刻有"大悲咒"
东为《飘海观音》刻有"心经"；北为《紫竹林观音》正面篆刻"百福百寿"字图，背雕《九龙壁》。由回香阁登道南上有万佛塔，全部由黄铜铸成，耗资9000万，在群山之间金光四射，奢华壮丽，国内罕见。
回香阁和万佛塔相对应，别具一番特色，以前的善男信女们在九华山烧过香之后，常常会在日后的某个时候再回来"回香"，就像是还愿一样的，因此九华山有了回香阁，这样可以更加名正言顺地回来祈求来年继续平安无事。四大佛教名山之一的普陀山也是有连续三年上香的说法。
标签