白鹿寺位于益阳市城区资江南岸的白鹿山上，毗邻会龙山。寺始建于唐代宪宗元和年间，距今约1200年。据明《一统志》载：唐裴休讲道于此，有白鹿衔花出听。“白鹿山”因此得名。时人为纪念裴休诵经讲道引来白鹿聆听，并建白鹿寺。古寺鼎盛时期有四进，是益阳最大的一座寺庙。
宋代李纲和黄庭坚均到益阳游览过白鹿寺，并写下诗章赞美白鹿美景：
游白鹿寺
李纲
寺枕清流荫碧梧， 萧然景物类东吴。
登临忽动思归兴， 不待秋晚可鲙鱼。
咏白鹿寺
黄庭坚
谷朗岩开见佛灯， 云遮雾掩碧层层。
青山得意看流水， 白鹿归来失旧僧。
白鹿寺在清代最为鼎盛，尤其是寺内重达1吨多的大铜钟，钟声悠扬宏远，响彻古城15公里长街，古人把“白鹿晚钟”列为“资江十景之一”。其后古寺几经苍桑，荡然无存。如今的白鹿寺，是1987年仿古寺重新修建而成。寺庙傍山，已恢复两进。登上白鹿山顶第二进，是新修的大雄宝殿、南岳殿和观音殿。殿内佛像金光闪闪，佛幡条幅五光十色，宝殿的左右各建了一座钟鼓楼。正在制作大鼓巨钟，准备让“白鹿晚钟”的雄风，重现古城。如今的白鹿寺殿宇更加轩昂，楼阁更加壮观，气势更加雄伟，每日香烟袅袅，钟声悠悠。游者不仅可以看到古寺新貌，而且可以品尝斋宴。
