曾国藩的祖父曾星冈在荷叶除建筑白杨坪一处田宅外，还在其附近下腰里有一处田宅。他父亲和叔父分家时，分在下腰里(今属荷叶镇良江村)，这里就成了曾国藩的第二故居。这里原也是一栋一进两横的普通农舍，后扩建了一横四间瓦屋，取名“黄金堂”，以与叔父家的“白玉堂”相对应。早在道光十三年(公元1833年)，曾国藩入县学后，就将这4间新屋辟为“听雨轩”，并在门上亲书“听雨轩”米把高的大字。咸丰二年(公元1852年)九月，其母江太夫人病逝后，他回籍在这里为母开堂作吊，仅中午一餐，就有客240多席，分3次才开完。他兄弟5人感到不体面，就急于广置田宇。战胜太平军后，曾家“打开南京进洋财”，就在家乡大兴土木。先是曾国荃在咸丰九年(公元1859年)建“大夫第”——奖善堂和敦德堂于大坪(今属荷叶镇大坪村)，并置富坨庄园一座。接着就是曾国藩在富坨营造“毅勇侯第”——富厚堂。

富厚堂是曾国藩的第三故居，由弟曾国荃、曾国潢主持修建。曾国藩已于同治三年赏加太子太保衔，赐封一等侯爵，其弟则为兄仿侯府规制，历经数年，将富坨全盘改建为规模宏伟而结构紧凑的“侯府”。全宅占地4万余平方米，建筑面积1万余平方米。土木结构，具有明清回廊式建筑风格。房子坐西朝东，前面是一片广阔的田野，涓水悠悠环绕;背依半月形的小山，中植竹木，四季常青。周围环绕高大的围墙，人行通衢横贯东西。进入东西两宅门，是一个用花岗岩铺成的半月形台坪，坪边插着大清龙凤旗、湘军帅旗、万人伞等。台坪外是一张半月形莲塘，夏日荷花相映，有如泮宫。台坪正中是前进大门，门上还悬挂着曾纪泽书“毅勇侯第”4个朱地金字直匾，所以当地人们称之为“侯府”或“宰相府”。