回雁峰居南岳七十二峰之首，景区面积21312m2，是衡阳市重点文物保护单位。回雁峰之名来源有二：一曰北雁南飞越冬，至此气暖，不再南飞而北归；一曰山形似雁，张翼回翔。
回雁峰海拔96.8米，山虽不高，因历史名人的诗文以它为典故者甚多，文因景成，景借文传，故名扬天下。唐代诗人王勃在《滕王阁序》中有“雁阵惊寒，声断衡阳之浦”佳句。伟大诗人杜甫曾居衡阳，留下了“万里衡阳雁，今年又北归…………”的诗句。杜鹤、高适、文天祥、范仲俺等都留有脍灸人口的诗文。又因明未清初的大思想家王夫之出生于此，南宋大理学家周敦颐从小在衡州舅父家成长，人文荟萃。使回雁峰名胜古迹更是名溢中外。
回雁峰上最著名是雁峰寺，梁天监十二年（会元513年），宏宣法师选回雁峰创建寺院，武帝萧衍赐名“乘云禅”。唐代改号为“山门寺”。明清之际建“寿佛殿”。抗日战争，衡阳蒙难，千年古刹，在劫难逃。
1964年，中南局第一书记陶铸视察衡阳，倡导修复，辟为公园，部分完工，遇“文革”而停建。1983年----1985年初，衡阳市人民政府重修回雁峰公园。景区有潇湘八景之一的“平沙落雁”；有衡阳八景之冠的“雁峰烟雨”；有金碧辉煌的雁峰寺，有雁城标志的雁雕；有凭吊王夫之的此君轩等二十多个景点。赵朴初、唐天际、周轻鼎、当代书法名家的翰墨精品荟 萃，王勃、陈宗契等古代文人骚客的诗文，陶铸的散文《松树的风格》为景区增添了光辉和文化内涵。
整个景区设计合理，布局巧妙，施工精细，亭台楼阁与树木花草相得益彰，小径通幽，闹中处静。登上回雁峰，南望东州桃浪；北眺来雁，珠晖两塔；东瞰湘江如带，百舸争流；西看岳屏胜景，高楼鳞次，车水马龙，令人心旷神怡，留连忘返。
