杨家祠堂座落在县城东北部的古城墙边。太子少保、果勇侯、镇竿总兵杨芳捐资修建于清道光十六年(1836年)。 祠堂由大门、戏台、过亭、廊房、正厅、厢房组成,是典型的四合院建筑,占地770平方米。戏台为单檐歇山顶,穿斗式结构,高16米,面阔7米,进深8米;檐下如玉斗拱,台柱雕龙刻凤。正殿为抬梁式建筑,山墙为猫背拱,分为一明二暗三间。两边配有厢房。杨家祠堂设计精巧,做工精细。