卓府在市中山路中段，建于清同治年间，为潮州总兵卓兴的府第。卓兴，字士杰，揭阳霖因棉湖人，早年孤苦，浪迹江湖，后于道光年间在钦州（广西钦州）投军。因骁勇善战，在广东、福建、江西等地屡立战功，受到朝廷的重视而得提升。历任平镇营都司、潮州总兵、虎门水师提督，曾受赏赐而戴花翎和“格良吐巴图鲁”名号；封总兵时还赐赏三代一品封典，同治七年（1868年）告病辞归。光绪五年（1879年）卒，享年51岁。

卓府主体为三进建筑，斗拱抬梁式木结构，两侧配有花基，府前原有嵌瓷照壁，后包有花园并有私家戏台，甚为典雅，已不复存。1987年列为潮州市重点文物保护单位。