วังเก่าสร้างสมัยรัชกาลที่ 5 เมื่อครั้งพระยาอภัยบริรักษ์(น้อย จันทรโรจวงศ์) ดำรงค์ตำแหน่งเจ้าเมืองพัทลุง ระหว่าง พ.ศง 2412-2431 สถานที่แห่งนี้จึงมีฐานะเป็นที่ว่าราชการเมืองพัทลุงเรื่อยมาจนกระทั่ง พ.ศ. 2431 พระยาอภัยบริรักษ์ ลาออกจากราชการด้วยความชราภาพและดวงตามืดมัว เนื่องจากเป็นต้อกระจก รัชกาลที่ 5 จึงโปรดเกล้าเลื่อนตำแหน่งเป็น พระยาวรวุฒิไวยวัฒนลุงควิสัยอิศรศักดิ์พิทักษ์ราชกิจนริศราชภักดีอภัยพิริยะพาหะ จางวางเมืองพัทลุง พระยาวรวุฒิไวยฯ ยังคงพำนักที่วังนี้ จนถึงแก่อนิจกรรม พ.ศ. 2446 วังแห่งนี้จึงตกเป็นมรดกทอดไปยัง หลวงศรีวรวัตร (พิณ จันทรโรจวงศ์) และทายาทตามลำดับ
