Vänersborg grundades 1644 och blev residensstad i Älvsborgs län, som hade bildats 1634. 1680 utökades länet med Dalsland. Tio år senare stod residenset i Vänersborg färdigt.
Den förste landshövdingen var Henrik von Vicken som till en början bodde kvar på sin sätesgård Fenneslunda. Han lyckades få Karl XI:s tillstånd att bygga ett residens vid torget i Vänersborg. Det bestod av en huvudbyggnad i två våningar och två envåningsflyglar i timmer.
Carl Hårlemans residensbyggnad
Trettio år senare var anläggningen förfallen. Överintendenten Carl Hårleman besökte Vänersborg 1750 och menade att det gamla residenset borde ersättas med en varaktig byggnad. Året därpå godkändes hans ritningar till ett nytt residens som stod färdigt 1754.
Huset hade tre våningar med souterrängvåning och vind. Bottenvåningen var rusticerad och ovanför den var fasaden slät. Taket var lågt och brutet. På bottenvåningen fanns kanslilokaler och landshövdingen bodde i den övre. 1777 tillkom två flyglar.
Vänersborg brinner
1834 härjade en brand som förstörde nästan hela staden. Residensets huvudbyggnad klarade sig, men flyglarna skadades. Vänersborg återuppbyggdes enligt en ny stadsplan gjord av Nils Ericsson som lade tyngdpunkt på brandsäkerheten.
1843 gjordes mindre förändringar i fasaden och 1848 uppfördes en tillbyggnad ritade av P Wallström och Carl Gustaf Blom Carlsson. Då revs också de brandskadade flyglarna.
Älvsborgs län upphör
Residenset renoverades och fick elektricitet 1905. Länsarkitekten i Älvsborgs län Allan Berglund påbörjade en större om- och tillbyggnad 1942. Ombyggnaden blev klar 1950 och då blev bottenvåningen i det hårlemanska huset kontor. Två flyglar byggdes 1943-44.
Under 2006 utförs en omfattande renovering av interiörerna.
Älvsborgs län upphörde den 31 december 1997 och ingår nu i Västra Götalands län med Göteborg som residensstad.
Residenset i Vänersborg är statligt byggnadsminne.