Landshövdingen i Kalmar, Henrik von Vicken, föreslog 1678 Kunglig Majestät att Sjötullhuset var lämpligt som landshövdingeresidens och erbjöd sig att där reservera ett rum för kungen vid hans besök i Kalmar. Von Vicken fick strax ett positivt besked.
Ursprungligen var Kalmar slott landshövdingarnas residens, men borgen förföll under 1600-talet. Efter ett beslut i riksrådet 1640 flyttade Kalmar från sitt gamla läge nära slottet till Kvarnholmen. Där byggdes en ny befäst stad under andra hälften av 1600-talet. Landshövdingarna fick själva ordna hus inne i den nya staden.
Stora Sjötullens hus
Landsbokhållaren Hans Eriksson byggde ett stenhus vid Lilla Torget omkring 1660. Kronan förvärvade huset 1670, som då blev lokaler för Stora Sjötullen och bostad åt tullnären. Huset var byggt i klassicistisk stil med två våningar och huvudfasad mot Ölandsgatan och hade då ett högt valmat tak. På 1680-talet tog amiralgeneralen Hans Wachtmeister, generalguvernör över Kalmar län och Blekinge, över huset, men amiraliteten flyttade vidare till Karlskrona. Från 1686 har huset varit landshövdingeresidens. Bostadsvåningen innehöll sju rum och var gjord enligt en sexdelad plan efter fransk förebild. Nu finns ingenting kvar av den ursprungliga inredningen, men bottenvåningen har kvar 1600-talsprägeln med kryssvälvda rum.
Större tomt och nya byggnader
Lokalerna, som även rymde länsstyrelsen, blev för små och 1722 köptes granntomten. Några år senare ritade fortifikationsofficeren Ulrik Höijer en tillbyggnad till residenset. 1737 var det nya huset, som är mittparti på det nuvarande residenset, färdigt. Exteriören gjordes om i herrgårdsstil i Carl Hårlemans anda och huset fick ett mansardtak. På 1770-talet köptes ännu en granntomt. 1854 uppfördes där den nuvarande byggnaden efter ritningar av Theodor Anckarsvärd och den blev en pendang till det äldsta huset.
1901–03 byggdes ett nytt landsstathus, ritat av Carl Möller, i anslutning till residensets äldsta del. Byggnaden utformades som en barockpastisch. Därefter byggdes själva residenset om 1904–05 efter arkitekt Fritz Eckerts anvisningar.
Landsstathuset byggdes till 1923 efter Axel Lindgrens ritningar. Länsstyrelsen fick nya lokaler 1949 och 1951 på Södra Långgatan, ritade av Åke Strindberg.
Residenset är statligt byggnadsminne sedan 1935.