1645 blev Gotland åter svenskt efter drygt hundra år under danskt välde. Öns förste landshövding blev amiralen Åke Hansson Ulfsparre som bosatte sig vid nuvarande Donnersplan.
Under Gustaf Banérs landshövdingetid byggdes ett residens vid Strandgatan som blev färdigt 1650. Femtio år senare betraktades det som uttjänt men byggnaden finns fortfarande kvar. Sedan 1717 använde landshövdingarna Roma kungsgård utanför Visby som löneförmån. Johan Didrik Grönhagen lät där bygga en mangård som i praktiken fungerade som residens under hundra år.
Köpman Schwans 1700-talshus
1822 köptes köpmannen Nils Johan Schwans hus vid Strandgatan i Visby som residens. Det var uppfört under andra hälften av 1700-talet och var en tio fönsteraxlar lång tvåvåningsbyggnad av kalksten under brutet tegeltak. Huset förlängdes mot söder i mitten av 1830-talet och då byggdes också ett stall mot gården. Tio år senare förlängdes stallbyggnaden och man byggde ett vagnslider. På 1930-talet gjordes vagnslidret om till vaktmästarbostad. På 1860-talet köptes grannhuset, Westbergska gården, då länsstyrelsen behövde större lokaler. Den byggdes om och länsstyrelsen flyttade in 1871. På 1930-talet fick huset ett brutet tak och ansluter sedan dess till schwanska huset.
Statligt byggnadsminne
I början av 1900-talet gjordes en del om- och tillbyggnader av residenset. Under Gustaf Roos landshövdingetid 1912–27 inreddes sovrum på vinden. Residensets huvudentré finns vid Strandgatan i det ursprungliga huset. Residenset har en stor trädgård mot Korsgränd.
Fasaderna renoverades under första hälften av 1990-talet. De senaste åren har stora delar av landshövdingens representationsvåning renoverats. Åren 2004–2005 inreddes en ny gästvåning på bottenvåningen och landshövdingens privata bostad, som tidigare legat på bottenvåningen, flyttade upp till vindsplanet. Mycket av den nya inredningen visar exempel på gotländskt hantverk och möbelformgivning. Designen av de nya mattorna har hämtat inspiration från den gotländska naturen.
Residenset är statligt byggnadsminne sedan 1935.