Södermanlands län är ett av elva landshövdingedömen som tillkom genom 1634 års regeringsform. Från början bodde landshövdingarna på Nyköpingshus, som till stor del förstördes i stadsbranden 1665.
Dåvarande landshövdingen Nils Sparre byggde ett hus inne i Nyköping som fungerade som landshövdingeresidens till 1719, då staden brändes av ryssarna. Landshövding Nils Gyllenstierna, 1724-26, uppförde ett residens vid Nyköpingshus, kallat Gamla residenset, där nu Sörmlands museum har sina samlingar. Detta var för litet för sitt ändamål och från 1761 föredrog landshövdingarna att bo i eget hus inne i staden.
Dyrbart residensbygge
Fabian Ulfsparre af Broxvik blev landshövding 1806. Han lät uppföra det nuvarande residenset i sengustaviansk nyklassicism vid Stora Torget. Huset var tre våningar högt och nio fönsteraxlar brett. De två flyglarna var två våningar höga och åtta fönsteraxlar breda. Man placerade ekonomibyggnaderna med bland annat stall och vagnshus vid Hospitalsgatan. I residenset finns delar av en äldre byggnad, det Kejserska huset. Bygget blev mycket dyrbart för landshövdingen och 1815 övertogs huset av kronan.
Väggmålningar
1906-27 var Lennart Reuterskiöld landshövding och 1907-08 gjordes en omfattande renovering av det då ganska förfallna residenset. Arkitekt för ombyggnaden var den brittiskt influerade Lars Johan Lehming, som bland annat ritat professorsvillorna på Experimentfältet vid Frescati i Stockholm. Vid ombyggnaden blev körporten i mitten av huset huvudentré. Då sattes också åtta väggmålningar med motiv av svenska slott upp i landshövdingens arbetsrum. Sex av dem är utförda av Johan Sevenbom och två av Johan Carl Holst.
På 1930-talet gjorde arkitekt Göran Pauli ritningar till kontorsflyglar som fick ersätta de gamla ekonomibyggnaderna. Östra flygeln vid Hospitalgatan byggdes till i början av 1940-talet efter ritningar av Arvid Stille som var länsarkitekt i Södermanlands län 1930-53.
Kontor och representationsvåning
Mats Lemne blev landshövding 1970 och då upphörde huset att vara landshövdingeresidens. Istället köpte Byggnadsstyrelsen en villa i Östra Bergen som blev landshövdingens tjänstebostad. Både bostadsvåningen och representationsvåningen i residenset vid Stora Torget inreddes till kontor.
1996 beslöt Statens fastighetsverk i samarbete med länsstyrelsen att återställa representationsvåningen i residenset, då landshövdingens tjänstevilla bara rymde begränsade representationsutrymmen. Man valde då att i vardagslag använda representationsvåningen som kontor, sammanträdesrum och personalrum. Lars Johan Lehmings inredningar skapade i början av 1900-talet har angivit tonen för utformningen av interiörerna. Hösten 1997 återinvigdes representationsrummen och residenset används åter igen för länets officiella representation. 2020 blev ombyggnationen av residenset klart när sydvästra flygeln byggdes om till en tjänstebostad åt landshövdingen.
