1751 beslutade flottan att bygga ett galärskjul med plats för två galärer. Man murade det stora fundamentet, grunden till skjulet, men så ändrades planerna. Grunden delades i två halvor och istället byggdes två förråd med en smal gränd mellan byggnaderna.
Galärer var krigsfartyg som både seglades och roddes. När de inte användes låg de på land i skjul. Galärerna byggdes på flottans skeppsvarv som låg både här och på andra sidan viken, på Djurgården. Verkstäder och förråd låg här och i de två fundamenten förvarades galärernas utrustning.
På 1820-talet var galärernas storhetstid förbi och fundamenten inreddes till verkstäder. I det södra låg segelsömmarverkstaden. Den fungerade som gudstjänstrum medan Skeppsholmskyrkan byggdes 1822–1842. Husen renoverades 1878 och fasaderna fick det utseende de har i dag. Arkitekt var Victor Ringheim.
1969 lades skeppsvarvet ned och Skeppsholmsgården flyttade in. 1977 anslöt Skeppsholmens folkhögskola som bland annat bygger båtar här.