Under flottbasens tid på Skeppsholmen var det egen församling med präst. Prästgården har under årens lopp använts för olika funktioner.
Flottans skeppsvarv sysselsatte många hantverkare och arbetare som inte bodde här på holmarna. För deras skull byggdes 1739 Skaffehuset där de kunde äta sin skaffning, matsäck. Huset var i en våning med sex rum och stengolv och kallades allmänt Stenkrogen. Några år senare fick flottans sjöreserv använda en del av huset som då började kallas Reserven. 1818 inrymdes också ett marketenteri, en matsal, för sjöartilleristerna.
Huset hade byggts på med en andra våning 1825, då den gemensamma skeppsgosse- och fattigskolan startade. Fattigskolan var för både pojkar och flickor men flickorna flyttades till en egen lokal 1833. När skeppsgosseskolan lades ner 1855 var hela huset skola. Här fanns även två bostäder för lärare, som oftast var bataljonspredikanter. Under tiden, 1842, hade beslutet om obligatorisk folkskola för flickor och pojkar tagits. Krav ställdes nu också på skolsalarna som skulle vara ljusa och ha god luft. 1865 byggdes därför Skolhuset om så att skolsalen gick genom husets båda våningar. För att dagsljus skulle kunna flöda in sattes de höga rundbågiga fönstren dit.
Skolan blir prästgård
1927 lades Skeppsholmens folkskola ner. Huset byggdes om till Prästgården och skolsalen blev församlingssal. Prästen huserade här redan på 1880-talet, men 1972 var tiden som prästgård över. Fotografiska museet flyttade in och var kvar till 2008.
Idag är Svensk Form hyresgäst.