Utbyggnaden tog dock sin rundliga tid. Skansen började anläggas 1656 och var tänkt att skydda södra inloppet till Stockholms skärgård. Under en inspektion 1683 upptäckte Erik Dahlberg, som då var direktör för fortifikationen, att anläggningarna av trä och jord var förfallna. Han föreslog att de skulle ersättas med konstruktioner i sten och ett runt torn i tre våningar. Arbetet kom dock inte igång förrän 1698. Under 1700-talets första årtionden uppfördes kommendanthuset (C) och det sammanbyggda tornets (B) två första våningar. Först 1753, 50 år efter Erik Dahlbergs död, fick tornet sin huv.
I den utförliga explikationen av ritningen från 1766 hittar man stort som smått: materialbodar, baracker, smedjan… Inalles var anläggningen bestyckad med 63 artilleripjäser. Någon användning för alla kanoner fick man dock aldrig. Vid rysshärjningarna sommaren 1719 kringseglades befästningen och inte heller under finska kriget 1808–1809 prövades fästningens förmåga. 1854 utgick Dalarö skans ur rikets fasta försvar. Skansen blev statligt byggnadsminne 1935 och inrymmer idag en festvåning. Sedan 1993 ägs och förvaltas byggnaden av Statens fastighetsverk.