Byggnaden uppfördes i slutet av 1400-talet som biskopspalats. Namnet kommer efter Kort Rogge, som var biskop i Strängnäs 1479-1501. I borgen ingår delar av en ännu äldre byggnad.
1523 valdes Gustav Vasa till kung i Strängnäs och enligt idag ifrågasatta källor skedde det i Rikssalen i Roggeborgen. Reformationen av kyrkan som genomfördes under 1500-talet innebar en stor tillbakagång för kyrkan och dess maktställning. Nedskärningar i kyrkans administration bör ha inneburit ekonomisk försämring för hela staden.
Strängnäs gymnasium
Efter reformationen tillhörde byggnaden kronan och 1626 donerade Gustav II Adolf den till Strängnäs gymnasium. Roggeborgen var gymnasiets och från 1850 läroverkets huvudbyggnad fram till 1935.
1864-65 gjordes en omfattande ombyggnad av borgen efter ritningar av arkitekt P J Ekman. Då fick bland annat gavelröstet tinnar.
Biblioteksverksamhet
1966-68 byggde man åter igen om Roggeborgen, den här gången efter ritningar av Ingeborg Waern-Bugge vid dåvarande Byggnadsstyrelsen. Byggnaden anpassades efter sin nya verksamhet som bibliotek. Idag präglas borgens exteriör och interiör av denna ombyggnad. Bland annat gjordes en ny entréport och nya ytterdörrar, fasaden putsknackades, lagades och rödslammades och man gjorde en ny inre trappa med hydraulhiss.
Sedan 1968 är Roggebiblioteket en filial till Kungliga Biblioteket.