Bebyggelsen er navngivet efter beliggenheden ved Guldbergsgade.
Den består af 533 lejligheder for folkepensionister. der blev tegnet af arkitekten Poul Holsøe (1873-1966). Bebyggelsen er opført i 1936-1937.
I dag består Guldbergs Have af ca. 300 lejligheder.
Ved bebyggelsen står Frantz Viggo Hansens brozeskulptur “Dansende piger” fra 1937.