Københavns Universitet havde et bibliotek helt tilbage fra sin grundlæggelse. Det blev opbevaret forskellige steder, bl.a. i Trinitatis Kirke og i Helligåndshuset.
I 1861 stod en ny bygning færdig, som skulle rumme universitetets bibliotek.
Bygningen er ét af de første eksempler i Danmark på den historicistiske byggestil, hvor man henter elementer fra tidligere perioders byggeri.
Den blev tegnet af arkitekten Johan Daniel Herholdt (1818-1902) i nyrenæissance-stil, men bygningen har også indvendigt motiver fra den nordiske middelalder. Herholdt brugte kirken San Fermo Maggiore i Verona som forbillede.
Udvendigt er der i murværket indsat mønstrede sten og flere steder danner glaserede mursten fine mønstre.
Den centrale hal i biblioteksbygningen har søjler fremstillet af støbejern. Det var én af de første bygninger i Danmark, hvor dette materiale blev anvendt.
Flere større bogsamlinger er i tidens løb indgået i biblioteket, f.eks. den omfattende classenske bogsamling. På grund af pladsmangel, flyttede den naturvidenskabelige litteratur i 1930’erne til nye bygninger på Nørre Allé.
Biblioteksbygningen føjer sig til universitetskomplekset på Frue Plads, der også omfatter det tidligere Zoologiske Museum i Krystalgade.
Omkring 1905 blev der opført en yderligere bygning til biblioteket. Den såkaldte magasinbygning (herover) blev tegnet af arkitekten Martin Borch (1852-1937). I dag bruges den af universitetets administration.