Biblioteket blev grundlagt af kong Frederik den 3. omkring 1665. Kongen elskede bøger og havde en samling på 20.000 bind.
Bøgerne fik til huse i kunstkammerbygningen (herover), der ligger ud til Rigsdagsgården.
Her blev der indrettet en stor, fornem bibliotekssal (herunder), der er bevaret i dag.
I stueetagen i biblioteks- og arkivbygningen var der oplagret kanoner, men de blev flyttet i 1860’erne.
I stedet for at biblioteket kunne få pladsen, fremsatte overbibliotekaren et ønske om en helt ny bygning til at huse den nationale bogsamling.
Da man på dette tidspunkt var i færd med at sløjfe Flådens udrustningshavn Søarsenalet bagved, og Staten i forvejen ejede grunden her, blev løsningen at opføre en ny biblioteksbygning ud mod Christiansgade (som Christians Brygge hed dengang).
Biblioteksbygningen stod færdig i 1906 og blev tegnet af arkitekten Hans J. Holm (1835-1916).
De mere end 1 million bøger i det gamle bibliotek, blev flyttet ved hjælp af et elektrisk tog, der kørte på en bro mellem den gamle og den nye bygning.
Over indgangen til biblioteket står på latin: “I begyndelsen var ordet”.
Mellem biblioteksbygningen, Proviantgården og Tøjhuset ligger Bibliotekshaven som tidligere var udrustningshavn for Flåden. Anlægget er beskrevet nærmere i artiklen om Søarsenalet.
I det nordøstlige hjørne af biblioteksbygningen er de gamle hvælvinger fra flådehavnens bygning bevaret. Her er i dag Dansk Jødisk Museum.
I 1968 blev der mod havnen tilføjet en tilbygning og i 1999 kom ”Den Sorte Diamant” til som endnu en tilbygning.
Den er tegnet af arkitekter fra firmaet Schmidt, Hammer og Lassen. Facaden består af sort granit fra Zimbabwe.
Den Sorte Diamant er med en gangbro henover Christians Brygge forbundet med den gamle biblioteksbygning.
Broen bliver kaldt “Kirkebybroen”, fordi den er udsmykket af en stort loftsmaleri af billedkunsteneren Per Kirkeby.
Den nye biblioteksbygning ligger ud til Søren Kierkegaards Plads.