Biblioteket blev grundlagt af kong Frederik den 3. omkring 1665. Kongen elskede bøger og havde en samling på 20.000 bind. Det fik til huse i kunstkammerbygningen, hvor også Rigsarkivet ligger.
I stueetagen i biblioteks- og arkivbygningen var der oplagret kanoner, men da de blev flyttet i 1860’erne, og biblioteket fik pladsen tilbudt, fremsatte overbibliotekaren i stedet ønsket om en helt ny bygning til at huse den nationale bogsamling.
Den store sal i det gamle bibliotek.
Da man på dette tidspunkt var i færd med at sløjfe Flådens udrustningshavn Søarsenalet bagved, og Staten i forvejen ejede grunden her, blev løsningen at opføre en ny biblioteksbygning ud mod Christiansgade (som Christians Brygge hed dengang).
I det nordøstlige hjørne blev de gamle hvælvinger bevaret. Her er i dag Dansk Jødisk Museum.
Over indgangen til biblioteket står på latin: “I begyndelsen var ordet”.
Biblioteksbygningen stod færdig i 1906 og blev tegnet af arkitekten Hans J. Holm (1835-1916). De mere end 1 million bøger i det gamle bibliotek, blev flyttet ved hjælp af et elektrisk tog, der kørte på en bro mellem den gamle og den nye bygning.
Mellem biblioteksbygningen, Proviantgården og Tøjhuset ligger Bibliotekshaven som tidligere var udrustningshavn for Flåden. Anlægget er beskrevet nærmere under Søarsenalet.
I 1968 blev der mod havnen tilføjet en tilbygning og i 1999 kom ”Den sorte diamant” til som endnu en tilbygning. Den er tegnet af arkitekter fra firmaet Schmidt, Hammer og Lassen.
Den nye biblioteksbygning ligger ud til Søren Kierkegaards Plads.
Foran Det Kongelige Biblioteks nyeste bygning ud mod havnen, står en kopi af Anne Marie Carl-Nielsens statue “Havfrue” fra 1921.