Gaden hed indtil 1818 Skidenstræde, måske fordi “Byens Rende” – en åben kloak – løb gennem gaden. I kvarteret boede en del af byens socialt dårligt stillede.
Da gaden blev brolagt – eller “krystalleret”, som man kaldte det – brugtes også navnet Cristal Gaden. Da kloakrenden blev nedlagt i 1818. bad beboerne om af få navnet ændret til Krystalgade.
Ved Skidenstræde lå i 1600-tallet den lille Hattemagerens Gang, der nu er forsvundet.
Navnet Krystalgade blev først officielt i 1818, men på Geddes kort (herunder) fra 1757 optræder på det dog som et parallelt navn sammen med det gamle “Skidenstræde”.
I Krystalgade ligger Københavns Synagoge, der blev opført omkring 1835.
I den vestlige ende af Krystalgade, blev der i 1860’erne opført en bygning til Zoologisk Museum.
Københavns Hovedbibliotek ligger i en tidligere forretningsejendom i Krystalgade 15. Bygningen på opført omkring 1905 til bl.a. et trykkeri.
Fra 1980 lå Daells Bolighus her indtil biblioteket flyttede ind i 1993. Biblioteket havde tidligere ligget på Kultorvet.
Ejendommen på hjørnet af Peder Hvitfeldts Stræde (herover) har et afrundet hjørne for at efterkomme reglerne om afskårne hushjørner, der blev indført efter den store brand i København i 1795. Gadehjørnerne skulle give plads for brandkøretøjerne, når det skulle svinge om hjørnet.
Bygningen er opført i 1830’erne og er endvidere bemærkelsesværdig på grund af sine fremhævede fuger mellem murstenene – de såkaldte hamborgfuger. På facaden sidder en mindeplade for forfatteret Georg Brandes, der boede i huset.
I Krystalgade 5 er det ikke bare selve bygningen, der er fredet. Det er også den retiradebygning med beboernes lokummer, der står i gården.