Gaden hed indtil 1818 Skidenstræde, måske fordi “Byens Rende” – en åben kloak – løb gennem gaden. I kvarteret boede en del af byens socialt dårligt stillede.
Da gaden blev brolagt – eller “krystalleret”, som man kaldte det – brugtes også navnet Cristal Gaden. Da kloakrenden blev nedlagt i 1818. bad beboerne om af få navnet ændret til Krystalgade.
Ved Skidenstræde lå i 1600-tallet den lille Hattemagerens Gang, der nu er forsvundet.
Navnet Krystalgade blev først officielt i 1818, men på Geddes kort (herunder) fra 1757 optræder på det dog som et parallelt navn sammen med det gamle “Skidenstræde”.
I Krystalgade ligger Københavns Synagoge, der blev opført omkring 1835.
I den vestlige ende af Krystalgade, blev der i 1860’erne opført en bygning til Zoologisk Museum.
Københavns Hovedbibliotek ligger i en tidligere forretningsejendom i Krystalgade 15. Bygningen på opført omkring 1905 til bl.a. et trykkeri. Fra 1980 lå Daells Bolighus her indtil biblioteket flyttede ind i 1993. Biblioteket havde tidligere ligget på Kultorvet.