Fra 1684 fik den jødiske befolkning i København lov at holde deres egne gudstjenester, men det måtte kun forgå i private hjem.
I 1764 fik jøderne tilladelse til at opføre en synagoge. Den kom til at ligge i Læderstræde, men bygningen brændte ned under bybranden i 1795.
Nogle år senere købte det mosaiske trosamfund en grund i Krystalgade, men der kom til at gå en del år, før den nye synagoge stod færdig.
I mellemtiden udspandt der sig i København den såkaldte “jødefejde”. Flere forfattere udgav antisemitiske skrifter, men i 1814 udstedte kong Frederik den 6. en forordning, der sikrede jødernes retsstilling og ligestillede dem med andre danskere.
Det kom dog stadig til konflikter og i 1819 udbrød der egentlige optøjer i København imod jøderne.
I 1827 fik det jødiske trossamfund A. A. Wolff som overrabbiner, og han iværksatte byggeriet af en ny synagoge på grunden i Krystalgade.
Bygningen blev tegnet af den tyskfødte arkitekt C. F. Hetsch (1788-1864) omkring 1835.
Dens arkitektoniske udtryk med lån fra byzantinsk, islamisk og egyptisk arkitektur var meget anderledes end resten af byens huse på den tid.
Hetsch neddæmpede dog forskelligheden fra den øvrige arkitektur ved at give bygningen pudsede facader. Det var sådan det meste af byen så ud dengang.
Synagogen var den første kirke i Danmark opført til et andet trossamfund end den danske folkekirke. Det kan være årsagen til at Hetsch valgte at lade sig inspirere af fjerne landes arkitektur. Hetsch var meget velbevandret i stilarter fra hele verden og fra forskellige tidsperioder.
Bygningen er fredet.
I tilknytning til synagogen lå det jødiske plejehjem “Meyers Minde”, der var grundlagt omkring 1812 af David Amsel Meyer (1735-1813), som var den første jøde i Danmark, der fik borgerskab som grosserer.
Meyers Mindes bygning blev i 1924 afløst af en ny, som var tegnet af arkitekterne Frederik Levy og Albert Oppenheim (1859-1956). Den blev i 2006 erstattet af Det Jødiske Hus, som rummer kontorer og mødelokaler for det jødiske samfund i Danmark.