Torvet eksisterede ikke før den store brand i 1728. I stedet lå her små gader, haver og kålmarker.
Efter branden benyttede man ved genopbygningen af byen lejligheden til at få etableret et torv, hvor kulsvierne fra Nordsjælland kunne sælge deres trækul. Torvet hed dog i starten Nørre Torv fordi det lå tæt på Nørreport.
Før torvet blev anlagt, lå her en større gård og en prægtig have, som tilhørte Gert Rantzau. Haven var delvist offentligt tilgængelig, fordi byens borgere på helligdage måtte spadsere i den.
Bygningen på hjørnet af Købmagergade og Pustervig (herover) er tegnet af arkitekten Vilhelm Fischer (1868-1914) og opført omkring 1907.
Huset var udelukkende beregnet til forretninger, og har ikke bare udstillingsvinduer i stueplan, men også på 1. sal.
På torvets østside ligger Knud Højgaards Hus, opført i 1957. Den er tegnet af arkitekterne Oscar Gundlach Pedersen og Ebbe Andresen for Københavns Kommunes Biblioteker. Bygningen blev også kaldt Biblioteksgården.
I 1993 flyttede biblioteket til Krystalgade.
Hanne Varmings skulptur “Hyldemor” (herunder) er udført i 1989 og opsat på torvets nordside året efter. Skulpturen var en gave fra Ny Carlsberg Fondet.
På Kultorvet står én af Københavns gamle telefonkiosker, der er tegnet af Fritz Koch. Før telefoner blev almindelige i private hjem, kunne man låne en telefon i kiosken, som også solgte aviser m.m.
