Torvet eksisterede ikke før den store brand i København 1728. I stedet lå her små gader, haver og kålmarker.
Efter branden benyttede man ved genopbygningen af byen lejligheden til at få etableret et torv, hvor kulsvierne fra Nordsjælland kunne sælge deres trækul. Torvet hed dog i starten Nørre Torv fordi det lå tæt på Nørreport.
Før torvet blev anlagt, lå her en større gård og en prægtig have, som tilhørte Gert Rantzau. Haven var delvist offentligt tilgængelig, fordi byens borgere på helligdage måtte spadsere i den.
Kultorvet er forvandlet til et torv for fodgængere, fordi det binder flere gågader sammen.
Bygningen på hjørnet af Købmagergade og Pustervig (herover) er tegnet af arkitekten Vilhelm Fischer (1868-1914) og opført omkring 1907.
Huset var udelukkende beregnet til forretninger, og har ikke bare udstillingsvinduer i stueplan, men også på 1. sal.
På torvets sydside ligger Hvide Lam, der er ét af Københavns ældste værtshuse.
Her mødtes kulhandlerne, når det havde afsluttet deres handler. Bygningen er opført omkring 1810.
På torvets østside ligger Knud Højgaards Hus, opført i 1957.
Den er tegnet af arkitekterne Oscar Gundlach Pedersen og Ebbe Andresen for Københavns Kommunes Biblioteker. Bygningen blev også kaldt Biblioteksgården.
I 1993 flyttede biblioteket til Krystalgade.
Hanne Varmings skulptur “Hyldemor” (herunder) er udført i 1989 og opsat på torvets nordside året efter. Skulpturen var en gave fra Ny Carlsberg Fondet.
På Kultorvet står én af Københavns gamle telefonkiosker, der er tegnet af Fritz Koch. Før telefoner blev almindelige i private hjem, kunne man låne en telefon i kiosken, som også solgte aviser m.m.