Torvet har navn efter Gråbrødreklosteret, der lå på stedet indtil 1530’erne.
Klosteret ophørte ved Reformationen i 1500-tallet, og en del af dets grund blev solgt.
Efter klostret var revet ned i 1530’erne, byggede rigshovmester Corfitz Ulfeldt en gård på stedet. Gården lå på hjørnet af den nuværende Kejsergade.
Ulfeldt var gift med Christian den 4.’s datter, Leonora Christine, men kom i unåde, fordi han havde forrådt sit land, ved at gå i svensk krigstjeneste i 1658. Mens kongen søgte at fjerne magten fra rigsrådet, støttede Ulfeldt adelens krav om mere indflydelse. Ved fredsslutningen i Roskilde i 1659 deltog Ulfeldt på svensk side.
Ulfeldt stak af til udlandet, men blev henrettet på torvet in absentia i 1663 i form af en dukke, mens Leonora blev indsat i fangenskab i Blåtårn på Københavns Slot.
Ulfeldts gård blev i 1664 revet ned “til sidste sten”, og der blev opstillet en skamstøtte over Ulfeldt på torvet med indskriften “til evig spot, skam og skændsel”. Torvet blev stadig indtil 1841 kaldt for Ulfeldts Plads.
På fotografiet herover ses skamstøtten til venstre for midten.
Skamstøtten blev først fjernet i 1842 og er nu på Nationalmuseet. På fundamentet står: “Skam og skændsel”. På torvet er der en mindesten i brolægningen, hvor støtten stod.
Ved den omfattede brand i København i 1728 brændte alle husene i området.
De blev hurtigt genopført, og der ligger stadig i dag en velbevaret række af de såkaldte “ildebrandshuse” på sydsiden af torvet.
På torvet var der dog endnu i 1700-tallet handelsboder, der bl.a. blev brugt til marskandiserhandel. De mange boder på torvet var en torn i øjet på de omkringboende, som i 1840 bad om at få dem fjernet.
Efter oprydningen fik torvet sit nuværende navn.
I stedet for de mange boder, blev der nu i stedet bygget en slags markedshal i støbejern. Den eksisterede frem til 1902, hvor Foreningen til Hovedstadens Forskønnelse fik den fjernet.
Over døren til Gråbrødretorv 1 står en mindetavle (herunder) for opførelsen af husene efter branden. Den blev opsat i 1732 og har inskriptionen “Hvad Ilden har fortæret, har Gud igen beskiært”.
Naboejendommen på Gråbrødretorv 3 har over indgangen initialerne for ejerne i midten af 1700-tallet, hofplattenslager Søren Nielsen Schiøtt og hans hustru Anne Marie Lund.
Parret lejede værelser ud til studenter, og én af dem var Johan Herman Wessel (1742-1785). Mens han boede i huset, skrev han skuespillet “Kiærlighed uden strømper”, hvad en mindeplade (herunder) på facaden fortæller om.
Fra Torvet er der passage til Valkendorfsgade gennem “Kringlegangen”.
Den blev til i 1970’erne, da man åbnede nogle af baggårdene op.
Gangen gik enten sit navn på grund af kringlen, der sidder over porten til den, eller fordi dens forløb er “kringlet”.
Ud mod Klosterstræde ligger nogle huse, der blev opført efter bombardementet i 1807.
Foreningen fik også plantet det store platantræ, som stadig pryder torvet.
I 1971 blev der på torvet opstillet en vandskulptur (herunder), udført af Søren Georg Jensen.
Den blev skænket af Sparekassen for København og Omegn i anledning af Københavns 800-års jubilæum i 1967.
