Gaden fandtes allerede i 1500-tallet, hvor den kaldtes Rosengården eller Byens Stræde.
Før udvidelsen af København bebyggede område i 1600-tallet, gik Københavns østre vold langs Åbenrå og Grønnegade.
Navnet Åbenrå stammer formentlig fra, at der i gaden lå åbne (ubebyggede) grunde – eller “vråer”, som det kaldtes.
Det kan også henvise til en “rad” (række) af boder, dvs. udlejningshuse.
På nordsiden er gaden præget af en række huse, der blev opført efter den store københavnske brand i 1728.
De skulle have været nedrevet i 1960’erne i forbindelse med sanering af kvarteret, men blev reddet af en bevaringsplan. Det var et af de første eksempler i Danmark på en bevarende byplan.
Den fredede bygning i Åbenrå 26 (herover) er opført i midten af 1700-tallet for tømrermester Palle Thomsen. Huset var i en periode i 1970’erne ejet af Kulturministeriet og blev stillet til rådighed for rødstrømpebevægelsen. Huset er fredet.
I gaden ligger flere præsteboliger, der hører til Reformert Kirke.
Det gælder f.eks. Åbenrå 28-34 (billedet herunder) og Åbenrå 31, der begge er opført omkring 1731 af arkitekten Phillip de Lange (1704-1766).
I Åbenrå 28-34 lå fra 1948 Musikhistorisk Museum. I dag er bygningen hjemsted for Akademisk Arkitektforening.
På bygningen sidder en mindetavle for den reformerte præst Adolphe Monod (1802-1856).
Et bemærkelsesværdigt hus er Åbenrå 25, der blev opført i 1733 til hofbilledhugger Friederich Ehbisch. Det havde oprindeligt fine udsmykninger på facaden, men blev i 1890’erne omdannet til pakhus.
Flere moderne bygninger har erstattet de ældre huse. Mellem Hausers Plads og Landemærket ligger flere kontorbygninger, som er tegnet af arkitekten Holger Pind omkring 1960.
Åbenrå 20 er kvindekollegiet Blanche (herover), der er opført i 1961 af arkitekterne Steen Eiler Rasmussen (1898-1998) og Kai Lyngfeldt Larsen (1920-2001).