Gaden har navn efter officeren Frederik von Holstein (1771-1853).
Holstein var leder af det frivillige livjægerkorps, som deltog i kampen mod englænderne i 1807. Denne episode er beskrevet under Livjægergade.
I Holsteinsgade 9 er en mindeplade og to indmurede kanonkugler, til minde om den.
Andre gader i kvarteret med relation til begivenheden er Willemoesgade og Steen Billes Gade.
Holstein blev senere chef for Det Kongelige Teater.
Mens de fleste andre gader i kvarteret er lige og vinkelrette, slår Holsteinsgade et knæk i den vestlige ende.
Det skyldes, at gaden følger de ejendomsskel, der opstod i 1600-tallet, og som igen fulgte forløbet af en befæstningslinie mellem en skanse ved Trianglen og kysten.
Ud for Steen Billes Gade ligger en ejendom på Holsteinsgade 49-55, som er bygget omkring et indhak i gadelinjen. Denne måde at bygge på ses flere steder på Østerbro, og havde til formål at undgå baghuse i gårdene.
Ejendommen Holsteinsborg på hjørnet af Strandboulevarden har taget navn efter Holsteinsgade. En mindetavle på bygningen fortæller, at i huset boede forfatteren Georg Brandes i mange år.
I Holsteinsgade ligger Langelinieskolen, som er nutidens navn for Holsteinsgades Skole.