Gaden har navn efter søofficeren Olfert Fischer (1747-1829), der som øverstkommanderende i Flåden deltog i slaget på Reden i 1801.
Tidligere havde gaden flere andre navne: Bryggerlængen, Balsamgade og Ulvegade, men i slutningen af 1800-tallet blev nogle af gaderne i Nyboder omdøbt, så de fik navne efter søhelte.
På hjørnet af Kronprinsessegade ligger en palæagtig ejendom, der er tegnet af arkitekten C. W. Christiansen i 1906 (herunder). Karréen har en irregulær form, på grund af gaden Gammelvagts skrå forløb.
