Gaden har navn efter søofficeren Olfert Fischer (1747-1829), der som øverstkommanderende i Flåden deltog i slaget på Reden i 1801.
Tidligere havde gaden flere andre navne: Bryggerlængen, Balsamgade og Ulvegade, men i slutningen af 1800-tallet blev nogle af gaderne i Nyboder omdøbt, så de fik navne efter søhelte.
