Gaden har sit navn efter handelsgartner Jørgen Ernst Ohlsen (1814-1862), der havde et gartneri her.
Gartneriet var ét af de førende ikke bare i Danmark, men også i Skandinavien, og dets navn blev især kendt efter Ohlsens død, hvor hans enke videreførte det under navnet Ohlsens enke.
Ohlsens gartneri var det første sted, hvor man dyrkede juletræer af nordmannsgran-typen. Træet er opkaldt efter den finske botaniker, Alexander von Nordmann, der hentede frøene i Kaukasus. Ohlsen begyndte at dyrke træerne i 1850, og frø fra de første træer blev solgt til gartnere og plantager over hele Danmark.
J. E. Ohlsens Gade blev anlagt omkring 1900, hvor gartneriet blev nedlagt her. Det blev videreført andre steder, bl.a. i Vangede og Taastrup.
