Gaden har navn efter den danske søofficer Niels Juel (1629-1697). Han var admiral under krigene mod Sverige i 1650’erne og var med, da København blev belejeret i 1659.
Niels Juel ligger begravet i Holmens Kirke og i krydset mellem Niels Juels Gade og Holmens Kanal står en statue af ham (se nedenfor).
Niels Juels Gade er anlagt omkring 1870 og ligger på Gammelholm, hvor flere andre gader har navne efter danske søhelte. Det gælder Tordenskjoldsgade, Herluf Trolles Gade, Peder Skrams Gade og Cort Adelers Gade.
Ved gaden ligger Nationalbanken.
Den store statue af Niels Juel er udført af billedhuggeren Theobald Stein (1829-1901) og opstillet i 1881. På soklen er en inskription, der minder om Slaget ved Køge Bugt i 1677.
Bag ved Niels Juels Gade 7 lå det tømmerlager, hvor den store bybrand i 1795 startede.