Gadens navn er forbundet med Sankt Nikolaj Kirke, som var én af de første kirker i København.
Nikolaj var helgen for bl.a. søfolk, og Nikolajgade går gennem det kvartér, hvor mange af byens søfolk boede.
Navnet er dog forholdsvis nyt, for gaden erstattede i 1894 en ældre smøge, der blev kaldt Skvaldergaden.