Gaden er opkaldt efter den nederlandske byplanlægger Johan Semp (1572-1635) som planlagde Christianshavn.
Den nye by skulle placeres ude i vandet, mellem Amager og Sjælland. Kongen indkaldte Semp, som bl.a. havde erfaring fra anlægget af byen Glückstadt i et sumpet område ved floden Elben i Tyskland.
Johan Semps navn blev også stavet Semb eller Sems.
Semp virkede i Danmark nogle år, og vendte derefter tilbage til Nederlandene.
I den vestlige ende lå, hvor Christians Kirke er nu, lå Hærens Krudtmølle, som senere blev laboratorium for hæren.