Gaden er opkaldt efter skibsværftsejeren og storkøbmanden Carl Wilder, der i 1700-tallet drev et værft i området ved Wilders Plads.
Gaden hed oprindeligt Lille Kongensgade (nordøst for Torvegade) og Store Kongensgade (sydvest for Torvegade), men på grund af navneligheden med Store Kongensgade i København, blev det ændret.
Man kan endnu i Wildersgade se eksempler på, at gaden var “baggade” til den noget finere Strandgade.
Strandgades fornemme handelshuse havde nemlig pakhuse og stalde liggende ud til Wildersgade, som det f.eks. ses i nr. 41 på billedet herover og nabohuset Wildersgade 39 (herunder).
Wildersgade 39 rummer i dag det ældre værtshus Fingerbøllet, der har været brugt til flere filmoptagelser og især er blevet kendt som stamværtshus for musikerne fra f.eks. Gasolin.
Pakhuset i Wildersgade 51 (herover) er opført i 1780 og har hørt til storkøbmanden Niels Brocks gård i Strandgade.
I Wildersgade lå tidligere Wildersgades Kaserne. Den ses på billedet herover til venstre. Den markante gulstensbygning i Wildersgade 60-62 er opført 1802 af to privatpersoner, der lejede den ud til staten, som brugte huset som kaserne for Marineregimentet.
Arkitekterne var J. H. Raewer og Andreas Hallander. Kasernen kunne rumme 600 infanterister og blev senere brugt af Ingeniørkorpset.
I Wildersgade 64-66 ligger en bygning fra ca. 1725, der blev brugt som økonomibygning til kasernen.
Længst mod nord i gaden ligger Prinsesse Maries Hjem for gamle Sømænd og Sømænds Enker. Der er grundlagt i 1876 og i 1912 fik det navn efter prinsesse Marie, der var gift med prins Valdemar (1858-1929), som var søofficer.