Navnet på gaden kendes fra begyndelsen af 1600-tallet, men betydningen er uvis.
Måske har det noget at gøre med lavendel-planten, som tidligere voksede på volden for enden af gaden. Gartneren, som gav navn til Værnedamsvej, siges at have haft et gartneri ved voldterrænet ud for Lavendelstræde.
Lavendelstræde kan også være en forvanskning af navnet en person, rådmand Lauritz Vinere, der også kaldtes det mere danskklingende Lasse Vinders. Han ejede nogle grunde i området, hvor gaden ligger.
Lavendelstræde og parallelgaden Farvergade var i slutningen af 1800-tallet præget af bordeller.
I ejendommen på Lavendelstræde 1 (den hvidkalkede bygning herover til venstre) boede i begyndelsen af 1800-tallet Constanze Nissen (1762-1842).
Hun var enke efter komponisten Wolfgang Amadeus Mozart, og mødte i Wien den danske legationsråd G. N. Nissen som hun giftede sig med. Hun var iøvrigt gudmoder til den danske guldaldermaler Constantin Hansen, der var født i Wien.
En mindeplade på bygningen fortæller om hende.