Det særprægede gadenavn er nok opstået, fordi gadens tidligere lidt krumme forløb, kunne minde om et gammeldags bor med et bøjet skaft, et såkaldt vimmelbor.
Tidligere gik trafikken mellem Amagertorv og Nytorv ad Skindergade og Skoubogade, fordi Nygade først blev anlagt i 1680’erne, og dermed opstod det krogede gadeforløb.

Gaden hed i middelalderen Tyskemannegaden, fordi byens tyske købmænd boede her. På hjørnet af Hyskenstræde lå det tyske handelskompagnis hus.
På hjørnet af Badstuestræde lå Louise Rasmussens modeforretning i midten af 1800-tallet. Hun brugte firmanavnet Emmy Lecharpentier efter sin parisiske leverandør og solgte bl.a. damehatte, kapper m.m. Indehaveren blev senere gift med Kong Frederik den 7., og tog navnet Grevinde Danner.
I Vimmelskaftet lå i slutningen af 1800-tallet flere mondæne caféer, f.eks. Lorry Feilbergs konditori, Café Aschinger (herover) og Café Bernina.
På Bernina kom tidens forfattere og de fik serveret den berygtede “djævlepunch”, der bestod af 17 forskellige slags spiritus.