Strædet var oprindeligt en lille blind gyde, som mundede ud i Peter Madsens Gang, der lå hvor Ny Østergade går i dag.
Navnet Pistolstræde skyldes nok, at den lille slippes form kan ligne skæftet på en pistol.
Navnet Pistolstræde kendes fra midten af 1700-tallet, men har sikkert eksisteret længere tilbage. Tidligere hed den blot Lille Peter Madsens Gang.
Pistolstræde er i dag den eneste bevarede af de små, snævre gange, som lå mange steder i Københavns indre by.
I dag ligger der i Pistolstræde flere ejendomme, som er opført i første halvdel og midten af 1700-tallet. Dermed kan man her få et indtryk af, hvordan bebyggelsen var i København dengang.
I baghuset til Grønnegade 12 kan man stadig se et eksempel på en svalegang, som de udvendige trapper kaldtes.
I 1880 åbnede Jacob Heinrich Moresco en forretning i Østergade, hvorfra han solgte finere dametøj og pelse.
Efterhånden opkøbte han flere huse i baggården og fik udvidet forretningen. Firmaet ekspanderede også med egne fabrikker og filialer i udlandet.
Man kan stadig i Pistolstræde se bygningerne, der var en del af Morescos virksomhed.
Moresco var som grundejer imod gennemførelsen af en ny gade, Citygaden, mellem Ny Østergade og Kristen Bernikows Gade og fik forhindret projektet.
Til gengæld indrettede han i 1916 en ny forretning i ejendommen Bernikowhus i Kristen Bernikows Gade 4.
Privat boede Moresco på landstedet Adelaide på Ordrupvej og Morescosvej i Ordrup er opkaldt efter ham.
I Pistolstræde er opsat en mindeplade for J. H. Moresco.
I nyere tid har Pistolstræde fået forbindelse med Østergade gennem en forretningsarkade.
I Pistolstræde blev i 1980 opstillet skupturen “skadebrønden”, udført af kunstneren Gunnar Westman (1915-1985).