Gaden har navn efter adelsmanden og den norske kansler Peder Hvidtfeldt, der døde i 1584.
Han ejede en gård i gaden, der allerede i 1581 bar hans navn. Gården lå, hvor Peder Hvitfeldts Stræde 9-13 ligger i dag.
På grunden lå en pestkirkegård, som blev anlagt under pestepidemien i 1711 (Se nærmere i artiklen om Fiolstræde).
Gaden er præget af de klassicistiske huse, der blev opført efter bybranden i 1795 og englændernes bombardement i 1807.
Den lave bygning i Peder Hvitfelts Stræde 1 på hjørnet af Krystalgade (herunder) var en del Vor Frue Kirkes skole for de fattige. Skolen var oprettet i 1707 af biskop Christian Worm.
Skolen flyttede i 1938 til Nørregade og senere til Sjælør Boulevard i Valby, hvor den i dag indgår i Sankt Annæ Gymnasium. Kirken havde også en videregående skole for de bedrestilledes børn, den senere Metropolitanskole.
En tavle over indgangen fortæller, at skolen er genopbygget i 1820. Den oprindelige bygning blev i 1807 ramt af en bombe under englændernes angreb på København. Her døde et barn på skolen og to andre blev såret.
I Peder Hvidtfelts Stræde 8 (herunder) ligger I. W. Heyman og hustrus sølvbryllups stiftelse. Isaac Wulff Heymann (1818-1884) var forretningsmand og grundlægger af bryggeriet Svanholm på Gammel Kongevej.
Stiftelsen blev grundlagt i anledning af Heyman og hans hustru Johanna Levysohns (1824-1885) sølvbryllup i 1871 og havde boliger for fattige og ugifte.
I Peder Hvidtfelts Stræde 15 (herunder) ligger et gammelt pakhus, der blev opført i 1835 for hørkræmmer C. C. Müller.
