Gaden har navn efter adelsmanden Peder Hvidtfeldt, der døde i 1584.

Han ejede en gård i gaden, der allerede i 1581 bar hans navn.

Gaden er præget af de klassicistiske huse, der blev opført efter bybranden i 1795 og englændernes bombardement i 1807.

Den lave bygning i Peder Hvitfeldts Stræde 1 (på hjørnet af Krystalgade) var en del Vor Frue Kirkes skole for de fattige – modsætning til den videregående skole for de bedrestilledes børn, den senere Metropolitanskole. Skolen ses forrest til venstre på billedet herover fra omkring 1915.