Gaden er opkaldt efter historikeren Kristian Erslev (1852-1930).
Han var fra 1916-1924 leder af Rigsarkivet, som i dag er den eneste “beboer” med adresse på gaden.
Rigsarkivet tog en nyopført bygning i brug ved Kristian Erslevs Gade i 2009.
Det var oprindeligt planen, at arkivet skulle være flyttet fra Slotsholmen til Ørestad, men beslutningen blev ændret, så man i stedet valgte at bygge et magasin til arkivet i tilslutning til arkivets kontorer på Kalvebod Brygge.
Bygningen blev tegnet af arkitektfirmaet PLH-arkitekter. På facaden er udført en murstensdekoration, hvor der står “Danmarks Rigsarkiv” med runeskrift.
I forbindelse med byggeriet anlagdes også Carsten Niebuhrs Gade.