Vejen er sammen med Kammasvej en del af den gamle landevej fra København til Valby og videre til Roskilde.
Den blev i 1860’erne opkaldt efter Knud Lyhne Rahbek (1760-1830), der boede i Bakkehuset, der lå i den vestlige ende af vejen. Sit navn har den formentlig fået i midten af 1800-tallet.
Langs Rahbeks Allé lå en række landsteder, der foruden Bakkehuset talte Gamle Bakkegård, Ny Bakkehus og Ny Bakkegård, der endnu ligger ved Bakkegårds Allé.
En del af Gamle Bakkegård er bevaret som et baghus (herover) bagved Rahbeks Allé 32-36.
I Rahbeks Allé opførtes omkring 1860 Helbredelsesanstalten for idiotiske, svagtsindige og epileptiske Børn. Institutionen fik dog også navnet Gammel Bakkehus.
Anstalten var oprettet på initiativ af lægen Jens Rasmussen Hübertz og havde plads til 60 børn, der var fordelt efter køn i hver sin del af bygningen.
Bygningen var tegnet af arkitekten Ferdinand Meldahl (1827-1908). Institutionen lukkede omkring 1970, hvorefter bygningen blev overtaget af bryggeriet Carlsberg.
Ved Rahbeks Allé etablerede A. Vogelius i 1861 etableret et bryggeri.
