Vejen er sammen med Kammasvej en del af den gamle landevej fra København til Valby og videre til Roskilde.
Den blev i 1860’erne opkaldt efter Knud Lyhne Rahbek (1760-1830), der boede i Bakkehuset, der lå i den vestlige ende af vejen. Sit navn har den formentlig fået i midten af 1800-tallet.
Langs Rahbeks Allé lå en række landsteder, der foruden Bakkehuset talte Gamle Bakkegård, Ny Bakkehus og Ny Bakkegård, der endnu ligger ved Bakkegårds Allé.
Her var også en større industrivirksomhed, Kongens Bryghus og institutioner som Helbredelsesanstalten for idiotiske, svagtsindige og epileptiske Børn (billedet herunder).
Ved Rahbeks Allé etablerede A. Vogelius i 1861 etableret et bryggeri. Det blev senere til Kongens Bryghus.