Pile Allé har formentlig fået sit navn, fordi vejen har været beplantet med piletræer. Vejen var tidligt en del af vejen til Frederiksberg Slot, der blev anlagt sidst i 1600-tallet. Omkring 1783 fik Pile Allé sit navn.
Langs Pile Allé lå en række boliger til personalet på Frederiksberg Slot. I midten af 1800-tallet blev flere af dem omdannet til forlystelseshaver og traktørsteder, som Hansens Gamle Familiehave, M. G. Petersens Familiehave og Krøgers Familiehave, der åbnede i årene fra 1850 til 1864.
I udkanten af Frederiksberg Have opførte en italiensk billedhugger, Agostino Taddei i begyndelsen af 1800-tallet en pavillon med udskænkning af “Raffraicssements for de Spadserende” (altså forfriskninger) i haven.
Stedet overtages senere af konditor Anton Joss – der også kaldes Josty, og det bliver traktørstedets navn fremover.
De nuværende bygninger er fra omkring 1900, og endnu indtil 1937 var de i Josty-familiens eje.
Ud til Pile Allé har bryggeriet Tuborg i 1993 plantet en labyrint af bøgetræer. Set fra luften er den udformet som etiketten på en ølflaske.
På hjørnet af Frederiksberg Allé ligger Frederiksberg Kirke fra 1734. Ved siden af – i Pilestræde 1 – ligger præstegården, der er opført i 1825.
På Pile Allé 3 lå Frederiksbergs første skole fra omkring 1736. Her gik digteren Adam Oehlensläger i skole som barn. Bygningen eksisterer ikke mere, men blev i 1912 erstattet af den nuværende menighedsbygning til Frederiksberg Kirke.
