Vejen, der går mellem Classensgade og Strandboulevarden hed oprindeligt Citadelsvej, fordi den førte til den nordlige indgang til fæstningsanlægget Kastellet, der dengang hed Citadellet Frederikshavn.
Omtrent ud for Livjægergade var der et bomhus, hvor man blev opkrævet betaling for at bruge vejen. Indtægterne gik til vejenes vedligeholdelse og til de fattige tjenestefolk på Kastellet.
For enden af vejen lå villaerne Christiansgave og Sølyst, og udenfor ved stranden lå flere badeanstalter.
I den vestlige del af vejen blev der tidligt opført enkelte villaer, men de blev bygget i træ, for de lå indenfor den såkaldte demarkationslinje, hvor bygninger hurtigt skulle kunne fjernes i tilfælde af krig.
På Kastelsvej ligger Blindeinstituttet og Døvstummeinstituttets bygninger.
Desuden ligger der flere udenlandske ambassader på vejen.
På Kastelsvej 32 ligger Spaniens ambassade (billedet herunder) i en bygning fra 1912.
Her boede direktøren for Ny Carlsberg Glyptotek, Helge Jacobsen.
De tre villaer på Kastelsvej 36-40 rummer den britiske ambassade. De fashionable huse er opført i årene før 1. Verdenskrig efter tegning af arkitekten Heinrich Hansen (1860-1942) og Thorvald Hundestrup (1869-1931) som boliger for fabrikanter m.m.
Det var nok planen, at de skulle ligge ud til den præsentable Bergensgade, der var tænkt som en mondæn forbindelsesvej via Lipkesgade mellem Classensgade og Østerport. Vejen blev imidlertid aldrig før helt igennem.
I gården til Kastelsvej 18 ligger en udstillingsbygning (herover), som blev opført i 1920 efter tegninger af arkitekterne Einar Madvig og Poul Methling. Bygherren var skibsreder Johan Hansen, der havde en stor, privat kunstsamling.
Samlingen blev dog afhændet i 1930’erne, og værkerne spredt på f.eks. en række museer. Fra 1960 var her magasin for Statens Museum for Kunst og i dag rummer bygningen et privat galleri.
Hans egen villa lå i nr 16, var tegnet af arkitekten Martin Nyrop (1849-1921). Villaen blev revet ned i 1936. I stedet blev beboelsesejendommen på Kastelsvej 20-33 opført.
Kastelsvej 8-16 er opført i 1921 for Københavns Almindelige Boligselskab. Arkitekten var Ivar Bentsen, der her fik placeret en todelt boligblok på den snævre grund. De to blokke ligger i en spids vinkel, med en stor gårdsplads imellem. Den ene del lå ud mod Garnisons Kirkegård.