Vejen har navn efter Kastrupgård, som ligger lige ved siden af.
Kastrupgårdsvej blev navngivet i 1958, efter at Tårnby Kommune havde købt Kastrupgård.
Tidligere hed en vej, der gik fra Saltværksvej til Ved Diget også Kastrupgårdsvej, men dette vejnavn forsvandt, da vejen blev afløst af en forlængelse af Kastrupvej mod syd.