Kastrupgård blev opført som landsted af bygmesteren Jacob Fortling omkring 1753.
Fortling drev Kastrup Værk, hvor han bl.a. producerede kalksten til sine byggerier i København.
Kastrupgård fik sit nuværende udseende i slutningen af 1700-tallet.
Portbygningen (herunder) er anlæggets ældste del.
Fortling havde købt flere ejendomme i Kastrup landsby, som indgik i den avlsgård som han drev ved siden af landstedet.
I 1829 fik Kastrup Værk og Kastrupgård hver sin ejer, og Kastrupgård blev videreført som landbrug. Avlsgården brændte i 1844 og en ny blev opført ved Gammel Kirkevej.
Kastrupgård ejes i dag af Tårnby Kommune og har bl.a. været brugt som biblioteksfilial.
I dag har kunstmuseet Kastrupgårdsamlingen til huse i bygningerne. Her er skiftende udstillinger, men også en fast udstilling af maleren Theodor Philipsens værker.
Philipsen boede i en periode på Kastrup Værk, og malede motiver som han fandt omkring Kastrup og på Saltholm
