Vejen har navn efter Sundbyøster landsbys lergrave, der lå hvor Lergravsparken ligger i dag. Leret blev bl.a. brugt til at bygge byens huse med.
Indtil 1950’erne gik der langs vejen en åben rende, der førte ud i Øresund. Ved dens udløb dannedes Sundby Sejlforenings Havn (se nærmere i artiklen om Amager Strandvej).
Ud mod Øresundsvej lå én af Amagers småskove, de såkaldte remiser, der dels tjente som ly for vildtet, dels kunne bruges som sømærke. Stengærdet omkring remisen er i dag bevaret som en del af Lergravsparken.
Ud mod Strandlodsvej lå Sundby Gasværk, hvis gasbeholdere ses på billedet fra 1913 herover. Gasværket blev anlagt af Sundbyernes Kommune omkring 1900.
Værket forsynede også Sundbyerne med vand, og der blev opført et vandtårn.
Omkring vandtårnet blev der i 1904 plantet træer, som var begyndelsen til anlægget Lergravsparken.
Etageejendommene langs Lergravsvej er bygget fra 1930’erne og frem.
