Vejen har navn efter Sundby Kirkegård, som den oprindeligt førte hen til.
Kirkegårdsvej blev formentlig anlagt omkring 1872, samtidig med at kirkegården åbnede. Vejen udgik fra Englandsvej og endte blindt lidt syd for Kirkegården.
I den nordlige del af Kirkegårdsvej ligger stadig enkelte huse, som stammer fra 1880’erne.
Luthersk Mission havde missionshus på Kirkegårdsvej 21 (herover). Det blev indviet i 1915.
På hjørnet af Lillegrund lå firmaet Waldorfs Papirindustri (herover).
Et stykke af kirkegården ud mod Kirkegårdsvej er omdannet til en lille park, som hedder Sundby Have.
På hjørnet af Tycho Brahes Allé opførte Arbejdernes Andels Boligforening i 1916 et etagebyggeri (herover). Arkitekten var Viggo Thalbitzer (1869-1926).
På den modsatte side af gaden ligger foreningens byggeri fra 1927 (herunder), som arkitekten Christian Mandrup-Poulsen stod for.
Flere steder på Kirkegårdsvej er der udført gavlmalerier. F.eks. har den ukrainske kunstner Nicholas Koshkosh lavet maleriet på Kirkegårdsvej 12 (herunder).
