Gaden er opkaldt efter den svenske konge Carl Johan (eller Carl den 14.) (1763-1844).
Carl Johans Gade er anlagt omkring 1907 og en del af dens huse er opført af entreprenøren Johan Frederik Adolphsen (1859-1917), som måske har sneget sit eget efternavn ind i navnet.
Det gælder måske også nabogaden Gustav Adolfs Gade, hvor han stod bag opførelsen af en del ejendomme.
Beboelsesejendommen Carl Johans Gade 8-14 (bag træet til venstre) er tegnet af arkitekten Hans Dahlerup Bertelsen (1881-1939).
Ejendommen i nr. 14 fra 1913 var hans første byggeri, der blev opført for snedkermester Valdemar Grum-Schwensen. To år senere opførte Dahlerup Bertelsen huset ved siden af i nr. 8-12.