Gaden er opkaldt efter den svenske konge Carl Johan (eller Carl den 14.) (1763-1844).
Carl Johans Gade er anlagt omkring 1907 og husene er opført af entreprenøren Johan Frederik Adolphsen (1859-1917), som måske har sneget sit eget efternavn ind i navnet.
Det gælder måske også nabogaden Gustav Adolfs Gade, hvor han stod bag opførelsen af en del ejendomme.
Beboelsesejendommen Carl Johans Gade 8-14 er tegnet af arkitekten Hans Dahlerup Bertelsen (1881-1939).