Boulevarden er opkaldt efter forfatteren Hans Christian Andersen (1805-1875).
Han var født i Odense, men boede en stor del af sit liv i København.
Boulevarden hed oprindeligt Vestre Boulevard, og blev anlagt 1891-1892 på det tidligere voldterræn.
Oprindeligt var boulevarden ikke en gennemkørselsgade, men snarere en parkstrækning med begrænset trafik. Trafikken til Christianshavn gik stadig fortrinsvis ad Knippelsbro.
Med anlægget af Amager Boulevard omkring 1905, fik man via Langebro en gennemgående forbindelse til Amager.
Da den nye Langebro åbnede i 1954, blev boulevarden udbygget og fik sit nuværende udseende med med brede vejbaner.
I anledning af 150-året for digteren H. C. Andersens fødsel i 1955, fik boulevarden hans navn. Tidligere var digteren mindet i en betydeligt mindre gade, nemlig Kjeld Langes Gade på Nørrevold, der tidligere hed H. C. Andersens Gade.

Langs boulevarden blev opført store komplekser, som f.eks. ejendommen Ny Rosenborg mellem Studiestræde og Jarmers Plads (billedet herover) og Holckenhus, med herskabelige lejligheder og kunstneratelierer, mellem Stormgade og Dantes Plads.

Ved Studiestræde opførte Studenterforeningen i 1910 en forsamlingsbygning (billedet herover). Foreningen havde tidligere haft lokaler i Holmens Kanal. Bygningen blev tegnet af arkitekterne Ulrik Plesner og Aage Langeland-Mathiesen.
Bag Studenterforeningens bygning lå tidligere Aborreparken, der var anlagt på en del af det gamle voldterræn. Parken forsvandt ved anlægget af Boulevardbanen.
Bag Københavns Rådhus ligger Hovedbrandstationen. Bygningen, der ligner en italiensk middelalderborg, blev tegnet af arkitekterne Ludvig Clausen (1851-1904) og Ludvig Fenger (1833-1905). Clausen var også manden bag brandstationen i Østbanegade og en række andre offentlige bygninger i København. Desuden tegnede han Ny Rosenborg (se ovenfor).
Brandstationen afløste en række mindre brandvagter og den tidligere hovedstation for brandvæsenet i Sankt Nikolaj Kirke. Den skulle være en rummelig bygning, både for at der var plads til mandskab og køretøjer, men også de heste som brandsprøjterne blev trukket af. Tårnet var ikke blot til pynt, men blev brugt til øvelser.
Ny Carlsberg Glyptotek føjede sig til billedet af en storbygade med monumentale bygninger. Det var betalt af brygger Carl Jacobsen, som også lod opføre Kunstindustrimuseets hus ud mod Rådhuspladsen i 1893.

Museumsbygningen blev tegnet af arkitekten Vilhelm Klein (1835-1913) i den såkaldte “Rosenborg-stil”. Herunder ses hans originale tegning. Museet flyttede i 1926 til det tidligere Frederiks Hospital i Bredgade hvor det ligger endnu i dag. Herefter blev huset brugt til andre formål og i dag anvendes den af Tivoli som selskabslokaler under navnet “Tivolislottet” eller sågar “H. C. Andersen-slottet”.
Ved Dantes Plads opførte Videnskabernes Selskab i 1899 en forsamlingsbygning (billedet herunder), tegnet af arkitekten Vilhelm Petersen (1830-1913). Tidligere havde selskabet haft til huse i Prinsens Palæ ved Frederiksholms Kanal.