Kajområdet udenfor Toldbodgade er opkaldt efter skibsreder- og bygger Lars Larsen (1758-1844), der havde et skibsværft hvor Amaliehaven ligger i dag.
Larsen var på sin tid én af Københavns største skibsredere med omkring 15 skibe i søen. Han var også kendt for at have oprettet to badeanstalter, en “dryppemaskine” ved Langelinie for mænd og en “bademachine for fruentimmer”ved Langebro.
Ved Larsens Plads lå i første halvdel af 1700-tallet en række tømmerpladser langs Toldbodgade ud mod havnen. Senere opførtes en række pakhuse, som stammer fra tiden hvor Københavns Havn var centrum for den internationale handel. Flere af dem eksisterer stadig, selv om de i dag bruges til andre formål.
Mellem Amalienborg Slot og Nordre Toldbod opførtes omkring 1780 Vestindisk Pakhus.
Ved kajen langs Larsens Plads lå i slutningen af 1800-tallet dampskibene, som sejlede hundredetusinder af danske udvandrere til især USA (billedet herover).