Som nabo til Charlottenborg på Kongens Nytorv, opførtes omkring 1780 en lidt usymmetrisk bygning, der lukkede facaderækken hen til Det Kongelige Teater.
Det var arkitekten Caspar Frederik Harsdorff (1735-1799), der foreslog en bygning, der dels var mere nyttig end den påtænkte mur, dels kunne forstærke indtrykket af, at Kongens Nytorv var én af “de prægtigste pladser i Europa”.
Harsdorffs Hus, som bygningen blev kaldt, var nærmest tredelt, for grunden var akvavet og svær at bygge et traditionelt palæ på.
Huset blev aldrig brugt af Harsdorff selv, men der imod af grev C. F. E. Rantzau og siden af Udenrigsministeriet. I dag rummer det en del af Kunstakademiet.
Tanken med Harsdorffs bygning (til venstre) var at skabe en harmonisk sammenhæng med Gjethuset (i midten) og Det Kongelige Teater (til højre), som Harsdoff ombyggede i 1770’erne. I dag er kun Harsdorffs bygning bevaret. Tegning af Holger Schmidt i Kunstakademiets Bibliotek.