Tobaksfabrikant Heinrich Hirschsprung og hans hustru Pauline opbyggede i 1800-tallet en stor kunstsamling. Tobaksfabrikationen foregik i Tordenskjoldsgade.
I 1902 skænkede de samlingen til staten, på betingelse af, at der skulle opføres en selvstændig udstillingsbygning til værkerne, så man ved et besøg fik et samlet kendskab til 1800-tallets kunst. Derfor blev samlingen ikke en del af Statens Museum for Kunst, der ligger lige ved siden af.
Samlingen åbnede for offentligheden i 1911 i en bygning i et den nordvestlige del af Østre Anlæg med indgang fra Stockholmsgade.
Maleren P. S. Krøyer skildrede i 1881 familien Hirschsprung på deres sommerlandssted “Vilhelmsdal” ved Svanemøllen nord for København. BIlledet tilhører Den Hirschsprungske Samling.
Museumsbygningen blev tegnet af arkitekten Hermann Bogøe Storck (1839-1922) i en nyklassicistisk stil, der opfyldte Hirschsprungs ønske om enkelhed. Hirschsprung døde dog inden museet åbnede.
Bygningen blev fredet i 1995.