På grunden lå en større gård, der var ejet af amtmand og konferensråd Christian Bjerregaard, men den brændte sammen med store dele af København ved bybranden i 1728.
Gården blev genopført og muligvis var det bygmeteren J. C. Krieger, der stod for genopbygningen. En overgang lå her en hattefabrik, men i 1757 flyttede Det Kongelige Priviligerede Assistence-Huus ind.
Assistenshuset, som det blev kaldt i folkemunde, var en institution, hvor Københavns indbyggere kunne pantsætte værdigenstande, hvis de manglede kontante penge.
Assistenshuset, som det blev kaldt i folkemunde, var grundlagt med støtte af kong Christian den 5. i 1788 og havde ligget i Snaregade. Betegnelsen Assistenshus har ikke noget at gøre med Assistens Kirkegård.
Bygningen blev nu ombygget til sit nye formål under ledelse af arkitekten Phillip de Lange (1704-1766). Naboejendommene blev inddraget og huset forsynet med en ekstra fløj ud mod Nybrogade. Det store kompleks blev fyldt op med de pantsatte genstande.
For nogle var det en pinlig sag at gå til assistenshuset, så der opstod et særligt erhverv, de såkaldte sættemænd (eller –koner), der for et lille beløb påtog sig at ordne pantsætningen for folk.
Én af assistenshusets forvaltere blev kaldt “Onkel Harboe”, og efter ham stammer betegnelsen onkel, der bruges om pantelånere.
Den berømte tyv, urmager Heidenreich, der i 1802 stjal de to guldhorn fra Kunstkammeret, smeltede hornene om og pantsatte guldklumperne i Assistenshuset.
Hvis de pantsatte effekter ikke blev indløst efter ni måneder, kom de på auktion. Derfor var institutionen en forretning, der ikke bare kunne finansiere sig selv, men som gav overskud.
Indtægterne gik bl.a. til driften af Tugt- og børnehuset på Christianshavn og til Søkvæsthuset.
Fra 1950’erne var det dog ikke længere en overskudsforretning, og huset lukkede i 1971.
Allerede i 1962 flyttede den dog fra bygningen i Nybrogade, som blev overtaget af det nyoprettede Kulturministerium.
I huset står i dag en buste af den første kulturminister, Julius Bomholt.
Kulturministeriet har dog gennem tiden måttet dele bygningen med flere andre ministerier, og bl.a. havde statsminister Jens Otto Krag sit kontor her.
