Det var et bryghus på Slotsholmen i 1400-tallet, men det brændte og på stedet blev det nuværende bygget. Det stod færdigt i 1618.
Bryghuset leverede øl til både hoffet, flåden, borgerne – og sågar til fangerne på Bremerholm, der fik et krus øl mortensaften. Kongen ville gerne støtte den danske ølfremstilling, og forbød indførsel af tysk øl.
Huset blev opført på en lille holm, hvor havde været en muret bastion med tykke mure og skydeskår. Bastionens form har bestemt bryghusets lidt uregelmæssige grundplan.
En del af skansens murværk er muligvis bevaret i den nederste etage i bryghuset. Man kan stadig i huset gård se rester i murværket af de ældre vinduer og portåbninger.
Bryghuset har Nordeuropas højeste tagkonstruktion. Grunden til, at huset blev bygget så højt er, at det skulle dække for Flådens skibe i Søarsenalet bagved, så fjenden ikke kunne tælle skibsmasterne, og vide hvor mange skibe der lå derinde.
Bryghuset brændte i 1767 og et nyt blev opført ved Bryghusgade, på den modsatte side af Frederiksholms Kanal.
Det gamle bryghus kom nu til at fungere som magasinbygning bl.a. for marinen.
I dag rummer bygningen Kongernes Lapidarium, som er en samling af skulpturer der tidligere har været opmagasineret, men nu er tilgængelige for offentligheden.