I begyndelsen af 1600-tallet formedes planerne om en ny befæstningsring rundt om København. Ringen skulle mod nord have et citadel, altså en befæstet stilling med bygninger, hvor f.eks. kongen kan søge tilflugt.
Arbejdet med anlægget af skansen begyndte 1627-1630, men gik i stå. Kong Frederik den 3. genoptog planerne efter svenskernes belejring af København, og satte den hollandske fæstningsingeniør Heinrich Rüse til at opføre et nyt fæstningsanlæg.
En styrke på 6.400 mand blev udkommanderet til arbejdet med anlægget, der kom til at koste 130.000 rigsdaler.
I 1664 stod det nye anlæg færdigt. Det fik navnet Citadellet Frederikshavn. Her blev en stor styrke på flere tusind soldater indkvarteret. De var en del af forudsætningen for, at den enevældige konge kunne markere sin magtposition. Københavns Kommandant fik sit kvarter på Kastellet.
Det nye Citadel var foreslået som et anlæg, hvor der var plads til såvel kongeslot som en kirke.
Slottet blev tegnet af Heinrich Rüse, og skulle være et anseeligt, firefløjet bygningsværk i fem etager. Slottet blev påbegyndt men aldrig færdiggjort.
Også en kirke (Kastelkirken) var en del af den oprindelige plan for Kastellet, men den kom først til senere.
Bag kirken blev der indrettet et fængsel primært for soldater, der havde forsøgt at desertere, men også “prominente” fanger, som Peder Griffenfeldt, der var anklaget for majestætsfornærmelse og forræderi. Der var fra fængslet huller ind til kirkerummet, så fangerne kunne overvære gudstjenesten. Her har såvel Griffenfeldt som Struensee siddet som fanger.
Også en negerkonge fra den danske koloni i Guinea, som havde skåret halsen over på to børn og derfor var blevet dødsdømt, har siddet i fængslet. Og endelig sad den tyske rigsbefuldmægtigede, Werner Best, i Kastellets fængsel efter 1945.
Mon nord ligger Norgesporten (billedet herover) og mod syd Kongeporten, der regnes for den fineste.
I Kongeporten er der en buste af kong Frederik den 3. I porten sidder et ur, der stammer fra Københavns gamle Hovedvagt på Kongens Nytorv.
Kanonerne, som står på voldanlægget, er støbt i Frederiksværk, og nogle af dem har kongens portræt i relief. Bærehankene forestiller elefanter.
I Flåden var hankene fremstillet som delfiner. Kanonerne står på rapperter – understel – der er malet i de oldenborgske farver, rød og gul.
På den vestlige af Kastellets ydre bastioner står Andreas Bundgaards monument fra 1921 over frivillige og faldne i krigene 1848-1850 og 1864. Det er udformet som et symbolsk gravkammer, hvorpå “Mor Danmark”-figuren står med en fane og et spyd.
Kastelsgraven blev i 1800-tallet brugt til skøjteløb om vinteren. Man kunne hos Kastellets kommandant få et adgangstegn, så man kunne færdes på det militære område. Skøjtebanerne på de københavnske voldanlæg havde hver deres navne i folkemunde, og kastelsgravens blev kaldt “vaniljeisen”