Rosenkrantztårnet har navnet sitt etter lensherren på Bergenhus i perioden 1559-68, Erik Ottesen Rosenkranz. Men bygget er eldre enn som så. I Magnus Lagabøtes tid i 1270-årene ble det bygget et kastell; et ringmurstårn med vollgrav og vindelbro. Tårnet har vært omtalt som "Kastellet ved sjøen", og var både bolig og forsvarstårn. Her hadde kongen også innredet et kapell. Senere har dette bygget blitt påbygd i i alle fall tre perioder. Rosenkranz satte tårnet i stand, og forhøyet det under sin periode, omtrent slik som vi kan se det i dag.

Nederst i kjelleren til Rosenkranztårnet ligger fangehullet. Det regnes som svært sannsynlig at fangehullet ble bygget og tatt i bruk på slutten av 1400-tallet eller begynnelsen av 1500-tallet. Det kan ha vært Christoffer Valkendorf som sto for byggingen av fangehullet, men sannsynligvis var det en av forgjengerne hans. Fangehullet er om lag 4x1 meter, med nok takhøyde til at det er plass til å stå. Fangehullet hadde nesten ikke lys, den eneste lyskilden var en liten luftesprekk.

Man tror at fangehullet først og fremst ble benyttet til fanger som ble vurdert som svært voldelige, og som kom fra de lave sosiale lag. Det er for eksempel lite trolig at Anne Pedersdatter Beyer har sittet her før hun ble brent, både fordi hun var kvinne, men også fordi hun var enke etter presten Absalon Pederssøn Beyer, og dermed innehadde en posisjon i samfunnet.

Dersom vi leser arkitekt Peter Blix sin innberetning av 25. februar 1884, etter hans undersøkelser i tårnet, så nevner han at "gamle Folk vil endnu kunne erindre den Mand der sidste Gang sad i dette Hul". Ut fra dette må vi vel kunne slutte at fangehullet fortsatt var i bruk et stykke ut på 1800-tallet?