Sagaene beretter om et borganlegg bygd i tre på Slottsfjellet rundt midten av 1100-tallet. Men det er først med kong Håkon Håkonssons byggearbeider i første halvdel av 1200-tallet at ringmuren og porttårnene i stein kom på plass. Trolig var det i hans regjeringstid at også de store hallene i tre ble bygd. Bare grunnmurene synes i dag. Sønnen Magnus Lagabøte reiste teglkastellet få tiår senere. I den anledning ble teglverket på det lavere platået i nord etablert. Også andre deler av borganlegget ble reparert eller forsterket med teglstein. I dag kalles stedet der teglovnen ble bygd, for Tallak eller Tælæk.
Den eldste steinbygningen på Slottsfjellet er kirken som ble oppført rundt midten av 1100-tallet, viet St. Mikael. Kirken var i første rekke et slottskapell til bruk for kongen og hans hoff. Fra 1309 ble den ett av kongens private kapeller. I kortere eller lengre perioder på 1300-tallet holdt kongen og hoffet til på Slottsfjellet. Her ble viktige nasjonale og internasjonale møter avholdt.
I Tønsberg sentrum finnes mangfoldige rester av middelalderbyen med Kongsgården og Olavskirken som de mest kjente, synlige ruinene. Her finner du mer informasjon om Kongsgården Under bakken ligger rester av bygninger, gater og havneområder. Byen var på sitt livligste på 1200-tallet. I nord strakte den seg mot Slottsfjellet, i syd og øst til Olavsklosteret og Gråbrødrenes kloster. Bystrukturen i sentrum er fortsatt middelaldersk.
I senmiddelalderen var borgen på Slottsfjellet residens for lensherren. Det var stadig om- og påbygginger av borganlegget. Under opprørene mot kong Hans i 1502 og 1503 ble Tunsberghus angrepet, og ved den siste anledningen ble borgen inntatt, plyndret og brent av en hærstyrke sammensatt av en svensk styrke og bønder fra Sande nord i Vestfold. Borgen ble ikke gjenoppbygd, og store mengder stein herfra ble etter hvert fraktet ut og brukt i byggingen av Jarlsberg hovedgård. At det var jarlsberggrevene som hentet stein i ruinene, var bare rett og rimelig. Borganlegget må ses i nær sammenheng med etableringen av kjøpstedet og senere byen Tønsberg, og dette skjedde med utgangspunkt i kongens gård på Sem – den senere greveresidens Jarlsberg. Det er derfor Jarlsberg fortsatt er eier av Slottsfjellet og større områder omkring.
Løkken
Eiendommen Løkken har stor kulturhistorisk verdi. Den grenser opp mot Slottsfjellet og friluftsmuseet på Tallak med tilflyttede bygninger fra hele Vestfold. Løkken ble bygd av konsul J.H. Christiansen i 1870-årene med hovedhus, sidebygning og uthus og omkranses av en parklignende hage. Hovedhuset bærer preg av en større ombygging på 1900-tallet. Løkken er likevel velbevart og et smakfullt og interessant uttrykk for den borgerlige kystkulturen i Vestfold i første del av forrige hundreåret. Den tidligere private residensen er nå i offentlig eie.
Slottsfjellskolen fra 1883 ligger monumentalt og synlig fra mange steder i byen. Den ble tegnet av den kjente arkitekten Henrik Thrap-Meyer. Stilen er temmelig nøktern med trekk fra renessansen og barokken. Utvendig er bygningen lite forandret siden den ble oppført. Den er ikke lenger i bruk som skole.
Slottsfjellstårnet ble reist i 1888 og er byens mest kjente landemerke. Datteren til kong Håkon Håkonssons, prinsesse Kristina, reiste til Spania i 1257 og giftet seg der. En statue av henne er reist langs en av gangstiene opp mot fjellet.
