Dagens staselige herregård var egentlig tenkt som midlertidig bolig for greven frem til den egentlige residensen hans sto klar. Rett nordøst for residensen lot nemlig greven i 1699 bygge et steinhus som skulle bli den faste boligen. Av forskjellige årsaker ble steinhuset aldri innredet og tatt i bruk. En av de gamle innskriftene i fjellveggen, som er minne om kongebesøk, ble hugget rett ut for der inngangspartiet til steinhuset var. Steinhuset ble revet allerede rundt 1760.
Utbygget
I 1730-årene skjedde det ting. Herregården fikk to etasjer i sin fulle omkrets og utvendig panel. Sidefløyene ble erstattet med nye som var større og lengre, og bygningen fikk sin form slik vi kjenner den i dag.
Foranledningen til forandringene var at den dansk-norske kongen Christian IV skulle på rundreise i Norge og blant annet besøke Larvik. Ulrik Frederik Gyldenløves sønn, Ferdinand Anton Danneskjold Laurvig, ville nok by kongen en imponerende bolig og splitter nye rom. Kongen og dronningen fikk i hvert fall hver sin nybygde leilighet til rådighet i andre etasje, dekorert og tapetsert med kostbare tekstiler. Herregården ble fredet i 1923.
Folk har siden 1700-tallet kopiert bygningsdetaljer som vindusbelistning og kledning fra Herregården og benyttet kopiene på sine egne bygninger. Særlig i Larvik var dette vanlig. Raftekledningen, slik som på Herregården, har vært populær i hele fylket helt frem til vår tid. Foto: Trude Aga Brun.
Omgivelsene
I rett linje ned fra det forsvunne steinhuset, fra porten i nedre ende av Herregårdshagen, gikk en allé ned til nåværende Karistranda. Fra Herregårdsdammen rett ovenfor og på vestsiden av Herregårdsfjellet rant en liten bekk i kanaler langs alléen til fjorden.
Herregårdshagen var i sin tid en av de største i Norge, og antagelig den første i landet som ble utformet etter barokkens prinsipper. Den besto av en hoveddel og en kjøkkenhage på østre side. I 1863 ble deler av hagen omgjort til Torstrand kirkegård. Kirkegården ble nedlagt i 1905. Farrishallen ligger på stedet nå. Georadarundersøkelser viser at det fortsatt ligger graver her. Hagen eksisterte i noe beskåret form frem til 1902. Innenfor den ligger nå Torstrand og Mesterfjellet skole.
Colin Archer
Tollerodden har sitt navn etter tolloffiserene som etablerte seg her i 1684. Tollernes bygning ble reist allerede i 1669 og kan derfor ha vært tiltenkt annen bruk i starten. Huset står fortsatt. Maletekniske undersøkelser og restaureringer har vist at mye innvendig dekor og utsmykning i tak og vegger fra 1600- og 1700-tallet er bevart.
Huset var i utgangspunktet en toetasjes midtgangsbygning med to fløyer. I 1794-98 ble det ombygget av handelsmann, skipsreder og kaptein Falkenberg. I 1826 kjøpte skotten William Archer eiendommen. Den store landskapshaven ned mot sjøen med spaserganger, brygger, lysthus og nytte- og prydvekster ble anlagt frem mot 1850. Archers etterkommere beholdt eiendommen de neste hundre år.
Den verdensberømte skipskonstruktør og skipsbygger Colin Archer ble født og vokste opp på Tollerodden. Han hadde også et av verftene sine her.
Larvik kirke fra 1677 og Larvik hospital etablert 1757-1760 ligger begge på Tollerodden.
Godt bevart
Strøket mellom Herregården og Tollerodden har bevart mye av det gamle veinettet, bebyggelsens orientering mot sjøen og et større utvalg bygninger med byggeskikk fra slutten av 1700-tallet og frem til i dag.