Gårdsnavnene Halle, Dolven, Berven, Berg og Manvik sammen med de mange gravhaugene vitner om gammel bosetning. I tillegg er det med moderne teknologi de siste årene oppdaget mange utpløyde graver der det i dag er dyrket mark.
I eldre jernalder sto havet fem til syv meter høyere enn nå. Den gangen må det ha vært mulig å komme seg til Berg og Manvik med båt. Det satte gårdene i nær kontakt med omverdenen. Den eneste nausttuften fra vikingtid vi vet om langs kysten på Østlandet, ligger nede ved Hummerbakkfjorden. Tuftens innvendige lengde er 20 meter, så den kan ha rommet et fartøy noe mindre enn Oseberg- og Gokstadskipene. Det er høyden over havet som viser at naustet var i bruk i vikingtid.
Storgård
Storgården Manvik var sete for den mektige Manvikslekten som er kjent fra sagatekster. Gården nevnes første gang i 1184 da eieren, lendmannen Lodin av Manvik, blir rapportert å ha falt i slaget ved Fimreite.
Gården gikk i arv innen adelen helt til storgodseieren Gyrvhild Fadersdatter i 1599 overførte Manvikgodset til kongen. Gården forble krongods til 1658. Da ble den pantet bort til borgermester Anders Madssøn i Tønsberg. Hans arvinger solgte i 1692 Manvik til den tidligere stattholderen i Norge, Ulrik Frederik Gyldenløve. Gården fulgte deretter grevskapet Larvik, og den ble oppstykket i en rekke leilendingsbruk. De ble solgt til brukerne i første halvdel av 1800-tallet etter at familien Treschow hadde overtatt godset.
Kirkene
Tvers over Bergselva for Manvik ligger gården Berg med sine to kirker. Også Berg er en gammel og stor gård. Den eldste kirken ble bygd nede ved elvebredden rundt midten av 1100-tallet. Den var viet St. Lavrans. Kirken eide svært få gårdparter i middelalderen. Det tyder på at den opprinnelig ble bygd som høgendes- eller privatkirke for folkene på Berg og deres nærmeste.
I 1878 ble den gamle kirken erstattet av en yngre kirke oppe på åsen ved nåværende gårdstun. Rett sør for den nye kirken var det tidligere et gravfelt. Nærheten mellom det førkristne gravfeltet og den kristne kirken viser at kult, religion og makt har lange historiske linjer på Berg.
Rett ned for Dolven ligger gården Kryssgården, opprinnelig Krossgarđrinn. Kryssgården er nok skilt ut fra Dolven i tidlig- eller høymiddelalder. Navnegranskere har ment at gårder kunne få et slikt navn fordi de lå i eller ved et viktig veikryss. Det gir bedre mening at det har stått et kors på stedet i middelalderen. Det kan ha vært et bønnekors, eller det kan ha blitt reist for å minnes et drap eller en annen ugjerning på stedet. Eller det kan vise til at det i middelalderen sto et andaktskors her for gårdsfolket på Dolvens grunn. Slike er kjent fra Sverige. Stedvis var de i bruk til 1700.
Mølla
Halleelva har lenge hatt økonomisk verdi og vært på forskjellige hender. I 1376 var Halla fos ett av arvestykkene etter adelige Hustru Margaretha på Brunla gård. I 1575 fikk Jens Åkesen Røra kongelig løyve til å drive kvernmølle og sagbruk i strykene øverst i elva. På hans tid kjenner vi også til at det var en stampemølle i samme området. I stampemøllen ble tøyer og skinn bearbeidet. Georg Orse grunnla så et jernverk ved Halle i 1662. Det tilhørte senere lagmann og assessor Claus Andersen. I 1691 solgte han videre til stattholder Gyldenløve. Verket tilvirket stangjern, kanonkuler og ovner av malm fra gruver ved Arendal. Halleverket fikk del i Fritzøe verks privilegier. I 1692 ble de to verkene forent og fulgte senere Larvik grevskap. Jernhammeren var i drift på Halle til 1810.
”Møllerstua” som står ved Hallefossen i dag er det gamle våningshuset fra 1749. Møllebygningen er fra 1880, og ei smie fra 1850 er flyttet hit fra Aske. I tillegg er det sagmesterbolig og tre uthus. Nederst i området finner man et nybygd vannkraftverk.