Selve stormandsgården lå lige nord for kirken og eksisterede fra 1100-tallet og frem til omkring 1400. Undervejs, givetvis fra en gang i 1200-tallet, udviklede den sig til et borganlæg med vold og voldgrave.

Volden har været omkring 10 meter bred og er gået rundt om gårdens bygninger. Lige uden for volden har der været en otte til 12 meter bred voldgrav hele vejen rundt med en dybde på cirka 2,5 meter, og den er givetvis gået rundt om motten, den lille bakke, der stadig eksisterer, og som er højere, end volden har været.

Lidt længere mod vest og nord omtrent 30 meter fra den indre voldgrav har der været endnu en voldgrav. Den er nok udgravet senere end den indre voldgrav, og i begge ender har den hængt sammen med Karlstrup Møllebæk. Den var noget smallere og ikke nær så dyb som den inderste, og ved den var der ingen vold. Kirken lå otte meter syd for den inderste voldgrav i det område, der har været forborgen. 

Vandmølle

I 1100-tallet har der været hallignende bygninger, hvilket man har kunnet fastslå efter fund af stolpehuller. Efterfølgende blev sten brugt som fundament, og det var her, kirkebyggeriet begyndte.

Mellem de to voldgrave har man fundet spor fra huse og veje, og der har angiveligt været en vandmølle, som har hjulpet med at sende vand fra bækken ind i voldgravene. Dengang var der langt mere vand i bækken end i nyere tid.

Der går historier om, at man har kunnet sejle fra Køge Bugt til Karlstrup Kirke, men det er en myte. For i forbindelse med en udgravning i området i 1980 blev det fastslået, at bækken aldrig har været egnet til sejlads. Når bækken syd for kirken har været bred, skyldes det, at den på et tidspunkt blev udvidet, så den kunne bruges som branddam. I alt har området inklusive den ydre voldgrav været på 32.000 kvadratmeter.

• Kagstrup og andre tidligere navne
  Bynavnet Karlstrup har haft mange ”forgængere”. Tilbage i 1300-tallet hed byen Caxtorp eller Caxtorph, og siden har navne som Kaxtorp, Kagstrup, Cagstrup, Kakstrup og Carlstrup været brugt. Måske var Caxtorp navnet på stormandsgården. Torp kommer fra det gamle danske ord thorp, der betyder udflytterbebyggelse, mens første del kommer fra navnet på en mand.

Stormænd
Stormænd var de mest magtfulde mænd i Danmark lige under kongen. Hvorfor stormandsgården blev bygget her og udviklede sig til et borganlæg, ved man dog ikke. Men jorden var frodig, og placeringen har været strategisk god. Der var ikke langt til Roskilde, der fungerede som hovedstad i 1200- og 1300-tallet, og Køge Bugt, der i dag ligger to en halv kilometer fra kirken, var dengang kun omkring halvanden kilometer væk. Hvor Karlstrup Mose er i dag, var en vig, hvor skibe kunne lægge til.

Man ved ikke, om det var Sune Ebbesen fra den indflydelsesrige Hvideslægt, der fra start ejede stormandsgården. Men han ejede den sandsynligvis frem til sin død i 1186, og den var formentlig i slægtens hænder frem til 1251, hvor hans tipoldebarn Katarina, der var blevet Sveriges dronning, skænkede den til Gudhem Kloster i Västergötland i Sverige.

Hørte til hovedgården i Vallø

I 1326 bortforpagtede klostret stormandsgården og andre besiddelser i Østsjælland og på Møn til Falk- og Krageslægten, der ejede hovedgården i Vallø, som siden blev til Vallø Slot. Efter undervejs forgæves at have forsøgt at overtage besiddelserne lykkedes det slægten at gøre det i 1405.

Det var den magtfulde Abraham Brodersen, som det år købte det hele af klostret. På det tidspunkt var hans datter, Birgitte, gift med Jens Eskild Falk. Men om Abraham Brodersen blot gav alt videre til de to eller handlede på deres vegne, er ikke til at sige. Det var også heromkring, at stormandsgården og voldstedet i Karlstrup blev nedlagt.

Om slægten ejede kirken frem til 1536, hvor kongen overtog den, vides ikke. Stormanden Ingvar Kagstrup nævnes nogle steder som ejer i 1302. Måske fordi Kagstrup var hans tilnavn. Men det kan være, han blot forpagtede den på det tidspunkt. Også inden stormandsgården blev anlagt, har området været bebygget. Man har således fundet spor af et hus, der var fra før år 500.

• Flest fund fra 1200-tallet
  Ved en udgravning i 1980 fandt man flest ting fra 1200-tallet, hvilket tyder på, at det var her, der var størst aktivitet på stedet. Men desværre ikke noget af større værdi. Blandt fundene var glaserede skår, vævekamme, en enkelt armbrøstpilespids, jernknive, to bronzenøgler samt to mønter: en dansk sølvmønt fra 1223-28 og en engelsk fra samme periode.

Motten
Motten ligger mellem kirken og Sognevejen, og i mange år troede man, der var tale om en gravhøj, hvilket er forståeligt, da den minder om en lille gravhøj fra bronzealderen. Men i forbindelse med en udgravning i 1965 fandt man ud af, at den slet ikke var så gammel.

Motten er formentlig anlagt senere end volden - som en forstærkning af den. På motten er der blevet opført et tårn af træ, da man har ønsket at være så godt forberedt på angreb som muligt. Det kunne både være fra hjemlige fjender og lovløse, som huserede på egnen. Fra toppen af tårnet kunne man tilmed se ud til Køge Bugt.

Næsten alt forsvandt

I slutningen af 1300-tallet har man ikke længere brugt stormandsgården. Hvorfor ved man ikke. Måske havde stedet mistet sin strategiske betydning? Det kan også have haft betydning, at dronning Margrete 1. i 1396 forbød, at der blev opført flere private borge. Terrænet blev derefter under alle omstændigheder udjævnet, så vold og voldgrave forsvandt. Men motten beholdt man, hvilket er godt, da den er et synligt og håndgribeligt minde om stedets særlige historie.

Lige nord for kirkegården kan man ane, at der har været en vold engang, men kun når man ved, det har været tilfældet.

På motten ud mod vejen står en fredningssten af bornholmsk granit. F.M. står der på den, hvilket står for fredet mindesmærke.