Baronen
Baronen på Rysensteen hed Hendrik Rüse. Han havde fået både gods og titel af den danske konge som betaling for at bygge Kastellet i København, et nyt stort befæstningsanlæg efter hollandsk forbillede. Det var færdigt i 1664 og findes stadig væk. Hendrik Rüse kom fra Holland og var specialist i fæstningsbyggeri og havneanlæg. Han lavede flere befæstningsanlæg i det danske rige, der dengang omfattede Norge og den sydlige del af Sverige, og blev i 1673 udnævnt til generalløjtnant i Norge.
Senere blev han afskediget og rejste tilbage til Holland. Hans datter Jeanne Marie blev boende og giftede sig med adelsmanden Christian Juel, som blev oberst for de lejetropper, som kong Christian V 1689 overlod til den engelske konge. Han døde i Irland i 1690.
Deres efterkommere ejede Rysensteen i hele 1700-tallet, men det var sjældent at de boede der.
Alligevel blev en del af slægtens afdøde medlemmer hensat i et nu nedlagt gravkapel ved Bøvling Kirke.
I kirken kan man stadig se en pompøs altertavle, som Jeanne Marie Rüse og Chr. Juel skænkede til kirken i 1684.

Godset
Rysensteen fik sit navn i 1664. Før den tid hed borgen Bøvling og tilhørte i Middelalderen Ribe Bispestol. Ved Reformationen 1536 blev det et kongeligt slot, hvor kongens lensmand boede.
Lensmanden skulle blandt andet opkræve skatter af bønderne i form af smør, fårekød, røget flæsk, røgede gæs, torsk og store mængder hvilling. Han skulle også tage vare på det vraggods, som drev ind på stranden; det tilhørte nemlig kongen. Hvis det var bygningstømmer, måtte han dog bruge det til at reparere slottet med.
Der var gode enge til Bøvling Slot, både ud mod Nissum Fjord og på Harboørelandet. Det betød, at man kunne opfede stude på gården - besætningen var mellem 50 og 100 staldstude. På den tid blev studene drevet ned til Ribe og derfra udskibet til Holland, eller over Immervad og videre til Gottorp.

Fruerstue og fangekælder
Det gamle stuehus fra Bøvling Slot er bevaret til nutiden. Det ligger mod vest på borgbanken og blev bygget 1638-39. En enkel hvidkalket bygning i to etager med en høj trappe op til hoveddøren. Her var der "fruerstue" mod syd, en lang gang med indgang til kamre og et køkken mod nord. I de høje hvælvede kælderrum var der blandt andet fangekælder. I nordfløjen var der bryggers, mælkehus og folkekøkken. I det østre hus var der borgestue og gæstekammer. Endelig var der i sydfløjen portbygning med skriverstue.
Omkring det firlængede gårdsanlæg var der volde og voldgrav med vindebro over. Ladegården lå som i nutiden uden for voldanlægget.

I fangekælderen
I 1633 havde en sørøver fra Dunquerc forfulgt et hollandsk skib, som skipperen lod løbe på grund på Bøvling Klit. Sørøveren havde derpå udplyndret vraget, men var undsluppet. Tre år før var en anden sørøver fra Dunquerc strandet med et kapret skib. Han blev sat i fangekælderen på Bøvling Slot. Siden blev han under bevogtning sendt ad landevejen over Holstebro, Nørre Snede og Vejle til København. Rejsen varede 13 dage.