Ponieważ para nie doczekała się potomstwa, postanowili adoptować bratanka Marii Krystyny, Karola Ludwika Habsburga, syna cesarza Leopolda II Habsburga.
Arcyksiążę Karol Ludwik odziedziczył pałac w 1822 roku, a po nim – jego syn Albrecht Fryderyk Habsburg w 1847 roku. W momencie, gdy jego jedyny spadkobierca męski zmarł w okresie niemowlęcym, postanowił on adoptować swego bratanka. Tym sposobem w 1895 roku pałac przeszedł we władanie Fryderyka Habsburga (wysoko postawionego wojskowego Austro-Węgier). Ten przekazał pałac swojemu synowi – Albrechtowi II Habsburgowi, który jako ostatni tytularny książę cieszyński zmarł w Buenos Aires.
W 1898 w pałacu rozpoczął się swego rodzaju skandal obyczajowy z arcyksięciem Franciszkiem Ferdynandem w roli głównej. Ten bowiem zostawił na tamtejszym korcie tenisowym swój zegarek, który został oddany pani domu – Izabelli von Croÿ-Dülmen, żonie Fryderyka Habsburga. Ta z kolei ciekawa była co znajduje się w środku zegarka. Spodziewała się znaleźć tam zdjęcie jednej ze swoich trzech córek, liczyła bowiem na mariaż jednej z nich z arcyksięciem.