Jindřich Ota, znany z brutalnego postępowania, otrzymał z majątku ojca zamek Malá Skála wraz z ruinami zamku Vranov, część Turnova oraz około 40 wsi na północ od Jizery aż po Jablonecko. W 1615 majątek skalski zakupił Albrecht Jan Smiřický ze Smiřic, który zmarł trzy lata później. Ze względu na jego udział w powstaniu stanów, jego dobra zostały skonfiskowane, a majątek skalski otrzymała rodzina Valdštejnów. Albrecht z Valdštejna przekazał je w lenno Mikulášowi Desfoursowi, właścicielowi Hrubého Rohozca.
Rodzina Desfoursów nie mieszkała na stałe w zamku Malá Skála, ponieważ posiadała znacznie okazalszy zamek Hrubý Rohozec. Malá Skála pełnił głównie funkcję administracyjną. Na początku XVIII wieku, za czasów Ferdinanda Ignáce Desfourse, zamek został przebudowany w stylu barokowym, głównie wnętrza. W 1775 obiekt został splądrowany przez zbuntowanych poddanych.
W 1802 hrabia František Václav Desfours sprzedał majątek maloskalski fabrykantowi Františkowi Zachariášowi Rtimischowi, który wzbogacił się na dostawach wojennych i uzyskał tytuł barona. Rtimisch przebudował zamek około 1810 w stylu empire, zwracając szczególną uwagę na urządzenie parku oraz wykorzystanie ruin starego zamku Vranov.