W 1554 r. Stanisław Słupski sprzedał Suchą złotnikowi krakowskiemu Gaspare’owi Castiglione’iemu, który po uzyskaniu nobilitacji szlacheckiej przybrał od swojej posiadłości polskie nazwisko – Kasper Suski. Z osobą Kaspra Suskiego wiąże się budowa zamku, który miał stać się na kilkaset kolejnych lat głównym ośrodkiem administracyjnym, gospodarczym i kulturalnym okolicznych terenów. Doszło do tego za czasów kolejnych właścicieli Suchej, Komorowskich, którzy na początku XVII wieku skupiali w swych rękach znaczne obszary ziemskie w okolicach Suchej i na Żywiecczyźnie. Po ich podziale w 1608 r. wschodnia część trafiła w ręce Piotra Komorowskiego i aż do 1939 r. jako tzw. „państwo suskie” pozostawała w rękach prywatnych właścicieli, którymi, po Komorowskich, były inne znane polskie rody: Wielopolskich, Branickich i Tarnowskich.