Istnieje także legenda o podziemnym przejściu między zamkiem i wieżą stojącego w pobliżu kościoła farnego, który w XVII wieku również był przystosowany do obrony.
Wiek XVIII Dalszej rozbudowy pałacu dokonano już na polecenie Jana Klemensa Branickiego i jego żony Izabeli Poniatowskiej. Od 1728 roku pracami budowlanymi kierował Jan Zygmunt Deybel. Pod jego kierunkiem dodano jedną kondygnację, tympanon od strony fasady z herbem Gryf i hełmy na wieżach z czasów Tylmana z Gameren. Deybel jest też autorem elewacji od strony dziedzińca. Następnie, w miejscu wcześniejszych alkierzy i oficyn, Deybel zbudował na wzór francuski skrzydła boczne, aby objąć podkową dziedziniec – cour d’honneur, na który prowadziła brama zbudowana w 1758 roku przez Jana Henryka Klemma, który także odgrywał ważną rolę podczas przebudowy. Pracował tu także Pierre Ricaud de Tirregaille. Po śmierci Deybla, w latach 1750–1771 prace przy przebudowie pałacu prowadził Jakub Fontana i on też ukształtował ostateczną bryłę pałacu, westybul, rokokowe wnętrza, a w 1754 roku klatkę schodową z rzeźbami Jana Chryzostoma Redlera „Rotator” i dwoma atlantami.