Żołnierze wypowiedzieli mu jednak posłuszeństwo i pod dowództwem pułkownika Korotkiewicza przeszli na stronę królewską, podporządkowując się Pawłowi Sapieże.
Za zasługi położone przez Stefana Czarnieckiego w wojnie ze Szwedami, Sejm Rzeczypospolitej nadał mu dobra białostockie. Czarniecki przekazał następnie Białystok wraz z zamkiem swojej córce Katarzynie Aleksandrze, żonie Jana Klemensa Branickiego, stolnika koronnego. Od tego czasu zamek stał się siedzibą rodu Branickich herbu Gryf.
Pałac Branickich Wiek XVII Stefan Mikołaj Branicki, ojciec hetmana wielkiego koronnego Jana Klemensa Branickiego, zlecił przekształcenie zamku Wiesiołowskich w barokową rezydencję Tylmanowi z Gameren. Ten pochodzący z Utrechtu inżynier wsławił się wcześniej m.in. budową pałacu Krasińskich w Warszawie i rezydencji prymasa Michała Radziejowskiego w Nieborowie. Trwająca w latach 1691–1697 przebudowa zmieniła całkowicie oblicze budowli. Między innymi jedna z baszt została wykorzystana jako klatka schodowa. W drugiej baszcie usytuowano komnaty. Podczas kolejnej przebudowy podwyższono boczne oficyny, postawiono jońską kolumnadę, a także wiele rzeźb. Z dawnej wojennej przeszłości zamku obecnie widoczne są jedynie zarysy bastionu nieopodal stawu.