Następnie mieściła się tu Szkoła Akuszeryjna, a w 1773 roku Komisja Edukacji Narodowej utworzyła tu Szkołę Akademicką Zgromadzenia Białostockiego.
Według testamentu hetmana Branickiego, jego żona Izabela miała być w posiadaniu pałacu dożywotnio, potem miał on przejść w ręce Potockich. Jednakże w wyniku upadku Rzeczypospolitej spadkobiercy sprzedali w 1802 roku rezydencję królowi pruskiemu, z zastrzeżeniem, że nie może go przejąć za życia Izabeli. Po traktacie w Tylży w 1807 roku pałac przeszedł w ręce cara Rosji Aleksandra I.
Wiek XIX W okresie zaboru rosyjskiego pałac został gruntownie rozgrabiony z wyposażenia. Drzewa i krzewy wywieziono do rezydencji carskich, a ponad dwadzieścia rzeźb z ogrodu do Petersburga. W 1826 roku skuto rzeźby zdobiące attykę, zlikwidowano rokokowe ornamenty na fasadzie i zrzucono z dachu barokowe hełmy. Po adaptacji pomieszczeń, ukazem carskim umieszczono tu w 1841 roku pensję dla panien z wyższych sfer rosyjskich – Instytut Dobrze Urodzonych Panien. W tym czasie zabrano między innymi ponad sto figur z pałacowego ogrodu francuskiego. Powodem miało być to, że nagie rzeźby mogłyby deprawować pensjonariuszki. Zburzono także prywatny teatr hetmana Branickiego, a unikatową kurtynę podzielono na cztery części i sprzedano w Anglii. Dalsze losy części kurtyny są nieznane.