Po III rozbiorze Po uwolnieniu wyjechał do Włoch (1796), wracając do rodzinnych dóbr kurowskich w roku 1797. Osiadł w Wilanowie, który na własność otrzymała w roku 1799 jego żona Aleksandra od matki Izabeli Lubomirskiej, poświęcając się przywróceniu świetności pałacowi wilanowskiemu jako mauzoleum chwały króla Jana III i gromadzeniu w niej kolekcji sztuki i starożytności, która została udostępniona publiczności w roku 1805 oraz prowadzeniu studiów nad językiem polskim, literaturą i sztuką. Od roku 1800 jeden z najczynniejszych członków warszawskiego Towarzystwa Przyjaciół Nauk, w którym przewodniczył Wydziałowi Nauk; stał się wtedy powagą rozstrzygającą w sprawach literackich, ale sam pisał stylem zawiłym i nie bez błędów.
W styczniu 1807 wszedł do Komisji Rządzącej, w lutym tego roku obejmując stanowisko Prezesa Izby Edukacyjnej i utrzymując je w Komisji Rządzącej Księstwa Warszawskiego, od 1810 jako dyrektor Edukacji Narodowej. W 1808 wraz z Ksawerym Działyńskim i Piotrem Bielińskim brał udział w negocjacjach, które doprowadziły do konwencji obejmującej tzw. sumy bajońskie. Wiosną 1809 został prezesem Rady Stanu i Rady Ministrów przechodząc zwycięsko trudną próbę kierowania tymi ciałami w czasie wojny 1809, pozostając pod presją dyrektyw francuskich i opozycji jakobińskiej.