Na przełomie XVIII i XIX w. pałac był w zarządzaniu Tyszkiewiczów, którzy przebywając poza granicami wynajmowali go dygnitarzom i wojskowym. W 1820 pałac stał się siedzibą i wyłączną własnością Anny z Tyszkiewiczów po jej rozwodzie z Aleksandrem Potockim. W 1840 pałac zakupił od matki syn z pierwszego małżeństwa, August Potocki, i odtąd w ręku Potockich pozostawał on do 1923. W 1923 pałac zakupił Bank Gospodarstwa Krajowego, a ulokowano tu Polską Akademię Literatury oraz zbiory starodruków Biblioteki Narodowej. W 1939 roku pałac przetrwał okres oblężenia Warszawy z powyrywanymi oknami.
W czasie powstania warszawskiego pałac został celowo zbombardowany przez wojska niemieckie pociskami zapalającymi. Zniszczeniu uległy cała stolarka z XVIII i XIX wieku (drzwi, mozaiki podłogowe, stropy, panele ścienne, schody), a także bezcenne XVIII-wieczne stiuki w stylu pompejańskim, będące jednymi z najcenniejszych zabytków warszawskiego klasycyzmu pałacowego. Po zniszczeniach wojennych pałac włączono do głównego kampusu Uniwersytetu Warszawskiego i odbudowano w latach 1949–1956 według projektu Jana Dąbrowskiego, jedynie częściowo przywracając wnętrzom ich dawny wygląd. Jednym z najlepiej zachowanych pomieszczeń jest dawna łazienka, znajdująca się na I piętrze w północnym skrzydle pałacu.