Podczas obrony Warszawy we wrześniu 1939 roku znajdujące się w pałacu dzieła sztuki przewieziono do gmachu Muzeum Narodowego.
Jesienią 1944 roku sprzęty znajdujące się w pałacu zostały wywiezione przez stacjonujących w nim Niemców do III Rzeszy. Po upadku powstania warszawskiego Niemcy oblali wnętrza pałacu Na Wyspie benzyną i podpalili. W pożarze uległy zniszczeniu najstarsze i najcenniejsze pomieszczenia – pokój kąpielowy wyłożony holenderskimi płytkami ceramicznymi, wnętrze pochodzące z XVII w. z pierwotnej wersji pałacu projektu Tylmana z Gameren, oraz Sala Salomona, gdzie zniszczeniu uległy malowidła Marcello Bacciarellego. W ścianach spalonego budynku nawiercono ok. 1000 otworów na dynamit. Niemcy nie zdołali jednak wysadzić pałacu w powietrze.
Odbudowę pałacu, pod kierownictwem architekta Jana Dąbrowskiego rozpoczęto po zakończeniu wojny, a zakończono w 1965. Pierwszy etap odbudowy zakończono w maju 1960 i udostępniono zwiedzającym sale na parterze. Bogate wnętrze zostało zrekonstruowane. Nie odtworzono zniszczonego w pożarze 1944 malowidła Jana Bogumiła Plerscha na plafonie przedstawiającego Dianę w kąpieli i podglądającego ją Akteona oraz malowideł Marcello Bacciarellego w Sali Salomona. W lutym 1960 kustoszem pałacu został Marek Kwiatkowski.