W XIX wieku zasypano też większość ogrodowych stawów.
Wiek XX I wojnę światową pałac przetrwał bez większych zniszczeń. Mieścił się tu między innymi szpital polowy. Po wojnie pałac był siedzibą urzędu wojewódzkiego i rezydencją wojewody. Przez krótki okres podczas wojny polsko-bolszewickiej pałac był także siedzibą Tymczasowego Komitetu Rewolucyjnego Polski.
W „czarny piątek” 27 czerwca 1941 roku na terenie przylegającego do pałacu parku Niemcy rozstrzelali setki Żydów.mały|Ogród francuski
W 1944 roku pałac został w 70 procentach zburzony przez wycofujących się Niemców. Dużą część z tego, co pozostało, zniszczyła w tym samym roku Armia Czerwona. Pałac odbudowano w latach 1946–1960 pod kierunkiem inż. Stanisława Bukowskiego i inż. Władysława Paszkowskiego, nawiązując do stanu z XVIII wieku. Pośpiech, z jakim przeprowadzono prace, nie pozwolił jednak na zebranie pełnej dokumentacji, rekonstrukcja wnętrz jest więc niezbyt wierna. I tak na przykład sala konferencyjna zyskała zieloną tonację, mimo że oryginalnie była biała z bogatymi złoceniami. Do 1990 roku odbudowano Pawilon Toskański i kaplicę pałacową z kopułą i kopiami prac Augustyna Mirysa. We wrześniu 2006 roku, po 200 latach przywrócono na bramie pałacowej herb Branickich Gryf.