Po śmierci Aleksandra Koniecpolskiego jego syn, Stanisław, w 1659 sprzedał pałac hetmanowi polnemu i marszałkowi wielkiemu koronnemu Jerzemu Sebastianowi Lubomirskiemu. Nowy właściciel odrestaurował pałac po potopie szwedzkim. Po jego śmierci (1667) rezydencję odziedziczyły dzieci z pierwszego małżeństwa i druga żona z dziećmi. W 1674 negocjacje ze wszystkimi spadkobiercami Lubomirskiego w sprawie odkupienia nieruchomości rozpoczął Michał Kazimierz Radziwiłł. Po jego śmierci (1680) kontynuowała je jego żona Katarzyna z Sobieskich. Ostatecznie transakcję kupna zawarto w 1685. Jednak już wcześniej, w 1677, Radziwiłłowie rozpoczęli prace mające dostosować rezydencję do ich potrzeb.
W latach 1694–1705 gmach został przebudowany pod kierunkiem Augustyna Locciego, Karola Ceroniego oraz Andrzeja Jeziornickiego, a na początku lat 20. XVIII wieku odnowiono go pod kierunkiem Karola Baya. W 1728 włoski budowniczy Dominik Cioli wyremontował grotę znajdującą się pod pałacem, oraz osuszył zawilgocony gmach.
W 1705 w pałacu mieszkał Stanisław Leszczyński.