Po śmierci Rumiancewa pałac odziedziczył jego syn – dyplomata, mecenas i działacz państwowy Nikołaj Rumiancew. W 1834 kompleks został sprzedany za 800 tys. rubli Iwanowi Paskiewiczowi, który przeprowadził gruntowną przebudowę pałacu i kazał rozplanować park. W latach 1842–1922 przed pałacem stał wywieziony z Warszawy pomnik księcia Józefa Poniatowskiego, po traktacie ryskim zwrócony Polsce przez władze radzieckie.
Do Paskiewicza należała wielka kolekcja antyków, map, książek – duża jej część była przechowywana w pałacu (obecnie w muzeum można obejrzeć 300 przedmiotów z kolekcji feldmarszałka). Po śmierci Paskiewicza nieruchomość przejął jego syn Teodor (Fiodor) z małżonką Iriną. Po rewolucji październikowej pałac został upaństwowiony i przekazany muzeum krajoznawczemu w Homlu. Irinę Paskiewiczową przeniesiono do małego mieszkania na terenie miasta.
Zniszczony w czasie II wojny światowej obiekt odbudowano po wojnie i przeznaczono na muzeum i pałac Pionierów; od czasu uzyskania przez Białoruś niepodległości budynek jest w całości wykorzystywany do celów muzealnych.