W rękach Tarłów Babin pozostawał do 1787 r., po czym majątek przeszedł w ręce wierzycieli. W końcu XVIII w. utworzyły się w Babinie trzy niezależne dwory. Główna część wsi przeszła z rąk Tarłów do Mizgierów i Kordzikowskich. W 1827 r. Babin miał 64 domy i 485 mieszkańców. W 1831 r. wieś stała się miejscem bitwy pomiędzy strażami przednimi wojsk polskich gen. Sierawskiego i wojskami rosyjskich gen. Kreutza. Zadłużone dobra babińskie przejął w 1833 r. Karol Zarański, a potem jego syn Józef (1864 r.) – właściciel folwarku na Ziółkowszczyźnie z dworem, domem dla czeladzi zwanym browarem i drugim domem przy moście, karczmą, lepianką i młynem. Częścią Babina władał w 1864 r. K. Wojciechowski. Rozległe dobra babińskie miały wówczas rozbudowany ośrodek dworski i ogród użytkowo-spacerowy.
Po 1892 r. dziedzicem Babina był Wacław Zarański, syn Józefa. Po nim majątek przejęła Zofia z Zarańskich Bielińska. Część dóbr odkupił od niej Klemens Osiecki (właściciel Dorohuska k. Chełma – jego grób znajduje się na cmentarzu w Matczynie), który wzniósł w 1907. r. w Babinie nowy dwór murowany (w pobliżu starego drewnianego).