Wybitni goście biskupów warmińskich, którzy przybywali do Lidzbarka Warmińskiego, a dalej ruszali do kolegium jezuickiego w Braniewie oraz Katedry we Fromborku, każdorazowo przejeżdżali przez Babiak. Wieś była w tych czasach świadkiem obecności takich postaci jak Mikołaj Kopernik, Stanisław Hozjusz czy Ignacy Krasicki.
W wyniku I rozbioru Rzeczypospolitej z 1772 roku Warmia znalazła się w granicach Królestwa Pruskiego. Babiak przynależał początkowo do powiatu braniewskiego, a następnie do powiatu lidzbarskiego w prowincji Prusy Wschodnie. Oba powiaty należały do rejencji w Królewcu.
Babiak leżący w granicach III Rzeszy 8 lutego 1945 roku zdobyły wojska 31 Armii 3 Frontu Białoruskiego Armii Czerwonej.
Sytuacja miejscowości zmieniła się w wyniku zakończenia II wojny światowej. Od 1945 roku prowadzono systematyczną akcję wysiedlania miejscowych Niemców oraz Warmiaków. Ich miejsce zajmowali głównie Kresowiacy z Wileńszczyzny i Grodzieńszczyzny, a także przybysze z Mazowsza. W ramach Akcji „Wisła” do miejscowości przesiedlono kilkanaście rodzin ukraińskich. Nastąpił etap trudnej koegzystencji mieszkańców całkowicie odmiennych kulturowo oraz religijnie. Obok polskojęzycznych katolików zamieszkali mówiący po ukraińsku grekokatolicy oraz prawosławni.