W 1454 podczas kolejnego konfliktu z Zakonem Krzyżackim - wojny trzynastoletniej, odbudowany pałac został zniszczony przez mieszczan dobromiejskich. Kolejnych zniszczeń folwark doznał zarówno podczas kolejnego konfliktu z Zakonem w latach 1519-1521, jak i podczas wojen szwedzkich.
Jednak założenie za każdym razem odbudowywano i ponownie zasiedlano, gdyż przynosiło duże dochody dla księstwa warmińskiego. W 1557 Jan Hozjusz - brat biskupa warmińskiego Stanisława Hozjusza, przeniósł do Smolajn siedzibę komornictwa dobromiejskiego, co znacznie zwiększyło znaczenie majątku. Natomiast w 1629, doceniając położenie oraz obfitujące w zwierzynę lasy, biskup Wacław Leszczyński wybrał Smolajny na jedną z dwóch, obok Bischdorfu (dzisiaj Sątopy-Samulewo), letnich rezydencji biskupów.
W latach 1741 – 1746 biskup Adam Stanisław Grabowski zlecił wybudowanie w Smolajnach barokowego pałacu. Prosty budynek z licznymi zdobieniami wybudował prawdopodobnie, ze względu na liczne podobieństwa, ten sam architekt, który wzniósł oficynę na przedzamczu zamku biskupów w Lidzbarku Warmińskim. Ponadto w 1765 Grabowski wzniósł także okazałą barokową wieżę bramną wraz z przylegającym do niej budynkiem.