W tym czasie wokół zamku obronnego powstała osada. 26 grudnia 1329 r., biskup warmiński Henryk II Wogenap dla grodu obronnego Wartberg nadał prawa podobne do miejskich. Po raz pierwszy pod tą datą jako miasto Wartberg ze strażnicą-zamkiem obronnym umiejscowionym pośrodku wymieniony został w dowodach Dobrego Miasta. Był to zapewne dokument lokacyjny, którego pierwszymi założycielami byli bracia Jan i Piotr, pierwszym księdzem Jan (1337-1353), a sołtysem Henryk. Brak naturalnych warunków obronnych strażnicy sprzyjał licznym najazdom wojowników litewskich. 6 stycznia 1354 r., wojska litewskie pod dowództwem wielkiego księcia Olgierda i Kiejsuta po krótkiej walce spalili całkowicie miasto i zamek Wartberg. Wymordowano mieszkańców a uchodząc, uprowadzono kobiety i dzieci. Miasto Wartberg przestało istnieć. Na jego miejscu powstała wieś Alt Wartenburg (obecne Barczewko.
Dziesięć lat później nastąpiło nowe założenie miasta, które ulokowano w miejscu istniejącej od 1325 r., osady, zatrzymując dawną nazwę miasta Wartberg (dzisiejsze Barczewo). Obrana osada i teren nad rzeką Pisą był otoczony od południa bagnistymi łąkami i jeziorem Kiermas.