Od północnego wschodu zabezpieczała go nie tylko rzeka Narew, ale także szeroka i bagnista jej dolina. Pozostałością po grodzisku jest tzw. Góra Królowej Bony. Do dziś zachowały się tam pozostałości wałów ziemnych otaczających gród.
Na odległym o kilkaset metrów w dół rzeki wzniesieniu zwanym Wzgórzem Świętego Wawrzyńca, według zapisków kościelnych, stał kościół parafialny wybudowany, według Kroniki Spengeberga, około 1000 roku przez świętego Brunona z Kwerfurtu. Święty ten niosąc wiarę chrześcijańską pogańskim ludom na pograniczu prusko-jaćwieskim poniósł męczeńską śmierć w 1009 roku prawdopodobnie zaledwie 20 kilometrów na wschód od tego miejsca, w okolicach dzisiejszej Wizny. Prawdziwość tej legendy dowodzą wykopaliska archeologiczne przeprowadzone na wzgórzu. Potwierdzają one, że w tym miejscu na pewno stał pierwszy kościół chrześcijański na Północnym Mazowszu, w krypcie odnaleziono wczesnośredniowieczne szczątki bogato ubranego duchownego.
W tym okresie powstał również kościół św. Piotra. Był on umiejscowiony na terenie wsi Stara Łomża, bliżej dzisiejszego miasta. Według ww.