Naroża akcentowane były wysuniętymi niewielkimi wieżyczkami.
W odwecie na krzyżacki najazd na litewską Żmudź, w 1329 roku zamek w Papowie oblegały wojska Władysława Łokietka. Drugą fazę prac budowlanych na zamku przeprowadzono po roku 1400.
Do 1410 roku znajdowała się tutaj siedziba niewielkiego komturstwa. Po bitwie pod Grunwaldem w lecie 1410 roku na krótko zamek obsadziło rycerstwo polskie. Po wycofaniu wojsk polskich była to siedziba wójta krzyżackiego. W 1411 roku polski rycerz Janusz Brzozogłowy wraz z kilkudziesięcioma zbrojnymi z zamku bydgoskiego przeszli przez bród na Wiśle pod Solcem Kujawskim i napadli na Papowo, uprowadzając konie wielkiego mistrza, biorąc do niewoli rycerzy i bezpiecznie wracając do Polski. Najazd ten spowodował zniszczenia na przedzamczu.
Podczas wojny trzynastoletniej w 1454 roku na zamku schronił się wielki marszałek, komtur gdański i komtur grudziądzki. W dniu 7 lutego 1454 roku słabo zaopatrzony zamek został zdobyty przez walczące po stronie Polski wojska Związku Pruskiego i czeskich rycerzy najemnych pod dowództwem pruskiego rycerza Ottona Machwica. Zamek obsadziła załoga dowodzona przez Janka z Targowiska.