Intensywne prace trwały w latach 80. XIV wieku. W 1384 i 1385 roku źródła wymieniają mistrza murarskiego Johanna Mommolta, pracującego przy budowie. Analiza źródeł pisanych wskazuje, że zasadnicze prace przy głównym, wschodnim skrzydle dobiegały końca około 1387 roku.
Następnie kontynuowano budowę niższego skrzydła północnego. Pierwotnego programu wieloskrzydłowej siedziby nie zrealizowano w całości. W latach 1394–1395 w źródłach pojawia się komtur domowy Barcian, a jednocześnie przez około piętnaście miesięcy brak wzmianek o komturze ryńskim. Jóźwiak i Trupinda dopuszczają w związku z tym możliwość krótkotrwałego przeniesienia komturii do Barcian.
Po tym okresie zamek ponownie funkcjonował przede wszystkim jako siedziba prokuratora. Planowane średniowieczne skrzydła zachodnie i południowe nie zostały zrealizowane, natomiast skrzydło północne pozostało niższe od wschodniego.
Wielki mistrz przekazywał środki na potrzeby zamku w 1407 i 1409 roku. Z pracami wiązana była również cegielnia w położonym niedaleko Srokowie. Na początku XV wieku przy północno-wschodnim narożniku zamku powstała niska cylindryczna baszta przystosowana do użycia broni palnej.