Obok kamienicy stała wieża, w której urządzone były trzy więzienia dla przestępców. Tuż obok tych budynków stał drewniany dwór, który przeznaczony był dla dzierżawców lub rejentów. Składał się on z dwóch pokoi, alkierza, komory, kuchni i czeladnicy wystawionej w drugiej połowie XVII wieku. Nad rzeką Kamionką stał browar wraz z gorzelnią, zaopatrujący 17 karczm pańskich.
Jako że miasto stało się własnością kościelną, monarcha wyłączył je spod świeckiej władzy wojewodów. Ponadto władca wyraził zgodę na organizowanie w Kamieniu Krajeńskim stałych targów. Wraz z nadaniem praw miejskich arcybiskup ufundował osadzie drewniany kościół pod wezwaniem Najświętszej Marii Panny oraz śś. Apostołów Piotra i Pawła. Budowę obiektu zakończono ok. 1382 roku. W XIV w. miasto otoczono murami obronnymi. Wzmocnienie obronności nie uchroniło jednak przed napadami. W 1383 r. najechał go książę mazowiecki Siemowit IV, zdobywając miasto i zamek. Jednak znacznie groźniejsze w skutkach były tzw. „rejzy” krzyżackie. W 1409 r. komturowie z Człuchowa i Tucholi przez osiem dni pustoszyli ziemię złotowską i nakielską. W tym też czasie zajęty i spalony został Kamień Krajeński. Krzyżacy w wyprawach z 1414 i 1422 r. ponownie spalili miasto.