Zamek był budowlą wzniesioną na wschód od miasta lokacyjnego, z niezależnym systemem fortyfikacji. Z czasem jednak oba zespoły zostały połączone. Zbudowano bramkę w parkanie oddzielającym miasto od zamku (odkrytą w 2019 w czasie rewitalizacji Teatru Kameralnego) oraz most nad fosą zamkową. Zbudowano również fortyfikacje bastionowe, chroniące oprócz zamku również przedpole miasta.
Obecnie miejsce, na którym znajdował się zamek jest zniwelowanym obszarem położonym na północ od ul. Grodzkiej i na wschód od ul. Przy Zamczysku.
Architektura Zamek bydgoski uznaje się za jeden z większych obiektów obronnych wzniesionych przez Kazimierza Wielkiego w północnej części Królestwa Polskiego. Wzniesiono go z cegły na wzór zamków krzyżackich (np. w Kętrzynie, Morągu, Węgorzewie).