Kolejne klęski dotknęły warownię w pierwszej połowie XVII wieku, gdyż w tym czasie w mieście szalały pożary i zaraza. Ułatwiło to walczącego po stronie szwedzkiej generałowi Robertowi Douglasowi zdobycie zamku w czasie Potopu szwedzkiego, bronionego przez załogę pod dowództwem starosty Jakuba Olbrachta Szczawińskiego, w 1655 roku. W czasie działań wojennych zamek kilkakrotnie przechodził z rąk do rąk, ale ostatecznie 7 października 1656 roku odbiły go wojska polskie pod wodzą króla Jana Kazimierza. W 1705 roku podczas III wojny północnej zamek uległ uszkodzeniu. W 1769 r. zamek i miasto zdobył w walce z konfederatami barskimi rosyjski generał Iwan Drewicz.
Po III rozbiorze w latach 1794-1797 władze pruskie częściowo wykorzystały ruinę zamku, w związku z budową wokół murów miejskich nowych fortyfikacji bastionowych, które miały zabezpieczać od wschodu nowo zagarnięte terytoria. W tym okresie zbudowano na fundamentach Domu Wielkiego ceglany magazyn prochowy, który istnieje do dzisiaj. Po 1815 r. zamek przejęła Komisja Wojny Królestwa Polskiego i oddała Dyrekcji Inżynierów Wojska Polskiego. W "Domu Nowym" mieszkał kapitan inżynierów oraz znajdowały się magazyny, a w części zbudowanej na fundamentach Domu Wielkiego umieszczono laboratorium prochowe (stąd nazwa "prochownia"). W 1826 r.