Po tym okresie bezustannego zdobywania i odbijania zamku, nastąpił nieco spokojniejszy okres, przerwany dopiero w 1706 r. opanowaniem zamku przez Szwedów pod dowództwem Meyerfeldena. W 1769 r. Brześć był ważnym ośrodkiem konfederacji barskiej i oparciem dla oddziału Kazimierza i Franciszka Pułaskich. W 1792 r. Polacy pod wodzą Szymona Zabiełły stoczyli po Brześciem bitwę z Rosjanami.
W zaborze rosyjskim
Po III rozbiorze Polski w 1795 r. Brześć przypadł Imperium Rosyjskiemu.
W 1833 r. imperator Mikołaj I Romanow nakazał budowę twierdzy w Brześciu. Miał to być system fortyfikacji, trzymających w ryzach podbitą Polskę.
Na terenie zamku i miasta zbudowano twierdzę według projektów Maleckiego, Opermana i Feldmana. Zabudowę miejską podobnie jak w Bobrujsku wyburzono, poza niektórymi budynkami murowanymi jak np. klasztorem jezuitów z 1623, gdzie umieszczono kancelarię i klasztorem bazylianów (Białym Pałacem) z 1629 r., gdzie umieszczono kasyno oficerskie. W Białym Pałacu właśnie w marcu 1918 podpisano pokój brzeski pomiędzy Imperium Rosyjskim i Cesarstwem Niemieckim. Twierdza składała się z Cytadeli i trzech dzieł obronnych (Kobryńskiego, Wołyńskiego i Terespolskiego) połączonych czterema mostami i bramami. Umocnienie Wołyńskie powstało na miejscu średniowiecznego grodziska i klasztoru bernardynów z 1781, który przebudowano na szpital.