załoga w wyniku nadciągania armii tureckiej i uznając za obronę tak niewielkiej fortecy za bezcelowe, wycofała się do znacznie lepiej ufortyfikowanego pobliskiego Kamieńca Podolskiego wzmacniając liczebność jego obrońców. Wojska polskie pod dowództwem króla Jana Sobieskiego odbiły zamek pod koniec sierpnia 1684 r. Po pokoju w Karłowicach w 1699 r. zamek oficjalnie powrócił w granice Polski. Po odzyskaniu przez Lanckorońskich zamek został odbudowany. Podczas konfederacji barskiej zamek na krótko zajęli konfederaci, jednak wyparci zostali z niego przez wojska rosyjskie. Ponownie zamek został zniszczony przez najazd turecko-tatarski w 1768 r.
Po 1793 r. Żwaniec znalazł się w zaborze rosyjskim i utracił militarne znaczenie. Odtąd zaczął się powolny proces dewastacji zamku, prowadzący do jego całkowitej ruiny.
Architektura Zamek główny był założony na planie nieregularnego pięciokąta, z pięciobocznymi basztami na narożach i dwupiętrowym budynkiem frontowym - bramnym pośrodku południowo-zachodniej kurtyny. Odcinki murów północno-zachodni i północno-wschodni przebiegały przy krawędzi urwiska, pozostałe były dodatkowo bronione głębokim przekopem suchej fosy oddzielając zamek od miasteczka.