W 1502 klasztor był oblegany przez Tatarów. Przez cztery dni zakonnikom udawało się skutecznie odpierać ataki. W murach klasztornych chroniła się miejscowa ludność. Miasto Opatów uległo zniszczeniu w czasie najazdu. W obronie klasztoru odznaczył się jeden z zakonników, zakrystianin brat Jan, który zabił jednego z wodzów tatarskich.
W latach 1621–1622 kościół klasztorny przebudowano. Powstało wówczas nowe sklepienie oraz kaplice św. Anny i św. Franciszka. Prawdopodobnie już wówczas świątynia zatraciła swój gotycki charakter, stając się budowlą barokową.
Kolejna gruntowna przebudowa w stylu późnobarokowym miała miejsce w latach 1749-1765. W czasie przebudowy rozebrano kaplice św. Anny i św. Franciszka. Nowa budowla wzniesiona została z kamienia i cegły. W 1784 w kościele wykonano rokokową, iluzjonistyczną polichromię o tematyce maryjnej. Przemalowano ją w 1901.
. Kościół i zabudowania klasztorne niszczały do 1939 kiedy powrócili tu zakonnicy. Prace remontowe, tynkowanie i klamrowanie pękających murów trwały przez przeszło 30 lat.
W okresie II wojny światowej na terenie klasztoru chronili się ranni żołnierze Armii Krajowej co upamiętnia tabliczka z 1997 umieszczona na murach klasztornej dzwonnicy.