W latach 1843–1845 na miejscu rozebranego drewnianego klasztoru zbudowano murowane koszary wojskowe zwane „żółtymi”. W marcu 1845 roku murowany klasztor karmelitów przejął rząd rosyjski, a zakonników wypędzono do klasztoru karmelitów bosych w Berdyczowie koło Żytomierza. W 1851 roku klasztor formalnie przejęło wojsko rosyjskie na koszary. W 1881 roku Rosjanie zakazali wstępu do kościoła klasztornego. W 1903 roku klasztor z XVIII wieku został częściowo rozebrany, a na miejscu zburzonego w 1903 roku kościoła zbudowano północne skrzydło koszar zwanych od tego czasu „szarymi” lub „karmelickimi”. W czasach II RP w latach 1921–1939 stacjonował w nich 81 Pułk Strzelców Grodzieńskich.
Budynkowi Priorbanku w pobliżu dawnego kościoła (przy ulicy Podolnaja), podczas adaptacji w 1994 roku próbowano nadać formę zbliżoną do fasady kościoła karmelitów. Zachowały się obszerne podziemia kościoła z kryptami grobowymi używanymi do 1844 roku, w których powstała restauracja.
Krata z balkonu fasady kościelnej została użyta na domu przy ulicy Sowieckich pograniczników nr 52.