W związku z tym, że był to najsolidniejszy budynek w mieście, nocował w nim w 1797 car Paweł I, którego darowiznę na rzecz budowy kościoła upamiętniono łacińską tablicą umieszczoną w klasztorze. W 1802 nocował w klasztorze car Aleksander I.
W 1800 rektor kolegium i architekt ksiądz Sebastian Dąbrowski rozpoczął budowę murowanego kościoła, który doprowadził do gzymsów, jednak w z powodu braku funduszów budowa w 1805 została przerwana. Do prac przystąpiono ponownie w 1817 pod kierunkiem tego samego architekta, który pełnił ówcześnie funkcję proboszcza w Wawiórce, jednak śmierć architekta w 1819 ponownie wstrzymała prace. Do ukończenia kościoła przystąpił wiosną 1823 ks. rektor Kalasanty Sankowski, a prace prowadził Lejzor Dawidowicz Ciesielski z Rosieni. Budowę świątyni ukończono w 1824, po czym przystąpiono do wyposażania wnętrza. Na chórze umieszczono organy pozyskane z pijarskiego kościoła w Witebsku. Tak wyposażoną świątynię 4 lipca 1825 poświęcił biskup prowincjał litewski ks. Izydor Sieklucki.