W 1626, podczas wojny polsko-szwedzkiej, kolegium zostało doszczętnie złupione i zniszczone do gołych murów. W czasie potopu szwedzkiego, w 1656 i 1657, Szwedzi złupili przedmieścia i majątek jezuitów, kolegium jednak ocalało. W mieście głoszono, że jezuici są w zmowie ze Szwedami i prowadzą z nimi korespondencję. W 1668 gdański gmin napadł na kolegium i doszczętnie zniszczył, a jezuitów poranił.
Kolegium postanowiono odbudować, ale w nowym miejscu, na drugim (prawym) brzegu Kanału Raduni. Kamień węgielny położono w 1676, lecz budowa trwała wiele lat (częściowo z powodu wojny północnej i związanych z nią zniszczeń), kończąc się w 1726.
Po I rozbiorze Polski w 1772 Szotland wraz z województwem pomorskim (a oprócz Gdańska) został włączony do Prus. Dzięki temu kasata zakonu jezuitów w 1773 nie wpłynęła od razu na jego działalność i kolegium kontynuowało nauczanie do 1780. Dopiero wtedy dokonano kasaty, a przedstawiciel króla pruskiego Fryderyka II ogłosił zmianę nazwy kolegium na Collegium Patrum litteratorum i pozwolił dawnym jezuitom na pozostanie.