Kolegium pełniło funkcje wojskowe do 1998, kiedy to zostało przekazane Galerii Kraju Środkowoczeskiego (GASK) i poddane gruntownej przebudowie.
Architektura i układ przestrzenny Budynek główny Kolegium Jezuickie to monumentalna, trójskrzydłowa budowla z dzwonnicą, otoczona murem z dekoracją rzeźbiarską, bastionem oraz innymi elementami. Kompleks został zaprojektowany jako dominanta miejska, łącząca miasto z kościołem św. Barbary. W środkowym skrzydle nad piwnicami znajdowały się kuchnia, refektarz i magazyn naczyń, natomiast na parterze skrzydła północnego mieściła się apteka z bogato zdobionymi sklepieniami. Na pierwszym piętrze znajdował się teatr, rozciągający się na dwa poziomy, którego dokładna lokalizacja jest dzisiaj trudna do określenia.
Na dziedzińcu wewnętrznym znajdował się ogród ozdobny z tarasami, sadem oraz częścią użytkową. Taras przed kolegium został ozdobiony w latach 1703–1716 barokowymi rzeźbami Františka Bauguta, jezuitów, przedstawiającymi dwunastu świętych jezuitów, w tym Ignacego Loyolę, Franciszka Ksawerego i św. Wacława. Rzeźby te stanowiły część „królewskiej drogi” łączącej świątynię św.