Był wyposażony w kuchnię, piekarnię, łaźnię, pralnię, dom mieszkalny dla funkcjonariuszy. W budynku więziennym na trzech górnych piętrach (2,3,4) mieścił się też kościół katolicki, zaprojektowany w stylu romańskim. Zlokalizowany na 3 piętrze ołtarz wykonano z marmuru według proj. płk. inż. K.P. Kelczewskiego. Pomyślano również o zlokalizowaniu synagogi. W 1905 dobudowano z żółtego kamienia cerkiew prawosławną św. Mikołaja Cudotwórcy (Šv. Mikalojus Stebukladarys/Св. Никола Чудотворец). Całkowity koszt inwestycji zamknął się w kwocie 969 tys. rubli.
Miejsce kaźni przedstawicieli wielu narodów – Białorusinów, Litwinów, Żydów, a także tysięcy Polaków, uczestników powstań i żołnierzy AK, w którym przetrzymywano więźniów politycznych za czasów carskich, hitlerowskich (Gestapo), litewskich (Sauguma) i sowieckich (NKWD i KGB). Niejednokrotnie przebywało w nim od 2 tys. do 16 tys. osób jednocześnie.
W czerwcu 1941, pod koniec tzw. pierwszej okupacji sowieckiej, NKWD wymordowała dużą grupę więźniów. W trakcie późniejszej okupacji niemieckiej do więzienia przywożono Żydów z wileńskiego getta oraz polskich więźniów politycznych, których rozstrzeliwano w Ponarach (Paneriai).