W 1899 każdy z pułków dysponował trzema położonymi wzdłuż szosy murowanymi, jednopiętrowymi koszarowcami przeznaczonymi dla oddziału szkolnego, gospodarczego, a także pododdziału karabinów maszynowych, łączności i zwiadowców, stojącym między nimi dwupiętrowym obiektem oficerskim, znajdującym się w głębi kompleksu jednopiętrowym budynkiem dowództwa oraz dwoma dwupiętrowymi obiektami batalionowymi oraz mniejszymi budynkami funkcyjnymi. W tym samym czasie wzniesiono garnizonowy lazaret, w którego skład weszły trzy jednopiętrowe obiekty murowane i kilka mniejszych funkcyjnych, położonych na południowym krańcu kompleksu.

W 1883 w Suwałkach rozlokowano 3 i 4 baterię artylerii konnej (od 1896 – 2 dywizjon artylerii konnej). Prawdopodobnie kwaterowały one w tzw. koszarach artyleryjskich, budynkach należących do Hirsza Dawida Oppenheima, znajdujących się przy północnym krańcu Prospektu Petersburskiego.

W 1898 rozpoczęto budowę koszar „kawaleryjskich” dla 4 (?) pułku dragonów. Ich pojemność miała wynosić około 100 ludzi i 710 koni.

W 1900 wybudowano dla 2 Lejb-Huzarskiego pułku Imperatora Aleksandra III cerkiew św. Jerzego Zwycięzcy przy ul. Sejneńskiej, a w 1907 dla 5 Brygady Strzelców cerkiew prawosławną św. Aleksandra Newskiego.