W okresie II Rzeczypospolitej osadnikami wojskowymi w Karolinowie zostali: kpt. Antoni Dubiński (nr 3), szer. Jan Hajkiewicz (nr 5), kpr. Olgierd Stanisław Hapanowicz (nr 6), szer. Wojciech Obrzut (nr 5, 6), st. wachm. Ludwik Żuzeszchowski.
Od 1945 roku Karolinowo leżało na obszarze ZSRR, od 1991 jest wsią na terenie Republiki Białorusi.
Alfred Römer namalował (zapewne tutaj) w 1860 roku portret Floriana Danowskiego (1825–1902) założyciela Związku Braterskiego Młodzieży Litewskiej. Florian Danowski pochowany jest na wiejskim cmentarzyku w sąsiedniej wiosce Koniabicze, odległej o 1 km na zachód.
Na południowo-zachodnim krańcu wioski (w połowie drogi do Koniabicz) znajduje się cmentarzyk żołnierzy francuskich z 1812 roku.
W latach 70. XIX wieku w folwarku mieszkało 7 osób, wszyscy katolicy. W 1931 roku w majątku mieszkało 60 osób, a 2009 roku w wiosce Karolinowo mieszkało 17 osób.