Porwał wtedy siedemnastoletnią dwórkę swojej matki Annę Weleżyńską i uciekł z nią do majątku pod Częstochową swojego stryja Franciszka Lubomirskiego, którego bardzo szybko okradł i spalił jego dobra.
Podczas wojny siedmioletniej walczył po stronie Prus na terenie Czech i Śląska przeciwko wojskom Andrzeja Hadika. Po dezercji przeszedł na stronę polską i w Kamieniu pod Częstochową założył obóz dla swojej bandy i zaoferował swoje zbójeckie usługi Rosjanom. Banda napadała głównie na pruskie transporty żywności, których część oddawała rosyjskim wojskom, ale organizowała też najazdy na wsie i małe miasteczka Wielkopolski i Śląska.
Antoni Benedykt postanowił położyć kres poczynaniom syna – wszedł w porozumienie z Janem Klemensem Branickim i uzyskał zgodę króla na użycie wojsk koronnych przeciwko rozbójnikowi. Banda została rozbita 29 czerwca 1759 roku przez trzy regimenty koronnych, po zdobyciu Kamienia. Schwytanych rozbójników, po bardzo krótkim sądzie, powieszono w Krakowie, a samego Jerzego Marcina wydalono z wojska, pozbawiono stopnia wojskowego i odstawiono do Kamieńca Podolskiego z wyrokiem dożywocia, które dzięki interwencji ojca zamieniono na 15 lat. Początkowo osadzono go w więzieniu w Białymstoku, w 1760 przeniesiono go do twierdzy Munkacz, a w 1763 do więzienia w Budzie.