Po upadku powstania Thökölyego i zdobyciu przez cesarskie wojska twierdzy Munkacz dostał się wraz z matką i rodzeństwem do niewoli austriackiej. Oddany pod opiekę jezuitów, został wychowany w duchu katolickim. W 1700 r., po powrocie na Węgry, wspólnie z Miklósem Bercsényim rozpoczął przygotowywanie spisku antyhabsburskiego. Jednakże próba nawiązania kontaktu z królem Francji nie powiodła się, a listy spiskowców do niego przejęli austriaccy agenci i w 1701 r. Rakoczy został uwięziony. Przed wyrokiem śmierci uratowała go żona, księżniczka Karolina heska, organizując mu ucieczkę z więzienia w Wiener Neustadt. W ślad za Bercsényim zbiegł do Polski, gdzie podjął rozmowy z polskimi magnatami i posłami francuskimi. Po wybuchu powstania chłopskiego na północy Węgier, w 1703 zgodził się stanąć na jego czele.
Jeszcze z terenu Polski Rakoczy wydał odezwę „do wszystkich prawdziwych Węgrów (…) szlachciców i nieszlachciców”, wzywając ich do walki „Cum Deo pro Patria et Libertate”. 14 czerwca 1703 r., witany przez rebelianckich chłopów, przekroczył granicę w Karpatach. W krótkim czasie jego wojska opanowały niemal cały Siedmiogród i Górne Węgry.