dzięki opiece stryja, Stanisława Augusta Poniatowskiego (z którym był blisko związany aż do śmierci króla), uniknął wynarodowienia. Matka była damą dworu Marii Teresy, a sama cesarzowa została matką chrzestną starszej siostry Józefa, której na cześć władczyni dano imiona Maria Teresa. W kosmopolitycznym świecie przedrewolucyjnej arystokracji z własną matką rozmawiał po francusku, a z rodziną ojca i służbą po polsku – tymi językami posługiwał się swobodnie, jak i niemieckim. Już jako młodzieniec spędzał sporo czasu w Warszawie ze stryjem królem Stanisławem, którego potem reprezentował oficjalnie na pogrzebie Marii Teresy. Ze Stanisławem Augustem i biskupem-historykiem Adamem Naruszewiczem odbył w roku 1787 podróż do Kaniowa, gdzie król przez miesiąc czekał na bezowocne spotkanie z carycą Katarzyną II.
Młody Józef (zgodnie z własnymi predylekcjami) od dziecka szkolony był z myślą o służbie wojskowej, chociaż książę Pepi (jak go nazywano) uczył się również np. gry na instrumentach klawiszowych – przenośny instrument towarzyszył mu nawet w czasie wypraw wojennych. Jak ojciec (który umarł, gdy Józef miał 10 lat), wstąpił do wojska austriackiego, gdzie w 1780 został porucznikiem, a w 1788 doszedł do stopnia pułkownika i został adiutantem cesarza Józefa II.