Po przegranej bitwie pod Los Arapiles (22 lipca 1812) i ostatecznym utraceniu Madrytu Józef myślał o zrzeczeniu się korony, ale wytrwał jeszcze rok. Po bitwie pod Vitoria (21 czerwca 1813), w której Wellington zadał Francuzom klęskę, cała Hiszpania została stracona; Józef schronił się we Francji, wywożąc hiszpańskie klejnoty koronne i wielkie zbiory sztuki. 7 stycznia 1814 roku podpisał akt abdykacji.
Upadek I Cesarstwa i 100 dni Napoleona W czasie walk o Francję roku 1814 Napoleon mianował Józefa wiceregentem i komendantem paryskiej Gwardii Narodowej. Józef ogłosił wprawdzie proklamację, że pozostanie w stolicy w razie ewentualnego oblężenia, niemniej jednak opuścił miasto 30 marca 1814 r. wraz z cesarzową Marią Luizą, upoważniając marszałków do kapitulacji. Towarzyszył cesarzowej i jej synowi do Blois, po czym, po abdykacji brata, schronił się w Prangins (do dziś dnia posiadłość Bonapartych) w Szwajcarii.