W 1808 Francisco towarzyszył królowi Ferdynandowi VII w podróży do Bajonny na spotkanie z Napoleonem, w wyniku którego hiszpańscy monarchowie zostali odsunięci od tronu. Następnie złożył przysięgę na wierność Józefowi I Bonaparte, aby miesiąc później po klęsce Francuzów pod Bailén opowiedzieć się przeciwko niemu. Uciekł do Hiszpanii w przebraniu kleryka. Napoleon ogłosił go zdrajcą i wrogiem Hiszpanii i Francji, co wiązało się z konfiskatą majątku i wyrokiem śmierci. W czasie wojny wyzwoleńczej toczonej przeciwko Francuzom przeniósł się z rodziną ze stolicy do Kadyksu, gdzie poparł konstytucję. Z tego powodu popadł w konflikt z matką, zaogniony dodatkowo przez sprawy spadkowe po śmierci księcia Osuny w 1807. Po przywróceniu monarchii absolutnej Ferdynanda VII poparł nowego króla i odzyskał majątek, ale już w 1816 został pozbawiony stanowiska, odmówiono mu także pozwolenia na opuszczenie Madrytu, o które ubiegał się ze względu na zły stan zdrowia. Ostatecznie wyjechał do Pozuelo de Alarcón, gdzie zmarł w 1820.