W czasie Stu Dni Józef powrócił do Paryża, został mianowany członkiem Izby Parów i, po wyjeździe Napoleona na front, prezesem Rady Ministrów. Po klęsce pod Waterloo Józef przyłączył się do brata w Rochefort i zaproponował mu wspólną ucieczkę do USA na wynajętym przez siebie amerykańskim żaglowcu. Napoleon odmówił (sądził, że uzyska azyl w W. Brytanii) i Józef, załadowawszy statek po brzegi najdroższymi koniakami i szampanami, udał się sam do Ameryki, przybywając do Nowego Jorku 20 sierpnia 1815. Żona Julia i córki pozostały w Brukseli, rodzina zobaczyła się znowu prawie 30 lat później.
Na emigracji Sprzedaż koniaków i szampanów przyniosła duże zyski. Bonaparte, przybrawszy miano hrabiego de Survilliers, postanowił zająć się rolnictwem i hodowlą bydła i zakupił fermę Point Breeze nad brzegiem rzeki Delaware. Gdy mógł się oderwać od swych zajęć jako rolnik, pisał pamiętniki i przyjmował różnych gości, głównie z Francji.