Następnie, w 1790 roku, król mianował go generałem lejtnantem.

W czasie wojny polsko-rosyjskiej 1792 okazał się zdrajcą, zależnym od spokrewnionych z nim obcych dworów, umyślnie zaniedbując przygotowania do walki pod pozorem ciężkiej choroby – pomiędzy atakami febry miały mu dolegać 30-godzinne konwulsje i dreszcze. W ręce polskie w Łomży dostała się jego korespondencja z Prusakami, w której pisał, że jego niedyspozycja jest udawana, a on sam nie będzie stawiał oporu uderzającej na Rzeczpospolitą armii rosyjskiej. Po ujawnieniu tej korespondencji ozdrowiały książę ruszył od razu do swoich obowiązków względem korpusu litewskiego, jednak 1 czerwca 1792 r. został zdymisjonowany. Na wieść o jego zdradzie Maria Czartoryska przysłała mu list rozwodowy.

Para miała jednego syna księcia Adama Wirtemberskiego (1792–1847).

28 stycznia 1797 roku ożenił się ponownie z Henriettą z Nassau-Weilburg, a w 1798 r. kupił majątek w Wolanach w hrabstwie kłodzkim, gdzie zamieszkał w pałacu, zbudowanym przez feldmarszałka Georga Oliviera Wallisa.