Aresztowany z powodu podejrzenia o zdradę, został uwięziony na siedem miesięcy, a następnie deportowany. W 1780 powrócił do Anglii, by kontynuować studia. W tym czasie namalował Bitwę pod Bunker Hill (1786) i Śmierć generała Montgomery w Quebec (1788). W 1785 wyjechał do Paryża, następnie przez 10 lat przebywał w Londynie w charakterze sekretarza Johna Jaya, był jednym z komisarzy wprowadzających w życie tzw. traktat Jaya. Do Ameryki na stałe powrócił dopiero w 1816. Otrzymał wówczas duże zlecenie od Kongresu na wielkie płótna zdobiące rotundę Kapitolu.
W latach 1816–1825 był prezesem American Academy of Fine Arts, jednak jego dyktatorskie zapędy i brak zrozumienia potrzeb studentów doprowadziły do upadku Akademii i powstania National Academy of DesignC. E. Goodspeed & Co. – A History of the Rise and Progress of the Arts of Design in the United States (Vol 3). Miał duże zasługi dla powstania muzealnictwa w Stanach Zjednoczonych: założył Galerię Sztuki Uniwersytetu Yale.