W 1869 postanowił przenieść się do Paryża i tam ukończyć swoje studia. W grudniu 1869 przeszedł jednak załamanie nerwowe i trafił do paryskiego zakładu dla chorych umysłowo. W marcu 1870, z pomocą przyjaciół, powrócił do Niemiec, jednak resztę życia spędził głównie w zakładach psychiatrycznych. W okresach remisji choroby brał udział w konkursach szachowych; w 1870 w Baden-Baden był trzeci (pokonał Adolfa Anderssena 2:0). Po raz ostatni grał w 1872 w Altonie, zdobywając drugą nagrodę. Zmarł w wieku 42 lat w Allenbergu koło Wehlau w Prusach Wschodnich. Nie założył rodziny. Do śmierci opiekował się nim młodszy brat Carl Friedrich (1841-1928)British Chess Magazine 105, s. 318.
Przyczyny choroby umysłowej Gustava upatrywano w wypadku w drukarni ojca, któremu uległ w dzieciństwie. Rodzina obwiniała o przyczynienie się do choroby grę w szachy, i po śmierci w gliwickiej rodzinie Neumannów zarzucono tę grę. Neumann był wspominany jako wyjątkowo sympatyczny i miły w obejściu człowiek, ale z zawsze poważnym wyrazem twarzy.
Według retrospektywnego systemu Chessmetrics, najwyżej sklasyfikowany był w grudniu 1868 r., zajmował wówczas 1. miejsce na świecie.