Chciał zdobyć duży złoty medal, która zapewniał sześcioletnie stypendium na staż w Rzymie. W lutym 1886 roku Jan powrócił do Kamieńca Podolskiego. Tutaj spędził ostatnie dni swojego życia. Artysta zmarł 17 grudnia 1886 roku, mając zaledwie 26 lat. W pogrzebie wzięła udział „cała polska inteligencja", śpiewał chór amatorski, trumnę nieśli szkolni koledzy, a za nią na poduszkach młodzież niosła zdobyte medale.
Spuścizna Po jego śmierci zachowało się około 200 jego dzieł. Ojciec Jana, Michał Graham, zorganizował we własnym domu muzeum, w którym eksponowano prace jego syna, ale los tych obrazów jest nieznany. Niektóre źródła podają, że duża kolekcja dzieł Jana Grahama (obrazy, liczne portrety, akwarele, rysunki ołówkiem) jest przechowywana w Muzeum Narodowym w Krakowie, ale kwerenda przeprowadzona przez ukraińską badaczkę Nataliję Ursu wykazała, że w zbiorach odnaleziono tylko rysunek ołówkiem Iwan Groźny (1880) o rozmiarze 32,5 x 47,5 cm. Podarował go muzeum Karol Rolle. W Państwowym Muzeum Historycznym w Kamieńcu Podolskim zachowało się 8 jego rysunków. We Lwowskiej Galerii Sztuki zachowały się dwa obrazy olejne i dwie akwarele oraz album z rysunkami z 1884 roku, 5 rysunków z dzieciństwa i zestaw 38 rysunków z lat 1872-1885 (z autoportretem z 1881 roku).