Jozef Viktor Rohon ukończył szkołę w Ödenburgu 30 stycznia 1865 roku, 14 października 1867 podjął studia na wydziale teologicznym Uniwersytetu w Wiedniu, jednak po dwóch latach zmienił kierunek i od 1871 studiował medycynę. Po dziesięciu semestrach przerwał studia; jego dysertacja została wydrukowana w Monachium w 1884 roku. 1 sierpnia 1884 Rohon otrzymał tytuł doktora magna cum laude, jednak z powodu intryg współpracowników, głównie Karla Langera von Edenberga, nie dostał posady na uczelni.
Następnie był asystentem Karla Alfreda Zittla i później docentem paleontologii. W 1888 roku wyjechał do Sankt Petersburga, gdzie pracował naukowo jako paleontolog do co najmniej 1895 roku. Od 1896 lub 1897 roku w Pradze. Tam kierował Instytutem Histologiczno-Embriologicznym przy Uniwersytecie Karola Ferdynanda.
Z żoną Boženą miał pięcioro dzieci.
Dorobek naukowy Zajmował się neuroanatomią ryb, lancetnika i człowieka (1877–1887), po 1887 poświęcił się paleontologii, opisując konodonty i paleozoiczne ryby.
W 1884 roku opisał w rdzeniu kręgowym ryb komórki, znane dziś jako komórki Rohona-Bearda. Ten typ neuronów w 1889 roku opisał również u ryb Beard, a Burckhardt u płazów.