Poza nauką pod kierunkiem Seidlhofera pobierał lekcje kontrapunktu i kompozycji u Alfreda Uhla. W 1949 roku zdał pierwszy egzamin państwowy, i został finalistą w Międzynarodowym Konkursie Muzycznym w Genewie w 1950 roku. Po zdaniu egzaminu dyplomowego z fortepianu w 1951 roku Graf zadebiutował w tym samym roku jako solista w wiedeńskim Konzerthaus. W kolejnych latach zagrał wiele koncertów: w 1952 na Czwartym Międzynarodowym Konkursie Muzycznym im. Królowej Elżbiety Belgijskiej w Brukseli, w 1953 w pierwszym Międzynarodowym Konkursie Muzycznym ARD w Monachium (International ARD Music Competition in Munich), w 1954 powtórnie brał udział w Międzynarodowym Konkursie Muzycznym w Genewie, gdzie zajął drugie miejsce, i znowu w Brukseli w 1956 roku w Międzynarodowym Konkursie Muzycznym im. Królowej Elżbiety Belgijskiej, gdzie został jednym z finalistów obok Władimira Aszkenaziego, Lazara Bermana, Andrzeja Czajkowskiego, Johna Browninga i Tamása Vásáry. W międzyczasie Graf poślubił w 1953 roku brazylijską pianistkę Carmen Vitis Adnet. W 1955 roku zamieszkał z nią w Rio de Janeiro, gdzie ich córki Beatriz i Clarissa urodziły się w 1955 i 1958 roku. W 1957 roku został wraz z Hans-Joachimem Koellreutterem i innymi założycielem Seminários de Música Pro-Arte do Rio de Janeiro.