6 lipca 1965 został mianowany biskupem koadiutorem Onitshy, ze stolicą tytularną Fissiana – był wówczas jednym z najmłodszych biskupów katolickich na świecie. Sakry biskupiej udzielił mu 29 sierpnia 1965 irlandzki arcybiskup metropolita Onitshy Carlo Heerey. W czerwcu 1967 Arinze zastąpił zmarłego Heereya na czele archidiecezji Onitsha. Brał udział w kolejnych sesjach Światowego Synodu Biskupów w Watykanie, m.in. w sesji specjalnej poświęconej Kościołowi afrykańskiemu (kwiecień-maj 1994, pełnił funkcję prezydenta-delegata i członka sekretariatu generalnego). W latach 1979–1984 był przewodniczącym Konferencji Episkopatu Nigerii, w 1982 został wybrany na afrykańskiego wiceprezydenta Zjednoczonych Towarzystw Biblijnych.
8 kwietnia 1984 został mianowany proprefektem Papieskiej Rady ds. Dialogu Międzyreligijnego i przeszedł do pracy w Kurii Rzymskiej. Złożył rezygnację z rządów archidiecezją Onitsha w marcu 1985, a 25 maja 1985 Jan Paweł II mianował go kardynałem, z diakonią San Giovanni della Pigna. Po nominacji kardynalskiej Arinze został pełnoprawnym przewodniczącym Papieskiej Rady ds. Dialogu Międzyreligijnego. Reprezentował papieża w charakterze specjalnego wysłannika na uroczystościach religijnych i rocznicowych, m.in.