W czasie drugiego zamachu stanu Abd as-Salama Arifa poparł go przeciwko działaczom Baas i w listopadzie 1963 został premierem Iraku. Urząd premiera sprawował do września 1965. Prowadził rozmowy pokojowe z przywódcami powstania Kurdów Zdymisjonowany 3 września 1965, gdy utracił poparcie rządzących krajem wojskowych dla swojego gabinetu. Jako pretekst wykorzystano konflikt wewnętrzny w rządzie po nieudanych negocjacjach z Iraqi Petroleum Company. Wpływ na upadek rządu miało również wyjście z niego sześciu ministrów-naserystów.
W maju 1967 mianowany wicepremierem, Jahja został premierem po raz drugi po wojnie sześciodniowej, klęsce Arabów, która w polityce wewnętrznej Iraku przyczyniła się do wzrostu niechęci do rządu. Wbrew prowadzonej wcześniej agresywnej retoryce antyizraelskiej i panarabskiej Irak skierował bowiem do walki jedynie minimalne siły. Będąc po raz drugi szefem rządu (jak również ministrem spraw wewnętrznych) Jahja zmienił kierunek polityki zagranicznej Iraku na radykalnie antyzachodni (wcześniej w stosunkach kraju z państwami zachodnioeuropejskimi nastąpiła pewna poprawa), zerwał stosunki dyplomatyczne z USA i Wielką Brytanią, podpisał nowy kontrakt na eksploatację złóż naftowych z konsorcjum francuskim, zapowiedział dalsze zacieśnianie współpracy ze Związkiem Radzieckim.