Po powrocie w rejon Kioto Kiyomori wezwał przeciwnika do kapitulacji. W międzyczasie pozyskał sobie przychylność uwięzionego Go-Shirakawy oraz jego syna Nijō. Atak rozpoczął najstarszy syn Kiyomoriego – Shigemori Taira, który na czele 3000 konnych wojowników podjął szturm na pałac cesarski, gdzie bronili się Yoshitomo i Nobuyori. Widok nadciągającego przeciwnika wyraźnie przestraszył Nobuyoriego, który uciekł z pałacu. Odwagą popisał się za to Yoshihira najstarszy syn Yoshitomo, który bronił się dzielnie, wypierając wroga z rejonu pałacu cesarskiego.
Po nieudanym ataku Taira wycofali się. Wówczas to Minamoto ufni w swoje siły opuścili pałac, ścigając uchodzącego przeciwnika. Był to błąd, gdyż pozbawiony obrony pałac szybko dostał się w ręce kolejnych oddziałów rodu Taira. W tej sytuacji oddziały Minamoto zostały odcięte od miasta. Nie mogąc wrócić do pałacu wyruszyli w rejon Rokuhary, gdzie zaatakowali bazę Kiyomoriego. Doszło tam do gwałtownej bitwy zakończonej odwrotem sił Minamoto. W walkach z Tairami polegli obaj najstarsi synowie Yoshitomo oraz sam Nobuyori. Go-Shirakawa został uwolniony. Yoshitomo udało się zbiec z Kioto. W trakcie ucieczki został on jednak zdradzony przez jednego ze swoich ludzi i zabity.