Jednak został zmuszony do ucieczki, Henryk IV w maju tego roku pozbawił go tytułu księcia Bawarii i sam objął tam rządy, a jego stronnicy spustoszyli także szwabskie dobra Welfa.
Mimo utraty Bawarii Welf pozostawał aktywnym i znaczącym przedstawicielem opozycji antykrólewskiej. Uczestniczył w wojnie prowadzonej ze stronnikami Henryka w południowych Niemczech (m.in. trzykrotnie zdobywał Augsburg), blokował przejście króla przez przełęcze alpejskie. Po śmierci Rudolfa był rozważany jako papieski kandydat do tronu niemieckiego; antykrólem został Herman z Salm, którego Welf wspierał. Związki Welfa z papieżem umocniło małżeństwo syna Welfa, Welfa II (V) z Matyldą, margrabiną Toskanii i Canossy. Jednak w połowie lat 90. XI w. to małżeństwo się rozpadło, a Welf dzięki pośrednictwu swego ojca pogodził się z Henrykiem IV, dzięki czemu w 1096 odzyskał księstwo Bawarii. Po śmierci ojca próbował przejąć dobra rodowe w Italii, czemu sprzeciwili się jego bracia przyrodni Hugon i Fulko. Powiększał swoje posiadłości w południowych Niemczech.