Kardynałowie po kolei dochodzili do wniosku, że papież oszalał i trzeba szybko znaleźć sposób na odsunięcie go od rządów. Kardynałowie francuscy zgromadzili się w Anagni, a następnie w Fondi na terytorium królestwa Neapolu, gdzie 2 sierpnia wydali odezwę do świata chrześcijańskiego, stwierdzającą, że podczas kwietniowego konklawe nie mieli zagwarantowanej swobody wyboru, stąd ówczesny werdykt należy uznać za nieważny. 9 sierpnia powtórzyli te twierdzenia i wezwali Urbana VI do ustąpienia. Wkrótce dołączyli do nich także trzej kardynałowie włoscy, którzy próbowali podjąć mediację, a wobec braku woli kompromisu ze strony Urbana VI przyjęli postawę wyczekującą. 18 września kardynałowie otrzymali list od króla Francji Karola V, w którym ten wzywał ich do szybkiego przeprowadzenia konklawe i wybrania nowego papieża. Inicjatywę tę wsparła królowa Neapolu Joanna I Andegaweńska, a także arcybiskup Arles Pierre du Cros, pełniący ważny urząd kamerlinga Świętego Kościoła Rzymskiego.