Alfons V poczuł się władcą Neapolu jeszcze za życia Joanny. Aragończyk rozkazał uwięzić Sergianniego (1423), następnie otoczył wojskiem siedzibę Joanny – Castel Capuano. Po czasie doszło do porozumienia między Joanną a Alfonsem, do czego wydatnie przyczyniło się powstanie mieszkańców Neapolu, oburzonych zachowaniem aragońskich żołdaków. Joanna i Sergianni zyskali wolność, następnie królowa nieoczekiwanie opuściła Neapol i spotkała się z Ludwikiem III Anjou w miejscowości Aversa. Tutaj, za pozwoleniem papieża, Joanna ogłosiła, że adopcja Alfonsa nie ma mocy prawnej, za to adoptowała Ludwika III, który został jej następcą. Alfons musiał powrócić do Aragonii, a królowa w kwietniu 1424 triumfalnie wjechała do Neapolu.
Jednak Aragończyk nie zamierzał rezygnować i Joanna w kolejnych latach podjęła z Alfonsem pertraktacje, proponując mu dziedziczenie tronu, w zamian zaś chciała zyskać zobowiązania króla, że do czasu jej śmierci nie będzie zbrojnie interweniował w Neapolu.
Następne lata to wzrost potęgi Sergianniego, co wywołało niepokój samej królowej.