Przez następne 6 lat klub występował na zapleczu ekstraklasy. W 1979 i 1980 roku Olympique zajmował 2. miejsce w Division 2, ale przegrał baraże o pierwszą ligę z RC Lens i Lyonem. W 1981 klub spadł do Division 3, a w 1983 do Division 4. Po roku Avignon powrócił do trzeciej ligi, a w 1989 do drugiej ligi. W 1991 roku klub na skutek problemów finansowych został zdegradowany do Division 3, a w 1992 klub spadł do Division 4. W 1992 roku Olympique Avignon połączył się ze Sporting Club Avignonnais tworząc klub o nazwie Club Olympique Avignonnais.
W kolejnych klub podupadał sportowo, jak i finansowo. W 1998 roku klub zbankrutował i konsekwencji czego został powołany klub Football Club Avignon. Avignon występował w rozgrywkach Promotion d’Honneur(ósma klasa rozgrywkowa). W kolejnych latach Avignon awansował do VI ligi (Division Honneur Méditerranée). W międzyczasie doszło do kolejnej nazwy klubu na Avignon Foot 84. W 2010 roku na skutek problemów finansowych Avignon zmienił nazwę na Avenir Club Avignonnais. Klub po raz kolejny wówczas został zdegradowany do ligi District Rhône-Durance (XI liga).