Po upadku Cesarstwa rzymskiego Agrigentum ulegało najazdom barbarzyńców. Między 429 a 440 kilkakrotnie najeżdżali go Wandalowie. W 490 pojawili się Ostrogoci Teodoryka. Wypędziła ich armia cesarstwa Bizancjum w 535 pod dowództwem Belizariusza. Goci wrócili jeszcze raz w 538 pod wodzą Totilasa, ale ostatecznie miasto zostało podporządkowane Bizancjum.
W 828 miasto zajęli Arabowie. Po klęsce pod Katanią wycofali się, ale powrócili w 840. Miasto nazwane przez nich Kerkent (lub Gergent) zostało zajęte przez plemię berberyjskie, które je ufortyfikowało, zamieniając w swój najważniejszy ośrodek. W 1087 Normanowie Rogera I opanowali Sycylię, przy czym Agrigento było jednym z ostatnich miast, które się im poddało. Nadano mu przy tym nową nazwę: Girgenti.
Nazwa Girgenti przetrwała aż do 1927, kiedy Mussolini zdecydował się przywrócić włoskim miastom nazwy, pod którymi były znane w cesarstwie rzymskim. Wtedy miastu Girgenti nadano nazwę Agrigento.
Z Akragas pochodził starożytny filozof Empedokles;