Później zostały one włączone przez Rzymian do północno-afrykańskich prowincji Cesarstwa rzymskiego. Zostało ono zwasalizowane przez antyczny Rzym a jego mieszkańcy poddani zostali romanizacji, wzmacniając Imperium.

W V–VI wieku n.e. tereny zamieszkiwane przez Berberów stały się obiektem wędrówki ludów. Na terytorium dzisiejszej Tunezji osiedlili się Wandalowie, których resztki niewyniszczone przez bizantyjskiego wodza Belizariusza w VI wieku n.e. schroniły się w górach Dżabal al-Auras, wzmacniając istniejące tam skupiska ludności o silnym procencie jasnych oczu i włosów, określanych dzisiaj mianem Kabylów.

Do VII wieku większość Berberów wyznawała chrześcijaństwo lub politeizm. W VII wieku, po ekspansji arabskiej, zaczęło się to stopniowo zmieniać, gdyż większość ludności przyjęła islam, mimo prób oporu (utworzenie państwa Berghuata i założenie własnej religii przez Saliha ibn Tarifa). Pozostały jednakże wyraźne różnice w obyczajowości. Między innymi charakterystyczny stosunek do kobiet wyrażający się monogamią oraz prawem współdecydowania o ważniejszych sprawach rodziny wspólnie z mężem.