Wśród nich w pobliżu papieskiego zamku powstał Petit Palais (Mały Pałac), jako rezydencja kardynała Arnaud de Via, po jego śmierci służył biskupom awiniońskim. Znaczenie miasta podniósł fakt założenia w 1303 przez Bonifacego VIII uniwersytetu.
Avignon stał się nową siedzibą papieży od 1309 roku, kiedy Gascon Bertrand de Goth, jako papież Klemens V, ze względu na spór z kardynałami Rzymu i zamieszki w tymże mieście po jego wyborze w 1305 roku postanowił opuścić Wieczne Miasto. Wówczas to przeniósł kurię papieską do Avignonu. Wpierw Klemens V gościnnie rezydował w tamtejszym klasztorze Dominikanów. Wszakże Avignon został własnością Kurii dopiero w 1349, następca Klemensa V, Jan XXII podjął decyzję odbudowania i rozbudowy dawnego pałacu biskupiego. Nie doczekał się jednak pełnej realizacji tegoż przedsięwzięcia. Ostatecznie za pontyfikatu papieża Benedykta XII (lata 1334–1342) i jego następców do roku 1364 powstała monumentalna rezydencja obronna, położona na wschodnim brzegu Rodanu. Budowla powstała w dwóch zasadniczych fazach. Wpierw, w latach ok. 1334–1342 wzniesiono Palais Vieux (Stary Pałac), a następnie w latach 1342–1352 (pontyfikat Klemensa VI) powstał Palais Neuf (Nowy Pałac). Finansowanie prac budowlanych jest utrwalone w bogatym zbiorze dokumentów, które wspominają także o budowniczych m.in.