W 1146 roku św. Bernard wygłosił w Vézelay kazanie, które przyczyniło się do zorganizowania II wyprawy krzyżowej. W 1190 roku wyruszyły stąd na III wyprawę krzyżową połączone armie Filipa II Augusta i Ryszarda Lwie Serce. Okres świetności opactwa trwał do połowy XIII wieku, liczyło ono wówczas około 800 mnichów.
W 1260 roku zaczęto kwestionować autentyczność znajdujących się w klasztorze relikwii, ostatecznie w 1279 roku ogłoszono, że prawdziwe relikwie Marii Magdaleny znajdują się w Saint-Maximin-la-Sainte-Baume w Prowansji. W rezultacie gwałtownie spadła liczba pielgrzymujących do Vézelay, a opactwo zaczęło tracić na znaczeniu. Swoje piętno odcisnęła także wojna stuletnia.
W 1547 roku decyzją papieża Paweł III dokonano sekularyzacji klasztoru – miejsce mnichów zajęło kolegium 15 kanoników świeckich pod zwierzchnictwem opata wybieranego przez króla. W 1569 roku budowla została splądrowana przez hugenotów. W drugiej połowie XVIII wieku kolegium kanoników zostało rozwiązane, a bazylikę zdegradowano do rangi kościoła parafialnego. Wyburzone zostały wówczas pozostałe budynki należące do byłego kompleksu klasztornego. W 1793 roku, podczas rewolucji francuskiej, zniszczone zostały posągi w portalach.