Rządy kardynała Carafy w Państwie Kościelnym były bardzo brutalne i wywoływały powszechny sprzeciw, który w końcu zmusił papieża do interwencji. 27 stycznia 1559 został odwołany przez swojego wuja ze stanowiska legata w Bolonii i superintendenta Stolicy Apostolskiej i nie odzyskał już jego zaufania. Mimo to zachował spore wpływy wśród kardynałów nominowanych przez Pawła IV i po jego śmierci (18 sierpnia 1559) odegrał dużą rolę na konklawe 1559. Nowy papież Pius IV wszczął śledztwo w sprawie nadużyć popełnionych przez niego i innych członków rodu Carafa. 7 czerwca 1560 Carlo Carafa i kilku jego krewnych zostało aresztowanych i osadzonych w więzieniu w zamku św. Anioła. Powołano 8-osobową komisję kardynalską do zbadania zarzucanych im zbrodni i nadużyć. Carlo Carafa został uznany za winnego zarzucanych mu czynów, pozbawiony godności kardynalskiej i wszystkich posiadanych beneficjów i skazany na śmierć. Wyrok wykonano 4 marca 1561 roku w zamku św. Anioła. Trzech innych jego krewnych ścięto.