Ponieważ obowiązki dyplomatyczne przerastały możliwości młodego, niewykształconego kardynała, papież, w celu wyręczenia go od faktycznego wykonywania tych obowiązków, utworzył nowy, nominalnie podporządkowany mu urząd sekretarza stanu Stolicy Apostolskiej, na który mianował kardynała Girolamo Dandiniego. Kardynał wdał się także w skandalizujący związek z poetką Ersilią Cortese. Papież rozważał nawet przeniesienie go z powrotem do stanu świeckiego, lecz ostatecznie tego nie zrobił.

W 1559 w Nocera Umbra, zamordował dwóch mężczyzn, którzy źle się o nim wypowiedzieli. Rok później został aresztowany w Zamku św. Anioła, ale dzięki wstawiennictwu m.in. Kosmy Medyceusza, wyszedł na wolność jesienią 1561. Obiecał wówczas Piusowi IV zmienić swoje postępowanie, zapłacić 100 tys. skudów odszkodowania i zrzec się godności kardynalskiej w przypadku recydywy. Pius IV zadecydował wówczas o wygnaniu go do Tivoli i przydzieleniu mu dwóch jezuitów jako asystentów, mających pracować nad poprawą jego zachowania. W tym czasie dwukrotnie zmienił swoją tytularną diakonię (4 maja 1562 otrzymał diakonię S. Callisto, a 17 listopada 1564 S. Maria in Portico). Wziął udział w Konklawe 1565–1566, które wybrało papieża Piusa V.