Ostatecznie biskup Kaczmarek został skazany na 12 lat więzienia, a kilku z sądzonych z nim duchownych na wyrok dożywocia. Biskupa Kaczmarka zwolniono na mocy amnestii w 1957 i wtedy po raz kolejny posłużono się dziennikiem Świderskiego tzw. Zielonym Zeszytem w ataku na biskupa. W 1960 UB rozesłało go do wszystkich księży diecezjalnych, a nawet do samego biskupa. W dzienniku Świderskiego znajdowały się opisy rzekomych wyczynów miłosnych biskupa, w tym schadzek z zakonnicą, opisy kupowania stanowisk, nadużyć finansowych i wewnętrznej polityki kurii. W reakcji na pomówienia biskup wysłał do papieża Jana XXIII list z rezygnacją, której papież nie przyjął. Następstwem tej sprawy było jednak polecenie nuncjusza apostolskiego wystosowane do Episkopatu Polski o zajęcie się sprawą ks. Świderskiego. Ostatecznie w styczniu 1961 ks. Leonard Świderski został zawieszony, a następnie ekskomunikowany (do tego momentu pracował w parafii w Nawarzycach).
Po objęciu ekskomuniką do Nawarzyc przyjechały ciężarówki Korpusu Bezpieczeństwa Wewnętrznego z żołnierzami, którzy pomogli byłemu księdzu w przeprowadzce. Otrzymał on od władz poniemiecką willę we wsi Przesieka koło Jeleniej Góry.