Zwiększyło to jeszcze niezadowolenie leningradzkich wiernych, a sam Józef uznał polecenie metropolity Sergiusza za wyjątkowo niesprawiedliwe. Uważał, że o jego decyzji przesądziło oczernianie Józefa przez niechętnych mu duchownych z Leningradu, przede wszystkim biskupa Mikołaja (Jaruszewicza). Początkowo metropolita starał się przekonać Sergiusza do zmiany decyzji, następnie jednak zmienił ton i oskarżył go o doprowadzenie do sytuacji, w której najwyższe organy cerkiewne były całkowicie posłuszne państwu. Równocześnie odwołał się od ukazu Sergiusza. Kiedy ten potwierdził pierwotną decyzję, Józef oznajmił, iż nie ma zamiaru się jej podporządkowaćM. Szkarowski, Mitropolit Josif (Pietrowych) i josiflanskoje dwiżenije.
W grudniu 1927 delegacja duchowieństwa i wiernych leningradzkich, popierających metropolitę Józefa, spotkała się z metropolitą Sergiuszem. Ten jednak ponownie odmówił pozostawienia Józefa na dotychczasowej katedrze. Kilka dni po tej rozmowie dwaj wikariusze eparchii leningradzkiej, biskup gdowski Dymitr (Lubimow) oraz biskup narewski Sergiusz (Drużynin) ogłosili zerwanie łączności kanonicznej z metropolitą Sergiuszem. Metropolita Józef pobłogosławił ich decyzję i kilkakrotnie publicznie wypowiadał się o niej pozytywnie. Sam pozostawał w łączności z metropolitą Sergiuszem do lutego 1928.