Zagrożony Zachariasz uciekł się do próby zabicia brata, ta jednak zakończyła się niepowodzeniem i Józefowi udało się uciec. Prześladowany przez brata zbiegł na tereny zajęte przez Arabów, gdzie liczył na pomoc. Nie wiadomo jak, ale wkrótce zatriumfował nad Zachariaszem, udało mu się objąć przywództwo i zjednoczyć paulicjan. Miejscowy, ortodoksyjny władca o imieniu Krichorakes, zainteresował się jednak działalnością paulicjan i zmusił Józefa i jego zwolenników do opuszczenia zamieszkiwanych przez nich ziem. Józef zmarł w Chorakopeum, które lokuje się w pobliżu pizydyjskiej Antiochii.
Prześladowania Po jego śmierci przywódcą został Baanes, ale szybko utracił znaczenie na rzecz Sergiusza, ponownie zatem doszło do rozłamu i tym razem nie był on krótkotrwały. Paulicjanie podzielili się na dwie frakcje: kynochorytów i astatian. Rodzina Sergiusza pochodziła z Ani, a on sam przyjął doktrynę paulicjan za namową kochanki. W okresie jego działalności sekta rozwinęła działalność misjonarską na szeroką skalę, zdobywając sobie licznych zwolenników. W międzyczasie, w Konstantynopolu, doszło do zmian, bardzo niekorzystnych dla różnych grup popierających ikonoklazm. W 797 roku, w wyniku spisku, do władzy doszła Irena, zwolenniczka kultu ikon.