Jakub Wiktor był dwukrotnie żonaty. Jego pierwszą żoną od 1845 była Wincenta (wzgl. Wincentyna) z domu Zatorska herbu Ślepowron (1824-1847, właścicielka majątków Załuż i Wujskie pod Sanokiem), z którą miał syna Adama (1847-1907). Drugą żoną została w 1858 siostra przyrodnia pierwszej żony, Anna Leopoldyna (1820-1898, właściciela majątku Wańkowa), a ich dziećmi byli: Maria Scholastyka (1854-1940, żona Franciszka Rozwadowskiego, po ojcu spadkobierczyni majątku Wańkowa), Władysław Jan Duklan (ur. 1855, podporucznik w rezerwie ułanów), Zofia (ur. 1865, po mężu Nikorowicz). Nieślubnym dzieckiem Jakuba Wiktora i Wincenty Jasińskiej (1848–1924W parafialnej księdze zmarłych została wskazana jako Wincenta Didur, żona Antoniego, z domu Jasińska, zmarła 28 czerwca 1924 w Posadzie Olchowskiej w wieku 77 lat. )) był Adam Didur (1874-1946), światowej sławy śpiewak.
Na początku lipca 1887 odwiózł żonę do uzdrowiska Marienbad, po czym sam zmierzał do sanatorium w Karlsbad. W drodze zachorował, stracił przytomność i zmarł w Karlsbadzie 10 lipca 1887.