Kolejną wybranką Józefa Marii była Ida Jäger (1847–1916), córka stomatologa z Linzu, sopranistka Carl-Theater w Wiedniu, Opery Nadwornej w Wirtembergii, opery w Pradze, gwiazda scen w Berlinie i Stuttgarcie. Ślub zawarli 29 lipca 1881 w Zürichu, po narodzinach (5 lipca) ich jedynej córki Idy Róży (1881–1934). Małżeństwo nie było zgodne i po kilku latach doszło do separacji związku. Pierwszą znaną kochanką księcia była pochodząca z Pesztu Luiza Vecseghy (ok. 1854–1891). Poznał ją podczas pobytu w zakładzie psychiatrycznym w Döbling (od 1883), skąd pomogła mu uciec w 1889. Wielka miłość została przerwana śmiercią ukochanej po wypadku nad Jeziorem Zuryskim w Szwajcarii. Później, według niepotwierdzonych źródeł, Sułkowski miał mieć jeszcze jedną kochankę, niejaką Annę Huber (1859–1922), która była służącą na zamku Feistritz. Z tego związku miało przyjść na świat dwóch jej synów, Peter (1894) i Franz (1898). Mimo planów książę nie naturalizował chłopców ze względów proceduralnych, którzy otrzymali nazwisko Mönichweger, po późniejszym mężu Anny.
Majątek magnacki i jego kres