Rodzina 20 maja 1782 r. w Gretna Green poślubił Sarah Anne Child (28 sierpnia 1764 – 9 listopada 1793), jedyną córkę i dziedziczkę bankiera Roberta Childa i Sarah Jodrell, córki Gilberta Jodrella. Child był przeciwny temu małżeństwu i wydziedziczył córkę i jej męskich potomków, cały swój majątek przekazując swoim wnuczkom, aby Fane’owie nie przejęli jego fortuny. John i Sarah mieli razem syna i cztery córki: John Fane (2 lutego 1784 – 16 października 1859), 11. hrabia Westmorland Sarah Sophia Fane (4 marca 1785 – 26 stycznia 1867), żona George’a Childa-Villiersa, 5. hrabiego Jersey, miała dzieci Augusta Fane (17 marca 1786 – 20 listopada 1871), żona Johna Parkera, 1. hrabiego Morley, i Arthura Pageta, miała dzieci Maria Fane (11 maja 1787 – 19 marca 1834), żona Johna Ponsonby’ego, 4. hrabiego Bessborough, miała dzieci Charlotte Fane (25 sierpnia 1793 – 24 marca 1822)
24 marca 1800 r. w Wimbledonie poślubił Jane Saunders (ok. 1780 – 26 marca 1857), córkę Richarda Saundersa i Jane Kinsey, z którą po kilku latach znalazł się w separacji.