W dreszczowcu ITC Entertainment Wyspa mew (The Secret Of Seagull Island, 1981) wystąpił jako tajemniczy David Malcolm.
Ostatni film z jego udziałem, Moll Flanders (1996), gdzie wcielił się w postać ojca artysty Jonathana Fieldinga, granego przez Johna Lyncha, miał premierę rok po jego śmierci.
Życie prywatne 24 maja 1958 roku poślubił swoją pierwszą żonę, aktorkę Annę Massey, córkę Raymonda Masseya. Rozwiedli się 22 listopada 1962 roku, ponieważ, jak twierdziła Anna, mąż zostawił ją dla mężczyzny. Ich syn, urodzony w 1959 roku David Huggins, jest uznanym rysownikiem, ilustratorem i pisarzem.
Brett był osobą biseksualną. Był związany z Garym Bondem (1969–1976) i Paulem Shenarem (1973-78).
22 listopada 1977 roku Brett ponownie wstąpił w związek małżeński. Jego żoną została Joan Sullivan Wilson, producentka wykonawcza w brytyjskiej telewizji publicznej. Małżeństwo zakończyło się 4 lipca 1985 roku wraz z jej śmiercią – zmarła na zdiagnozowanego rok wcześniej raka trzustki. Joan miała dwójkę dzieci z poprzednich związków: syna Caleba i córkę Rebekah, które Brett traktował jak własne.