W 1738 roku Thomas Bruce sprzedał posiadłość Johnowi Russellowi, księciu Bedford. W latach 1764–1767 zamieszkiwał ją syn nowego właściciela, Francis Russell, markiz Tavistock. W 1767 Francis Russell zmarł podczas polowania. Jego syn, Francis Russell książę Bedford oddał teren łowiecki w użytkowanie swemu sąsiadowi, zaś w 1794 roku porzucił posiadłość, pozbawiając ją mebli i dachu. Główne, bogato zdobione schody, zostały wówczas przeniesione do nowej siedziby księcia – Hotelu Swan w Bedford. Rezydencja stopniowo zaczęła popadać w ruinę. W 1804 roku pozostałości po rezydencji wraz z otaczającym ją terenem zakupił John Fitzpatrick, hrabia Upper Ossory. W 1877 roku dokonano częściowej rozbiórki wieżyczek będących w stanie grożącym zawaleniem.
W 1923 roku pozostałości po rezydencji zostały zakupione przez lokalny klub sztuk pięknych, z którego inicjatywy przeprowadzono ich wstępną rewitalizację. W 1935 roku pieczę nad Houghton House objął pierwszy komisarz ds. prac publicznych Wielkiej Brytanii. W 1938 roku rozpoczęły się prace renowacyjne. W 1972 roku Ministerstwo Środowiska wpisało budynek na listę zabytków klasy I. W 2006 roku przeprowadzona została kolejna renowacja. Obecnie pozostałościami po rezydencji zarządza organizacja English Heritage.