pierwszym takim zarządcą był Alexander Seton, lord Urquhardt. W 1594 r. Opactwo zostało sprzedane rodzinie Mackenzie. W 1662 r. stało się własnością rodziny Brodies, potem rodziny Duff, aby ostatecznie wejść w skład posiadłości hrabiów Fife. Właściciele dawnego Opactwa nosili tytuł „opatów świeckich”.
Powoli budynki Opactwa popadały w ruinę, chociaż były skrycie wykorzystywane do (nielegalnych wówczas) nabożeństw katolickich. W XVII wieku rozebrano część budowli, a pozyskany materiał budowlany wykorzystano m.in. do budowy protestanckiego kościoła w Elgin. Kościół Opactwa w XVIII wieku służył nadal jako miejsce pochówku dla miejscowej szlachty.
Odbudowa W 1897 r. John Crichton-Stuart, III markiz Bute, stał się właścicielem ruin Opactwa. Wcześniej, w 1868 r. przyjął on katolicyzm (co było ogromnym skandalem w tamtej epoce) i stał się nieformalnym przywódcą katolickiej arystokracji w Wielkiej Brytanii. Jego najmłodszy syn lord Colum Crichton-Stuart podarował w 1943 r. Opactwo Pluscarden benedyktynom z Prinknash. Dzięki pomocy lorda Crichton-Stuarta, benedyktyni rozpoczęli odbudowę Opactwa i w 1948 r. zamieszkali tam. W 1955 r. odbudowano częściowo kościół klasztorny.