Na tych stanowiskach pozostał do 1998 r., kiedy to otrzymał tekę ministra rolnictwa, rybołówstwa i żywności oraz został członkiem ścisłego gabinetu.
W 1998 roku Brown dokonał swojego coming outu na łamach News of the World, ujawniając, iż jest gejemBBC News | UK Politics | Gay minister speaks out.
Urzędowanie Browna w ministerstwie rolnictwa przypadło na okres licznych epidemii chorób zwierzęcych, aż po epidemię pryszczycy w 2001 r. Polityka rządu wobec tych problemów była często krytykowana, mimo iż Brown wprowadził wówczas liczne udogodnienia dla farmerów, przemysłu żywnościowego oraz weterynarzy. Po wyborach 2001 r. Brown został usunięty z resortu rolnictwa i został ministrem stanu ds. pracy w departamencie pracy i emerytur. W czerwcu 2003 r. został usunięty z rządu. Wiadomość o tym otrzymał podczas partyjnego spotkania z okazji 20-lecia jego pracy deputowanego.