Po śmierci ojca w 1710 r. odziedziczył tytuł hrabiego Berkeley i został mianowany Wysokim Stewardem Gloucester, strażnikiem lasu Dean, konstablem St. Briavel's Castle, Custos Rotulorum hrabstwa Surrey i lordem namiestnikiem Gloucestershire. Urzędy te sprawował do 1712 r., kiedy utracił je wskutek nieporozumień z królową Anną. Otrzymał je ponownie w 1714 r. i sprawował je aż do śmierci. Miało to miejsce po objęciu tronu przez Jerzego I Hanowerskiego, który również w 1714 r. mianował lorda Berkeleya Lordem Bedchamberem.
13 lutego 1711 r. poślubił lady Louisę Lennox (24 grudnia 1694 - 15 stycznia 1717), córkę Charlesa Lennoxa, 1. księcia Richmond (nieślubnego syna króla Karola II Stuarta) i Anne Brudenell, córki Francisa Brudenella, lorda Brudenell. James i Louisa mieli razem syna i córkę: Augustus Berkeley (18 lutego 1716 - 9 stycznia 1755), 4. hrabia Berkeley Elizabeth Berkeley (ur. przed 1717)