Wczesne lata życia i początki kariery politycznej Ojciec przyszłego gubernatora, lord Dalhousie, miał trzech synów, ale dwóch najstarszych zmarło w młodym wieku. James odziedziczył po ojcu energiczne usposobienie, a po matce głęboką religijność. Młody Ramsay był niewielkiego wzrostu, posiadał wydatne usta i wysokie czoło. Wczesne lata życia spędził w Kanadzie, gdzie jego ojciec był gubernatorem generalnym. Po powrocie do Szkocji w 1825 r. rozpoczął naukę w Harrow School. Po dwóch latach został usunięty ze szkoły. Jego edukacją miał od tamtej pory zajmować się wielebny Temple, duchowny ze Staffordshire.
W październiku 1829 r. Ramsay rozpoczął studia w Christ Church na Uniwersytecie w Oksfordzie. Był dobrym studentem. Uzyskał tam tytuł magistra sztuk. Podczas studiów, w 1832 r., zmarł starszy brat Jamesa. Ten odziedziczył wówczas tytuł lorda Ramsay, przysługujący dziedzicowi tytułu hrabiego Dalhousie. W 1833 r. Ramsay ukończył studia i wyruszył w podróż po Europie, odwiedzając m.in. Włochy i Szwajcarię.