Żona Tarō Asō jest trzecią córką premiera Zenkō Suzukiego, a młodsza siostra, Nobuko – żoną księcia Tomohito, kuzyna cesarza Akihito.
Asō ukończył studia na Wydziale Polityki i Ekonomii Uniwersytetu Gakushūin. Następnie studiował w Stanach Zjednoczonych na Uniwersytecie Stanforda. Przerwał jednak studia na życzenie rodziny, obawiającej się, że ulegnie on wpływowi nadmiernej amerykanizacji. Powrócił do Japonii, po czym wyjechał ponownie, aby podjąć studia na Uniwersytecie Londyńskim.
Asō przez dwa lata pracował w Sierra Leone dla firmy wydobywającej diamenty, dopóki wojna domowa (patrz: Historia Sierra Leone) nie zmusiła go do powrotu do kraju.
W 1966 r. rozpoczął pracę w firmie ojca. W latach 1973–1979 był prezesem Asō Mining Company. Komentatorzy (np. Christopher Reed„Family Skeletons: Japan’s Foreign Minister and Forced Labor by Koreans and Allied POWs”.) podkreślają, że nie przeprosił on za wykorzystywanie przez jego firmę w czasie II wojny światowej pracy przymusowej.
Był członkiem japońskiej reprezentacji strzeleckiej na Letnich Igrzyskach Olimpijskich w Montrealu w 1976 r. oraz przewodniczącym organizacji Junior Chamber International w 1978 r.