Gabriel był najinteligentniejszy i najbardziej pracowity ze swoich braci. Antonio Soler uczył go muzyki i uważał za uzdolnionego ucznia. Gabriel był mecenasem sztuki. W 1771 rozkazał architektowi Juanowi de Villanueva wybudować tzw. Casita del Infante. Był również Wielkim Przeorem Zakonu Szpitalników św. Jana w Kastylii i Leónie.
Małżeństwo i dzieci 12 kwietnia w Lizbonie, a następnie 23 maja 1785 w Aranjuez poślubił Marię Annę, infantkę portugalską, córkę królowej Marii I i Piotra III. Para miała troje dzieci, ale tylko najstarszy syn przeżył wiek dziecięcy i otrzymał tytuł infanta Portugalii: Infanta Pedro Carlosa Antonio Rafaela Jose Javiera Francisco Juana Nepomuceno Tomasa de Villanueva Marcosa Marcelino Vicente Ferrera Raymundo Hiszpańskiego (1786–1812), męża Teresy Portugalskiej, księżniczki Beira Infantkę Marię Carlotę Josefę Joaquinę Anę Rafaelę Antonietę Franciscę de Asis Agustinę Madalenę Franciscę de Paula Clotilde Lutgardę Te Hiszpańską (4 listopada – 11 listopada 1787) Infanta Carlosa José Antonio Hiszpańskiego (28 października – 9 listopada 1788). thumb|Casita del Infante współcześnie|lewoKiedy urodził się Karol Józef, Gabriel z żoną rezydowali w Casita del Infante w Eskurialu. Tam Gabriel zaraził się ospą i zaraził swoją żonę, która zmarła 2 listopada w wieku 19 lat oraz syna, który zmarł tydzień po matce.