Życiorys Hrabia pochodził z jednej z najstarszych hiszpańskich rodzin arystokratycznych, był zamożną i wpływową na dworze osobą. Był synem hrabiego Ventury Osorio de Moscoso y Fernández de Córdoba, po którym odziedziczył liczne tytuły szlacheckie, i Marii Concepción Guzmán y Fernández de Córdoba. Jego rodzina była związana z dworem królewskim, gdzie zajmowała ważne stanowiska. Jego liczne tytuły szlacheckie i pokaźny majątek kontrastowały z niewielkim wzrostem hrabiego, co było źródłem kpin w jego otoczeniu.
W wieku 22 lat ożenił się z Maríą Ignacią Álvarez de Toledo y Gonzaga (1757–1795), córką markiza de Villafranca del Bierzo. Para pobrała się 3 kwietnia 1774 i doczekała się siedmiorga dzieci; jego dziedzicem został syn Vicente Isabel Osorio de Moscoso y Álvarez de Toledo. Krótko po ślubie hrabia odziedziczył fortunę po swoich rodzicach. Posiadał także imponującą kolekcję sztuki gromadzoną w jego rodzinie od pokoleń. Był członkiem Królewskiej Akademii Sztuk Pięknych św. Ferdynanda w Madrycie. Hrabiowie wspólnie otaczali artystów mecenatem (np. Agustín Esteve, Francisco Goya).