Jako pożegnalny prezent Karol IV kazał przekazać Lucjanowi, jak twierdzą niektórzy pamiętnikarze, swój portret naturalnej wielkości z ukrytymi w ramie diamentami wartości pięciu milionów liwrów. Karol chciał zatrzymać Lucjana w Hiszpanii, proponował mu Order Złotego Runa, tytuł granda Hiszpanii i 100 000 franków dorocznej renty, ale Lucjan, nie czekając na zezwolenie brata, powrócił w listopadzie 1801 r. do Francji.
Konflikt z bratem Żona Lucjana zmarła w połogu 14 maja 1800 i osierociła dwie córki, Szarlotę zwaną Lolotą (1795–1865) i Krystynę (1798–1847). Po powrocie z Hiszpanii Lucjan, mianowany teraz przez brata członkiem Trybunału i senatorem, poznał piękną młodą „słomianą” (wkrótce rzeczywistą, gdyż jej mąż zmarł na Santo Domingo) wdowę, Aleksandrynę Marię Jouberthon de Vaubertie z domu de Bleschamps (1778–1855), z którą wszedł w związek miłosny. W roku 1802 Aleksandryna zaszła w ciążę i 24 maja 1803 parze urodziło się pierwsze z dziewięciorga dzieci, Karol Lucjan (później światowej sławy ornitolog). Następnego dnia Lucjan, w tajemnicy przed rodziną, wziął ślub z ukochaną. Parę dni później 27 maja 1803 zmarł osadzony przez Napoleona w Etrurii król Ludwik i owdowił żonę, wspomnianą już infantkę hiszpańską (kulawą i garbatą) Marię Luizę młodszą.