Życie prywatne i śmierć thumb|Jeden z obrazów namalowanych przez Karola XV Karol XV był bardzo popularny wśród społeczeństwa. Należał do mecenasów sztuki i artystów, a jednocześnie zajmował się w wolnych chwilach pisaniem (m.in. tłumaczył poezje Zygmunta Krasińskiego) i malowaniem. Często zdarzało mu się ignorować zasady etykiety dworskiej, lubił otaczać się prostymi ludźmi; dążąc do popularności godził się na reformy ograniczające uprawnienia monarchy.

Zmarł w 1872 roku w Malmö w wieku 46 lat i tradycyjnie został pochowany w kościele Riddarholmen w Sztokholmie a tron przejął jego młodszy brat – Oskar II.

Rodzina 19 czerwca 1851 poślubił Ludwikę (1828–1871), księżniczkę holenderską, wnuczkę Wilhelma I i jego pierwszej żony – Wilhelminy Pruskiej. Para miała dwoje dzieci: Luiza Bernadotte (1850–1926), królowa duńska, żona Fryderyka VIII; Karol Oskar Bernadotte (1852–1854).