Równie chłodne były relacje Karola z jego najstarszym bratem. Ludwik był surowy w obejściu z braćmi, jeśli ci przekroczyli granicę jego pobłażliwości. Na początku faworyzował najstarszego ze swoich młodszych braci, hrabiego Roberta. Gdy ten zginął podczas krucjaty egipskiej, w 1250 roku, jego miejsce u boku Ludwika zajął kolejny z braci, Alfons (hrabia Tuluzy), który po śmierci Blanki w 1252 stał się jednym z najbliższych doradców Ludwika.
Nierozpieszczany przez bliskich Karol nauczył się liczyć tylko na siebie. Był wysoki i dobrze zbudowany. Miał oliwkową cerę, odziedziczoną po przodkach matki i wydatny nos, cechę charakterystyczną rodu Kapetyngów. Odebrał gruntowne wykształcenie i przez całe życie wykazywał upodobanie do sztuk pięknych i poezji. Był bardzo ambitny, wytrwale dążył do osiągnięcia każdego celu jaki przez sobą postawił. Był człowiekiem surowych obyczajów i pobożnym, aczkolwiek jego pobożność służyła bardziej realizacji jego własnych ambicji. Wypływała ona z przekonania, że jest wybranym instrumentem w rękach Boga.