Przez 2 lata spędzone w Girondins Musampa nie należał do wyjściowej jedenastki, a w mistrzowskim sezonie rozegrał 17 meczów i zdobył 1 gola.
Latem 1999 Musampa trafił do Hiszpanii zostając piłkarzem klubu tamtejszej Primera División, Málaga CF. W pierwszych dwóch sezonach dość rzadko pojawiał się na boisku, ale już w sezonie 2001/2002 wywalczył miejsce w podstawowej jedenastce i spisał się przyzwoicie strzelając 9 goli w lidze i zajmując z Málagą 9. miejsce w lidze. Latem 2002 wystąpił ze swoim klubem w Pucharze Intertoto i dzięki jego wygraniu awansował do Pucharu UEFA. Tam Málaga spisywała się dobrze i awansowała aż do ćwierćfinału, z którego odpadła po dwumeczu z Boavistą FC.
Dobra gra w średniaku La Liga spowodowała, że latem 2003 Musampa za 3 miliony euro przeszedł do silniejszego Atlético Madryt. W stołecznym klubie zadebiutował 31 sierpnia w przegranym 0:1 wyjazdowym meczu z Sevillą. Grał w podstawowym składzie, wystąpił w 26 meczach i strzelił 2 gole, ale już w sezonie 2004/2005 usiadł na ławce rezerwowych i w rundzie jesiennej zagrał zaledwie w 8 meczach. Zimą 2005 Musampa został wypożyczony do Manchesteru City. W Premiership zadebiutował 2 lutego w zremisowanym 1:1 meczu z Newcastle United. W City występował w wyjściowej jedenastce i zajął 8. miejsce, a w czerwcu przedłużono wypożyczenie na kolejny rok.