Jest synem Włocha, prezesa klubu Racing Chacabuco, i Hiszpanki. Zaczynał karierę w amatorskim Argentino Chacabuco, skąd przeniósł się do trzecioligowego Club Atlético Sarmiento. W ciągu kolejnego sezonu dwudziestojednoletni zawodnik został kupiony przez River Plate, w którego barwach przez osiem lat rozegrał 298 meczów i strzelił 99 goli. W tym czasie swoją kolekcję trofeów piłkarskich poszerzył o pięć tytułów mistrza Argentyny.
Na Mundialu 1978 był kapitanem reprezentacji i wraz z bramkarzem Ubaldo Fillolem i napastnikiem Mario Kempesem tworzył tzw. "terceto de oro", tj. "złoty tercet". Argentyńczycy zdobyli wówczas Puchar Świata, a Passarella był jednym z bardziej wyróżniających się postaci w drużynie. Brał udział również w Mundialu 1982. Cztery lata później w czasie turnieju w Meksyku zachorował na wirusową odmianę biegunki i nie wystąpił w żadnym meczu. Selekcjoner Carlos Bilardo odebrał Passarelli opaskę kapitana na rzecz Diego Maradony, co stało się przyczyną głośnego konfliktu między tymi dwoma piłkarzami.
W 1982 roku przeniósł się do Włoch, najpierw przez cztery lata grał w AC Fiorentinie, a potem w Interze Mediolan, ale nie odniósł z tymi klubami żadnych sukcesów. W 1995 roku przeżył osobistą tragedię, kiedy w wypadku samochodowym zginął jego syn Sebastian.