W 1961 roku była związana z Marią Schifanem, włoskim artystą pop-art.
W latach 1965–1967 Pallenberg była dziewczyną Briana Jonesa, założyciela i pierwszego lidera The Rolling Stones. Poznali się za kulisami na koncercie w Monachium w 1965 roku. Następnie Anita pojechała za zespołem do Berlina i Londynu. Ostatecznie Jones i Pallenberg zeszli się w domu przyjaciółki Anity, Deborah Dixon w Paryżu. Od początku ich związek był naznaczony narkotykami, przede wszystkim LSD. Gitarzysta zespołu Keith Richards wspomina w swojej autobiografii, że związek Jonesa i Pallenberg był toksyczny, dochodziło w nim do licznych kłótni i rękoczynów.
W 1967 roku Pallenberg porzuciła Jonesa i związała się z Richardsem. Ich związek przetrwał do 1979 roku. Mają razem trójkę dzieci – Marlona Leona Sundeepa (ur. 1969), Angelę Dandelion (ur. 1972) i Tara Jo Jo Gunne (urodzonego i zmarłego w 1976 roku). Będąc w związku z Richardsem, miała romans z wokalistą The Rolling Stones, Mickiem Jaggerem. Czas związku z Richardsem to też okres, kiedy Pallenberg była uzależniona od heroiny, kokainy oraz ich mieszanki speedballu.
W latach 60. Anita Pallenberg była kojarzona z licznymi skandalami obyczajowymi i narkotykowymi. Bywała zatrzymywana przez policję i osadzana w więzieniu.