Ostateczną nazwą jaką wówczas przyjęli była Public Affection i właśnie pod tą nazwą zespół w 1989 roku wydał swój pierwszy materiał przeznaczony dla szerszego kręgu odbiorców The Death of a Dictionary. Niedługo potem, w 1990 roku, Public Affection wydali minialbum wyprodukowany przez Jaya Healy’ego pod tytułem Divided Mind, Divided Planet. Często podróżowali do Nowego Jorku grając tam w klubie muzycznym CBGB (Country, Blue Grass, and Blues), co pomogło zespołowi nawiązać w 1991 roku współpracę z wytwórnią Radioactive Records. Pod nową nazwą – LIVE – zespół wszedł do studia nagraniowego, i pod okiem producenta Jerry’ego Harrisona, klawiszowca zespołu Talking Heads, nagrali minialbum pod tytułem Four Songs (1991). Singel Operation Spirit (The Tyranny of Tradition) powędrował na 9. miejsce amerykańskiej listy przebojów, co przyczyniło się do tego, że Harrison postanowił wyprodukować pełnej długości album Mental Jewelry. Inspirację do napisania tekstów piosenek zawartych na debiutanckiej płycie Kowalczyk czerpał od indyjskiego filozofa Jiddu Krishnamurti.