Po zmianach personalnych w kwietniu 1983 zespół w pięcioosobowym składzie nagrał swoją pierwszą płytę długogrającą Filth, zawierającą całkowicie nowy materiał. Teksty napisał Gira, a muzykę wszyscy członkowie Swans. Utwory wyraźnie skrócono, a do dawnych brzmień nawiązują tu tylko najdłuższe na tej płycie kompozycje, jak „Stay Here” i „Power for Power”. Płytę wydała wytwórnia Neutral Records, dla której nagrywali też Sonic Youth.
Wkrótce od grupy odszedł perkusista Jonathan Kane, a pozostali muzycy w 1984 nagrali kolejną czwórkę oraz album Cop, łącznie ponad godzinę muzyki. Powrócili do długich kompozycji, w których zaczęli wykorzystywać też nagrane na taśmie podkłady. Obie płyty dostrzeżono w Anglii, gdzie rozwijał się już wtedy nurt muzyki industrialnej, reprezentowany przez grupy Test Department oraz Psychic TV i Coil (powstałe na gruzach Throbbing Gristle), natomiast w Niemczech Einstürzende Neubauten i w byłej Jugosławii Laibach.