W roku 1891 w wydawnictwie Breitkopf & Härtel w Lipsku ukazały się „Tańce ludowe” (Ländliche Tänze) op. 1. Prawykonanie jego pracy dyplomowej z kompozycji, symfonii d-moll, odbyło się w roku 1892. W tym samym roku Zemlinsky stanął przed komisją poborową, która uznała go za niezdolnego do służby wojskowej ze względu na wzrost (159 cm).
W powstałej z jego inicjatywie „Stowarzyszeniu Muzycznym Polihymnia” poznał i zaprzyjaźnił się z Arnoldem Schönbergiem.
W okresie 1893–1895 skomponował operę Sarema, której prawykonanie w królewskiej operze monachijskiej spotkało się z dobrym przyjęciem. Również następne utwory, w tym opera Es war einmal... stały się kolejnymi sukcesami kompozytora.
Ze względu na narastający w Wiedniu antysemityzm i Sprawę Dreyfusa Zemlinsky wystąpił w roku 1899 z gminy żydowskiej. To samo uczyniła w dwa lata później jego siostra Matylda, która poślubiła Arnolda Schönberga.
Około roku 1900 Zemlinsky został członkiem loży wolnomularskiej. W roku 1906 przyjął wyznanie ewangelickie. Zmienił pisownię nazwiska, opuszczając pseudowęgierskie „z” (Zemlinszky) i tylko przy występach w roli dyrygenta korzystał z nieudokumentowanego „von”.