W latach 1954–1958, grając głównie bop, współpracował z takimi muzykami jak Phil Woods, Buddy Collette, Milt Hinton, Art Blakey i Tommy Flanagan. Grał przede wszystkim na flecie, ale także na saksofonie tenorowym i klarnecie basowym, którego w latach 50. był jednym z jazzowych prekursorów. Zawsze interesowała go muzyka latynoska, której elementy niezmiennie wykorzystywał w swojej grze, podobnie jak transponowane na flet bebopowe frazowanie trąbek, stosowane przez Dizzy’ego Gillespiego i Milesa Davisa. W krótkim czasie stał się oryginalnym stylistą i wyróżniającym się muzykiem na ówczesnej scenie jazzowej. Potwierdzeniem tego było m.in. nagranie przez niego w 1957 płyty z jazzowymi utworami na flet solo, co w owych latach stanowiło ewenement. W tym samym roku nagrał także album The Magic Flute of Herbie Mann. Znajdujący się na nim z utwór The Evolution of Mann stał się przebojem za sprawą nowojorskiego disc jockeya radiowego – „Symphony Sida” Torina.