Jak później wspominał: Kiedy usłyszałem grę Monka, jego brzmienie i styl, po prostu się w tym zakochałem. Spotykałem się z nim przez prawie trzy lata. Przywoziłem go autem do mnie na Brooklyn. Był wielkim mistrzem, ponieważ w moim odczuciu wprowadził magię do muzyki.

W 1944 – podczas toczącej się II wojny światowej – został powołany do U.S. Army i uczestniczył w zdobyciu Okinawy, na której stacjonował przez rok. Po trzech latach służby został zwolniony z wojska w stopniu sierżanta sztabowego.

Po powrocie do Nowego Jorku grywał w końcu lat 40. z różnymi grupami (głównie R&B) z takimi liderami jak „Bull Moose” Jackson i Eddie „Cleanhead” Vinson. Chcąc wyrwać się z otoczenia, w którym narkotyki były w powszechnym użyciu, w 1951 wyjechał na pewien czas do miasteczka Lenox, położonego na wyżynie Berkshires w stanie Massachusetts. W tamtejszej Gospodzie Muzycznej (The Music Inn), w której odbywały się stałe wykłady i sympozja jazzowe, oraz regularne koncerty, zaczął poznawać afrykańskie korzenie jazzu. Jego nauczycielem był tam m.in. Marshall Stearns, słynny historyk jazzu, krytyk i muzykolog. Przez kilka następnych lat dawał w The Music Inn letnie koncerty.