Karierę zawodową rozpoczął w 1933 jako wokalista, skrzypek i wibrafonista. W 1935 dokonał swoich pierwszych nagrań i w niedługim czasie zyskał w swoim kraju popularność. W tym okresie pracował na lądzie i morzu, grając m.in. na statkach wycieczkowych, oraz występując z śpiewaczką i tancerką Josephine Baker, pianistą Fatsem Wallerem i kwartetem wokalnym The Mills Brothers. W Danii poznał amerykańskiego skrzypka Stuffa Smitha, którego gra wywarła na nim duże i trwałe wrażenie.
Podczas II wojny światowej grał podziemne koncerty w jazzowym zespole Valdemara Eiberga. Jazz był w Danii zakazany przez niemieckiego okupanta. W 1943 został aresztowany przez Gestapo, lecz nieoczekiwanie zwolniony, szczęśliwie uniknął śmierci.
W 1948 otrzymał zaproszenie do zespołu od „Króla Swingu” Benny’ego Goodmana, który usłyszał jego nagrania. Wyjazd za ocean uniemożliwiła odmowa American Federation of Musicians (AFM) przyznania mu pozwolenia na pracę. W 1950 podczas wizyty koncertowej w Danii Goodman wysłuchał, zorganizowanego specjalnie dla niego, krótkiego występu grupy Asmussena, w której zagrali: saksofonista Zoot Sims, gitarzysta i harmonijkarz Toots Thielemans, pianista Dick Hyman oraz perkusista Ed Shaughnessy.