Po 1945 związany z tygodnikiem „Przekrój”. Był komentatorem muzycznym Polskiego Radia oraz felietonistą tygodników „Świat” i „Polityka”. Autor dwudziestu książek, głównie poświęconych muzyce poważnej. Na podstawie opowiadań i notatek Władysława Szpilmana, z którym zaprzyjaźnił się w okresie międzywojennym, opracował pierwsze wydanie jego wspomnień.

Był członkiem Stowarzyszenia Pisarzy Polskich.

Działalność społeczna Inicjator powstania Muzeum Karola Szymanowskiego w Zakopanem i Muzeum Teatralnego w Warszawie. Jego staraniem odrestaurowano pałac książąt Radziwiłłów w Antoninie koło Ostrowa Wielkopolskiego. Współorganizował też odbywający się w Antoninie i Ostrowie Międzynarodowy Festiwal „Chopin w barwach jesieni”.

W styczniu 1976 podpisał list protestacyjny do Komisji Nadzwyczajnej Sejmu PRL przeciwko zmianom w Konstytucji Polskiej Rzeczypospolitej Ludowej „Kultura”, 1976/03/342, Paryż 1976, s. 31..

W 1974 Waldorff założył Społeczny Komitet Opieki nad Starymi Powązkami. Z jego inicjatywy corocznie odbywa się tam 1 listopada kwesta na ten cel prowadzona przez osoby kultury i mediów. W 1999 komitet został uhonorowany Nagrodą im. prof. Aleksandra Gieysztora ufundowaną przez Fundację Bankową im.