W październiku 1939 roku został aresztowany przez NKWD i osadzony w sowieckim więzieniu w Stanisławowie, skąd został zwolniony w grudniu tego samego rokuOpis książki „Dialogi z sowietami” Wydawnictwa Znak [dostęp 2010-08-19].. W maju 1940 przedostał się na Węgry, gdzie nawiązał liczne kontakty z pisarzami węgierskimi. Stał się autorytetem wśród miejscowego uchodźstwa polskiego, tu powstały też jego obszerne eseje łączące tradycję staroszlacheckiej gawędy z humanistyczną erudycją. Będąc na Węgrzech pomagał Żydom, za co został wyróżniony jako Sprawiedliwy wśród Narodów Świata.
Po wojnie z drugą żoną Ireną i ich córką Barbarą przeniósł się najpierw na kilka miesięcy do Niemiec (gdzie syn Andrzej pracował w redakcji „Dziennika Żołnierza” 1 Dywizji Pancernej gen. Maczka), potem osiadł w okolicy Grenoble na południu Francji. Znaczną część roku spędzał w małej miejscowości alpejskiej La Combe-de-Lancey. Współpracował z paryską „Kulturą”. Był mistrzem duchowym m.in. Czesława Miłosza. Zgromadził wokół siebie „prywatną akademię platońską”, do La Combe po nauki przyjeżdżali do niego zwłaszcza młodzi Szwajcarzy.