Po wybuchu II wojny światowej i agresji ZSRR na Polskę z 17 września 1939 został aresztowany przez funkcjonariuszy NKWD w nocy 9/10 kwietnia 1940 w swoim mieszkaniu we Lwowie. Był osadzony w więzieniu Brygidki. Jego pobyt tam był wzmiankowany we wspomnieniach innego przetrzymywanego w tym miejscu sędziego, Witolda Scheuringa. Później został przewieziony do więzienia przy ulicy Karolenkiwskiej 17 w Kijowie. Tam w 1940 został zamordowany przez NKWD. Jego nazwisko znalazło się na tzw. Ukraińskiej Liście Katyńskiej opublikowanej w 1994 (został wymieniony na liście wywózkowej 72/1-52 oznaczony numerem 392). Został pochowany na otwartym w 2012 Polskim Cmentarzu Wojennym w Kijowie-Bykowni.
Jego żoną była Maria z domu Kozłowska, z którą miał synów Zygmunta (ur. ok. 1930), Mariusza (1937-2022), córkę Michalinę (ur. ok. 1934, po mężu Horst). Jego szwagrem był aktor Janusz Warnecki (właśc. Kozłowski).
Upamiętnienie Karolowi Walterowi został poświęcony jeden z odcinków filmowego cyklu dokumentalnego pt.