Okres międzywojenny mijał bez większych niepokojów, aż do władzy doszli naziści. W jednym z fortów znajdował się w latach 1933–1935 obóz koncentracyjny dla opozycjonistów politycznych, w którym więziono m.in. Kurta Schumachera. Synagoga została zburzona podczas tzw. nocy kryształowej. Także w 1938 roku Ulm zyskało status miasta na prawach powiatu, ale pozostało też siedzibą powiatu Ulm. W 1939 r. miasto liczyło (bez garnizonu) mieszkańców.
thumb|Dunaj rozdzielający Neu-Ulm (po lewej) i Ulm (fragment Fischerviertel) Stare miasto zostało doszczętnie zniszczone (w 73%, stare miasto w 80%) podczas nalotu lotnictwa alianckiego 17 grudnia 1944 roku. Zginęło 2006 osób. Dzięki sprawnej obronie przeciwlotniczej i wcześniejszemu demontażowi części wyposażenia Ulmer Münster, jako jedna z niewielu budowli, nie doznała większych zniszczeń.
Lata po nastaniu pokoju przebiegały pod znakiem odbudowy. Ulm należało do amerykańskiej strefy okupacyjnej. W 1951 r. powstała pierwsza powojenna dzielnica przemysłowa, dwa lata później światowej sławy (Wyższa Szkoła Wzornictwa), działająca do 1968 roku. 25 lutego 1967 rozpoczął działalność Universität Ulm, a w 1982 r.