Wybuch wojny zastał go w Radości pod Warszawą, gdzie wraz z matką i siostrami, Itą i Tamarą, spędzał wakacje. 6 września 1939 wyruszył na wschód, w kierunku Lublina. W czasie marszu na ochotnika przyłączył się do wojska. Brał udział m.in. w potyczce z Armią Czerwoną w okolicach Chełma 25 września, w czasie której został ciężko ranny. Trafił do szpitala polowego, skąd uciekł po trzech miesiącach i przedostał się do Radości. Na początku 1940 wraz z matką i siostrami wyjechał do Opatowa, gdzie w miejscowej synagodze jego ojciec malował polichromie. Cała rodzina znalazła się w miejscowym getcie. Samuel zajmował się m.in. sprzedażą miejscowym chłopom obrazków malowanych przez ojca, przez kilka miesięcy pracował także w hucie w Starachowicach.
W 1942 Willenbergowie, dzięki wyrobionym „aryjskim” dokumentom, postanowili wyjechać do Częstochowy. Tam ktoś z sąsiadów zadenuncjował Itę i Tamarę Niemcom. Na prośbę matki, która podjęła próbę odnalezienia i uwolnienia córek, Samuel wrócił do Opatowa. Stąd wraz z ok. 6500 mieszkańcami getta 20 października 1942 trafił do obozu zagłady w Treblince.