W 1939 trzy najcenniejsze obrazy z kolekcji Czartoryskich zostały spakowane do skrzyni, oznaczonej literami LRR (Leonardo, Rembrandt, Rafael) i ukryte w Sieniawie. Tam jednak zbiory Czartoryskich odnaleźli Niemcy i na polecenie Kajetana Mühlmanna, realizującego rozkazy Hermanna Göringa, wysłane do Rzeszy. Przez krótki czas Portret znajdował się w Kaiser-Friedrich-Museum w Berlinie, ale docelowo miał stanowić część ekspozycji planowanego Muzeum Hitlera w Linzu. W wyniku nieznanych bliżej okoliczności – być może jako podarek Hitlera – obraz trafił w ręce Hansa Franka i przez pozostały czas wojny prawdopodobnie znajdował się w jego rezydencji na Wawelu. Uciekając z Krakowa przed ofensywą radziecką Frank polecił wywieźć dzieła do Niemiec. Jego pełnomocnik do spraw sztuki, Wilhelm Palezieux, miał rzekomo pomylić Portret młodzieńca z innym dziełem, co w efekcie doprowadziło do jego zaginięcia. Po wojnie obrazu nie odnaleziono i nie wiadomo, co się z nim stało. Pojawiające się informacje o możliwym istnieniu obrazu w jednej z zagranicznych kolekcji nie zostały nigdy potwierdzone. 1 sierpnia 2012 roku prof. Wojciech Kowalski powiedział, że obraz nie został zniszczony i zostanie odzyskany. Informacje te zostały jednak później zdementowane.