W kwietniu 1944 przeniesiono ich do Dachau, a stamtąd uwolniła ich armia amerykańska. Ojcu Albrechta udało się uniknąć aresztowania, ale jego macocha - księżna Antonina Luksemburska, nigdy nie zapomniała czasu uwięzienia i zmarła kilka lat później.
Albrecht został głową rodu Wittelsbachów po śmierci swojego ojca w 1955. Został jednocześnie jakobickim pretendentem do tronu Anglii i Szkocji (oraz Francji) Albrecht I.
Małżeństwa 3 września 1930 w Berchtesgaden, ożenił się z hrabianką Marią Franciszką Drašković z Trakošćanu (ur. 8 marca 1904, zm. 10 czerwca 1969). Para doczekała się czworga dzieci, w tym pary bliźniąt: Marii Gabrieli Antoniny (ur. 30 maja 1931) ∞ Jerzy, książę von Waldburg zu Zeil und Trauchburg (ur. 1928) Marii Charlotty Juliany (ur. 30 maja 1931 zm. 9 stycznia 2018) ∞ Paweł, książę von Quadt zu Wykradt und Isny (ur. 1930) Franciszka Bonaventury Adalberta (ur. 14 lipca 1933), obecnie w kręgach monarchistycznych książę Bawarii (Herzog von Bayern) Maksymiliana Emanuela Ludwika (ur. 21 stycznia 1937), obecnie w kręgach monarchistycznych książę w Bawarii (Herzog in Bayern) ∞ Elizabeth Douglas (ur. 31 grudnia 1940)