Na prośbę Brytyjczyków zabiegał o przejście na stronę aliantów, co z oczywistych powodów nie podobało się niemieckim przedstawicielom w Rzymie. Pod naciskiem owych nazistowskich rezydentów zostali Skórzewscy zamknięci w więzieniach (osobno Zygmunt, osobno Maria), a dzieci dostały się pod opiekę pracowników polskiej ambasady w Rzymie.
Kiedy w 1943 na Półwyspie Apenińskim wylądowali alianci, żołnierze nazistowscy wywieźli Skórzewskich do Berlina (dzieci zostały w Rzymie). W tym okresie Zygmunt Skórzewski spędził kilka tygodni w obozie koncentracyjnym w Buchenwaldzie. Dzięki staraniom między innymi papieża Piusa XII zostali zwolnieni przez Niemców tuż przed końcem wojny, po 32 miesiącach niewoli.
Już wolni, wyruszyli Skórzewscy do Rzymu po dzieci, pokonując drogę przez Szwecję (pomógł im bratanek króla Gustawa V) oraz Londyn. Po wojnie nie mieli środków do życia, ponieważ Zygmunt nie otrzymał zaległego żołdu, a ich oszczędności zdeponowane w zachodnich bankach wykorzystano, by pomóc polskim żołnierzom.
Rodzina Skórzewskich osiadła na Korsyce i kupiła gaj oliwny. Hrabia Zygmunt nawet po latach utrzymywał kontakt ze starymi kompanami z linii frontu.