Po wojnie przez pewien czas mieszkał w Ciechocinku i stamtąd przywędrował do Bydgoszczy. W 1948 r. ukończył studia prawnicze na toruńskim Uniwersytecie Mikołaja Kopernika i przez trzy lata pracował na uniwersytecie jako asystent, wykładowca, a potem kierownik działu kadr. Nie poświęcił się jednak karierze prawnika, skłaniając się ku działalności kulturalnej. W 1949 r. dał się poznać publicznie, wygłaszając spontaniczne przemówienie podczas koncertu Pomorskiej Orkiestry Symfonicznej w budynku przy ul. Grodzkiej w Bydgoszczy. Zebrał kilka tysięcy podpisów pod petycją żądającą zapewnienia utrzymania orkiestrze i udał się z nią do władz administracyjnych. Incydent ten sprawił, że stał się postacią rozpoznawalną.

W 1951 r. został mianowany dyrektorem administracyjnym Pomorskiej Orkiestry Symfonicznej. Już rok później jego zabiegi dotyczące upaństwowienia instytucji zostały uwieńczone powodzeniem. W 1953 r. powstała Państwowa Filharmonia Pomorska, a Szwalbe stanął na czele Społecznego Komitetu Budowy Filharmonii. Już trzy lata później – 16 listopada 1956 r.