Od września 1941 do lutego 1942 roku komendant Okręgu „Północ” Chorągwi Warszawskiej, w skład którego wchodziły hufce: Bielany, Żoliborz, Marymont, Wola i Powązki.

Od 1942 kierownik Wydziału Kształcenia Starszyzny, potem wizytator Chorągwi Warszawskiej, miał decydujący wpływ na kształtowanie ideowe wojennego harcerstwa – Szarych Szeregów. Dom Rossmanów na Żoliborzu był centrum konspiracji oraz spotkań członków Szarych Szeregów. W ogrodzie przy willi w 1942 ukryto tablicę z pomnika Mikołaja Kopernika, zdjętą 11 lutego 1942 przez Macieja Dawidowskiego „Alka” (wiosną 1948 tablica została odkopana i przekazana przez Jana Rossmana do Muzeum Historycznego m.st. Warszawy).

Wniósł duży wkład w napisanie przez Aleksandra Kamińskiego Kamieni na szaniec. Gromadził dokumenty o historii Szarych Szeregów, którą dzięki niemu udało się wydać w Londynie w 1982. Twórca pisma podziemnego „Brzask”.

W powstaniu warszawskim oficer w batalionie „Zośka” na Woli i Starym Mieście.