W okresie okupacji hitlerowskiej ks. Gwiazda niósł pomoc Żydom oraz innym osobom, które znalazły się w potrzebie. Był kapelanem ZWZ i AK, ps. Chór. Po wojnie nie ukrywał swego negatywnego stosunku do nowego ustroju. Gdy wiosną 1945 został spoliczkowany przez pijanego współpracownika milicji, ogłosił ten fakt z ambony. Krytykował również publicznie posunięcia personalne komunistów. W gronie przedstawicieli władz, na zebraniu w Przasnyszu, miała zapaść decyzja o likwidacji księdza. Informacja o planowanym morderstwie przeciekła do byłych żołnierzy AK, którzy przerzucili księdza do Ostrołęki.
W październiku 1945 otrzymał samodzielną placówkę duszpasterską w Sobowie. Potem był jeszcze proboszczem w Malużynie i Glinojecku (od 1949). W ostatnich latach życia zapadł na zdrowiu - cierpiał na serce i rozedmę płuc. Pochowany został w Glinojecku na miejscowym cmentarzu.
Bibliografia Wacław Jezusek, Śp. ks. Kazimierz Gwiazda, proboszcz parafii Glinojeck, "Miesięcznik Pasterski Płocki" R. 50 (1965), nr 6, s. 144-146.
Aleksander Drwęcki, Wspomnienia o ks.