Po ukończeniu studiów działał w Poznaniu gdzie był przełożonym muzeum, laboratorium fizycznego oraz obserwatorium astronomicznego, które prawie w całości zostało wybudowane i wyposażone przez rodzinę Rogalińskich. Od 1762 zajmował się reformą szkolnictwa. W roku 1765 w laboratorium złożył mu wizytę słynny szwajcarski uczony Leonhard Euler, który uznał je za świetnie wyposażone, co później opisał.
Uważany jest za twórcę poznańskiego ośrodka badań fizyczno-matematycznych. Rogaliński był prekursorem bezpłatnych wykładów publicznych, na które obok uczniów Akademii Lubrańskiego i Kolegium Jezuickiego uczęszczali również mieszkańcy miasta, szczególnie rzemieślnicy. Tematyką wykładów była fizyka doświadczalna. Organizował również "popisy", podczas których uczniowie omawiali wynalazki techniczne i ich zastosowanie.
Po likwidacji zakonu jezuitów w roku 1773 i ich poznańskiej szkoły Józef Rogaliński został rektorem Akademii Wielkopolskiej, którą starał się podnieść do rangi uniwersytetu. Po połączeniu przez Komisję Edukacji Narodowej tej szkoły z Akademią Lubrańskiego został zwolniony ze stanowiska, uzyskując jednak roczną pensję.