Izba Reprezentantów McCormack zasiadał w Izbie Reprezentantów Stanów Zjednoczonych od roku 1928 (kiedy to został wybrany na miejsce wakujące po śmierci innego demokraty, Jamesa A. Gallivana) aż do swego odejścia na polityczną emeryturę z upływem kolejnej z wielu kadencji w roku 1971. Na swą pierwszą pełną dwuletnią kadencję kongresmena wybrano go bardzo szybko, bo w listopadzie tegoż roku. Ogółem zasiadał w Izbie od końcówki 70. Kongresu do schyłku 91.
Między 6 listopada 1928 a 3 stycznia 1963 reprezentował 12. okręg wyborczy Massachusetts, a pd 1963 do 1971 ósmy.
Przed objęciem przewodnictwa nad Izbą pełnił w niej szereg odpowiedzialnych stanowisk. Był m.in.: Przewodniczącym Komitetu ds. Terytoriów (70. Kongres) Przewodniczącym Komitetu ds. Astronautyki i badań Kosmosu (85. Kongres) Liderem większości (1940–1947, 1949–1953 i 1955–1961) Zastępcą lidera mniejszości (1947–1949 i 1953–1955)(Liderem mniejszości był wtedy były spiker, demokrata Sam Rayburn)