28 grudnia 2002 pokonał Colta Cabanę w walce o kontrakt z organizacją Ring of Honor. Po kilku nieemitowanych w telewizji walkach, stoczonych w organizacji WWE w maju 2003, zacżął występować w organizacjach Ring of Honor (ROH) i National Wrestling Alliance-Total Nonstop Action (TNA). W ROH utworzył z Coltem Cabaną stajnię The Second City Saints, a w TNA The Gathering z Ravenem i Julio Dinero. Gdy TNA zaczęło naciskać na Punka, aby zakończył współpracę z ROH, Punk zrezygnował ze współpracy z TNA na rzecz ROH. W kolejnych miesiącach występował także w IWA Mid-South, Pro Wrestling Guerrilla i Internation Wrestling Cartel.
15 maja 2004 CM Punk i Colt Cabana jako The Second City Saints zdobyli mistrzostwo drużynowe Ring of Honor Tag Team Championship. Stracili je 7 kwietnia, przegrywając z Havana Pitbulls. 23 października CM Punk pokonał AJ Stylesa w walce o IWA-Mid South Heavyweight Championship, które posiadał do 4 lutego 2005, kiedy przegrał je w pojedynku przeciwko Danny’emu Danielsowi. W 2005 zaczął występować we Florida's Full Impact Pro i ponownie w nieemitowanych w telewizji galach WWE.