W 1901 roku odkrył osławioną złą opinią „Stajnię Morderstw”, w której zamordowano (przynajmniej 60 osób) tych, którzy odmówili zapłacenia haraczu. W tym samym roku do Nowego Jorku przybył capo di tutti capi mafii sycylijskiej Vito Cascio Ferro, który postanowił podporządkować sobie i przy okazji unowocześnić działalność Czarnej Ręki. Działalność Petrosino była zupełnie nie na rękę Don Vito.
W 1905 roku ówczesny komisarz policji William McAdoo zdecydował o sformowaniu Brygady Włoskiej policji nowojorskiej (lub Włoskiego Departamentu w Miejskiej Komendzie Policji). Na jej czele stanął – wskazany przez niego – Joe Petrosino. Oddział ten liczył początkowo 27 osób. W ciągu następnych czterech lat liczba wymuszeń spadła o połowę, za kratki trafiło 500 szantażystów. Doprowadził do deportacji wielu członków zorganizowanej przestępczości.thumb|thumbtime=3|The Adventures of Lieutenant Petrosino (1912)Petrosino stanął przed komisją Kongresu Stanów Zjednoczonych domagając się istotnych zmian w prawie imigracyjnym uniemożliwiającym przyjazd do Stanów znanym przestępcom.