22 grudnia 1870 został mianowany wikariuszem apostolskim części diecezji krakowskiej w granicach Królestwa Polskiego z siedzibą w Kielcach, zaś 23 lutego 1872 administratorem apostolskim i biskupem tytularnym . Sakrę biskupią otrzymał 3 października 1872 w Kościele św. Katarzyny Aleksandryjskiej w Petersburgu. Konsekrował go arcybiskup metropolita mohylewski Antoni Fijałkowski, w asyście Jerzego Iwaszkiewicza, biskupa pomocniczego mohylewskiego, i Aleksandra Gintowta-Dziewałtowskiego, biskupa pomocniczego płockiego. 15 marca 1883 został ustanowiony biskupem diecezjalnym reaktywowanej diecezji kieleckiej. Jako rządca w Kielcach powiększył liczbę parafii, dbał o aktywizację duszpasterstwa parafialnego i rozwój duchowy kleru, zreformował seminarium duchowne i przeprowadził przebudowę kościoła katedralnego. Utworzył Kieleckie Towarzystwo Dobroczynności, które wspierał finansowo, a także ufundował Dom św. Tomasza, będący sierocińcem i szkołą zawodową. Występował w obronie niezależności Kościoła wobec zaborcy. Gdy w 1893 nie zezwolił naczelnikowi Dyrekcji Nauczania w Kielcach na zwizytowanie seminarium, zostało ono zamknięte przez władze carskie pod zarzutem antyrządowego wychowywania alumnów, a wykładowców skazano na kilka lat zesłania na Syberię. W 1897 Kuliński otworzył seminarium z kadrą naukową z innych diecezji.