Granica również przebiegała tam po marszu Cesarza Napoleona który restytuował Księstwo Siewierskie. Po kongresie wiedeńskim Siewierz znalazł się w granicach Królestwa Kongresowego. Królestwo Polskie zostało zlikwidowane w 1832 roku po powstaniu listopadowym, co ustaliło granicę pomiędzy Prusami a Cesarską Rosją aż do wybuchu I wojny światowej, a potem do przyłączenia części Górnego Śląska do Polski. W okresie międzywojennym w miejscowości stacjonował komisariat Straży Granicznej i placówka II linii SG „Kamień”.
W 1277 roku utworzono parafię rzymskokatolicką pw. św. Apostołów Piotra i Pawła, odłączając ją od parafii św. Małgorzaty w Bytomiu. Parafię erygowano 4 października 1277 roku. Miał długości 25 m, szerokości 12 m i mógł według starych opinii pomieścić 400 osób. W latach 60. XIII wieku zbudowano tu kościół, który według przypuszczeń zbudował rycerz Emmeram Kołda herbu Oksza, ojciec zasłużonego dla Kościoła Krakowa i Wrocławia biskupa Nankera. W Kamieniu urodził się sam Nankier (Jan Kołda), który jako kanclerz sieradzki wspierał Władysława Łokietka w walce o polski tron, za co został później wynagrodzony nominacją na biskupa krakowskiego i rozpoczął budowę katedry gotyckiej na Wawelu.