Ponieważ przyjmuje się, że osady zwane służebnymi powstawały w Polsce w XI-XII wieku do tego czasu należy odnieść początki Czastar, które do 1795 roku były wsią królewską. W roku 1521 sporządzony został urzędowy opis parafii i kościoła. Wizytacje z wieku XVIII wspominają o starym kościele drewnianym pod wezwaniem Narodzenia NMP oraz o tym, że kościół ten w 1754 roku został odbudowany przez księcia Aleksandra Sułkowskiego. W kościele tym było pięć ołtarzy, między innymi w południowej kaplicy z obrazem Narodzenia NMP, uważanym za słynący łaskami.
Kościół ten w 1845 spalił się. Na jego miejscu zbudowany został w 1847 roku obecny kościół murowany. Fundatorem był właściciel wsi Parcice Leopold Trepka po konwersji z kalwinizmu na katolicyzm. Kościół ten 11 października 1886 roku konsekrował biskup kujawski Aleksander Bereśniewicz. Odpust 8 września ściągał zawsze wielu wiernych, także z okolicznych parafii.
W czasie II wojny światowej Niemcy zamienili kościół na spichlerz a zakrystię na areszt. Obok świątyni stoi murowana organistówka z 1. połowy XX wieku, w której podczas okupacji niemieckiej była siedziba posterunku żandarmerii i miejsce kaźni. Łańcuchy i kajdany przetrwały do dziś i są eksponowane we wnętrzu świątyni.