Od początku XVII w. rozpoczął się stopniowy upadek miasta. W czasie potopu szwedzkiego miasto zostało całkowicie zniszczone.
Od połowy XVIII w. do 1879 r. Biała była posiadłością rodziny szlacheckiej – Leszczyńskich herbu Belina.
W maju 1794 r. w pobliżu Białej Henryk Dąbrowski – późniejszy twórca Legionów polskich we Włoszech, bohater hymnu narodowego, stoczył niewielką, zwycięską bitwę z wojskami rosyjskimi.
W XVIII w. w Białej Rawskiej zaczęli osiedlić się Żydzi. Ich osadnictwo doprowadziło do rozwoju miasta i w konsekwencji do dalszego powiększenia liczby ludności miejscowości, w której osiedlali się także okoliczni chłopi. Już w 1810 r. Biała liczyła 467 mieszkańców, zaś w 1900 – ponad 2000. Miasto prywatne Królestwa Kongresowego, położone było w 1827 roku w powiecie rawskim, obwodzie rawskim województwa mazowieckiegoTabella miast, wsi, osad Królestwa Polskiego, z wyrażeniem ich położenia i ludności, alfabetycznie ułożona w Biórze Kommissyi Rządowéy Spraw Wewnętrznych i Policyi. T. 1 : A-Ł, Warszawa 1827, s. 17.. W 1833 r. miasto posiadało już murowany ratusz. Mimo stopniowego rozwoju, w 1870 r. Biała Rawska, tak jak wiele innych polskich miasteczek utraciła prawa miejskie. Odzyskała je dopiero w 1925 r.