Rozwój wsi od XVIII w. związany był głównie z jej położeniem przy trakcie handlowym, którego odnogi (przez przełęcze Przysłop i Graniczne) wiodły przez Żywiec do Krakowa. Węgierski posterunek celny mieścił się w centrum wsi. Mieszkańcy Skalitego trudnili się pasterstwem, rzemiosłem (funkcjonowały tu 4 młyny wodne), jak również przemytem, zwłaszcza polskiej soli na Węgry. W 1749 r. zbudowano pierwszy drewniany kościół i erygowana została parafia. Koniec XIX w. przyniósł budowę linii kolejowej (1884) i stacji Skalite. Powstała mała rafineria, produkująca naftę oświetleniową, a krótko przed I wojną światową – parowy tartak z 12 trakami i wielkim składem drewna. Działał browar. Jednocześnie jest to jednak okres znacznego wzrostu ucisku madziaryzacyjnego i wzmożonej emigracji ludności ze Skalitego, zwłaszcza do USA.
18 listopada 1938 r. we wsi miała miejsce manifestacja przeciwko planom przyłączenia górnoczadeckich wsi do Polski. Pomimo tego tydzień później część Skalitego po linię kolejową została zajęta przez wojsko polskie. 1 września 1939 r. przez Skalite i Przełęcz Zwardońską wkroczyły do Polski oddziały wojsk niemieckich. W 1945 r. zamknięto ruch na obu przejściach granicznych, drogowym i kolejowym.