Znaczący rozwój Zagórza przypadł na XVIII wiek. W 1765 roku stanowiło nadal własność jezuitów. Mieszkało tu 5 kmieci i 7 zagrodników oraz chałupników, z czego 2 było rzemieślnikami. W 1787 roku właścicielem Zagórza był hr. Friedrich Wilhelm von Reden, wówczas wieś zamieszkiwało 5 kmieci i 9 zagrodników oraz chałupników. Następnie w 1825 roku wieś należała do barona von Münchhausena z Szalejowa Dolnego. Liczyła wówczas tylko 12 domów. Ponadto w Zagórzu znajdował się młyn wodny i wapiennik. Około połowy XIX wieku wzniesiono kaplicę.
Wieś ożywiła się w 2 poł. XIX wieku dzięki przeprowadzeniu przez nią linii kolejowej do Dusznik-Zdroju w 1890 roku, przedłużonej następnie do Kudowy-Zdroju. Powstały wówczas niewielkie zakłady przemysłowe. Działał również kamieniołom amfibolitów. Rozwinął się niewielki ruch turystyczny, głównie mieszkańców Kłodzka, do pobliskich Krosnowic i na Czerwoniak. We wsi znajdowała się popularna gospoda. W czasie II wojny światowej we wsi znajdował się obóz jeniecki, w którym przebywało ok. 250 żołnierzy radzieckich, zatrudnionych w kamieniołomach.