Wznoszenie linii rozpoczęto od dwóch odcinków łącznikowych z powstałych wcześniej stacji Kolei Dolnośląsko-Marchijskiej: pierwszego, z Węglińca (przez Gierałtów) oraz drugiego, ze Zgorzelca – które na stacji węzłowej w Lubaniu połączono w jedną linię w stronę Jeleniej Góry, Wałbrzycha i Kłodzka.
Realizacja inwestycji, rozpoczętej w roku 1863, trwała siedemnaście lat. Prace prowadzono w wielu miejscach jednocześnie. Do prac zatrudniano lokalnych przedsiębiorców. Szlak do stacji Rybnica otwarto 20 września 1865 r. Po dziewięciu miesiącach, 19 czerwca 1866 roku uruchomiono połączenia do Jeleniej Góry. Odcinek do Wałbrzycha Głównego, kończący pierwszy etap inwestycji, oddano do użytku 14 sierpnia 1867 roku – z opóźnieniem na skutek wojny prusko-austriackiej. Rok później, 28 maja 1868 r. połączono Śląską Kolej Górską z istniejącą wcześniej linią Wrocław – Wałbrzych należącą do Kolei Wrocławsko-Świdnicko-Świebodzickiej. Połączenie Wałbrzycha z Kłodzkiem, przeniesione do odrębnego zadania, oddano do użytku 15 października 1880 roku.