Od II połowy XVII wieku Szydłowiec zaczął podupadać poprzez liczne choroby, epidemie, wojen oraz z braku zainteresowania miastem ze strony Radziwiłłów. W tym czasie wymarło wielu rdzennych mieszkańców miasta a na ich miejsce sprowadzono Żydów, którzy od XVIII przybywali coraz liczniej do Szydłowca. Zamieszkiwali oni Składów oraz Skałkę a więc znaczną część obecnej ul. Radomskiej.
W XVIII wieku, na granicy Głównego Miasta ze Skałką (połowa ulicy Długiej), wyznaczono strefę w której mogli osiedlać się Żydzi. Granica ta z upływem czasu przestawała istnieć a ludność Żydowska zamieszkiwała prawie całą ulicę Długą. W II połowie XIX wieku wybuchł wieki pożar miasta w wynku którego spłonęła znaczna część drewnianej zabudowy miasta w tym ulicy Długiej i Szpitalnej oraz kościół szpitalny. Na miejscu dawnego kościoła ufundowano krzyż stojący do tej pory. Podczas II wojny światowej zdecydowana część zabudowy żydowskiej została zniszczona a po wojnie część z judaistycznych kamienic odbudowano.
Nie jest znana data połączenia ulic Szpitalnej i Długiej oraz gościńca Radomskiego w jedną całość.