Ponownie został spalony w 1683 r., podczas powstania kuruców ThökölyegoWg strony hrady.sk , jednak od tego czasu już pozostał na trwałe w ruinie. W 1730 r. wdowa po Gabrielu Balassim na ruinach dolnego zamku kazała zbudować barokowy pałac (słow. kaštieľ), do którego później hrabia Paweł Balassi dobudował kaplicę p.w. św. Anny.
W połowie XIX w. skończyła się linia Balassich na Modrym Kamieniu. Właścicielem zamku został hrabia Forgách, a po nim hrabia Károlyi. Jego córka, Gabriela Almássi w 1923 r. sprzedała zamek nowemu państwu czechosłowackiemu, a sama przeniosła się na Węgry. Od tego czasu obiekt jest własnością państwową, a w 1991 r. urządzono w nim Oddział Słowackiego Muzeum Narodowego – Muzeum Sztuk Lalkarskich i Zabawek (słow. Slovenské národné múzeum – Múzeum bábkarských kultúr a hračiek, hrad Modrý Kameň).