W 1433 roku zamek na krótko zdobył w trakcie buntu przeciwko Zygmuntowi Kiejstutowiczowi książę Świdrygiełło, jednak we wrześniu Litwini z polską pomocą odbili zamek. Przed 1506 rokiem zamek poważnie zniszczyli Tatarzy. W 1519 zamek uszkodziły wojska moskiewskie. W XVI wieku warownia została opuszczona.
W 1566 roku król Zygmunt August podarował zamek i starostwo zbiegłemu z Moskwy kniaziowi Andriejowi Kurbskiemu. W 1569 roku starostą został kniaź Łukasz Świrski, a w 1579 kasztelan połocki Jan Wołmiński. W 1638 starostwo otrzymał kasztelan wileński Krzysztof Chodkiewicz, po nim Kazimierz Radzimiński Frąckiewicz, a następnie miecznik oszmiański Karol Marson. Kolejnych zniszczeń zamku dokonali Szwedzi w 1708 roku podczas wojny północnej. W XVIII wieku starostwo należało do rodu Śliźniów.