W 1412 na zamku książę Bolesław I Cieszyński gościł Władysława Jagiełłę a w 1454 orszak narzeczonej Kazimierza Jagiellończyka, Elżbiety Rakuszanki, liczący dwa tysiące polskich i czeskich rycerzy.
Po olbrzymim pożarze w 1520 roku zamek został ponownie odbudowany i przebudowany inicjatywy księcia Kazimierza I, być może wówczas na terenie zamku dolnego zbudowano potężną basteję przystosowaną do użycia broni palnej. Przypuszczalnie w tym samym okresie wykonano szczytowe zwieńczenia budowli zamkowych. W 1603 roku zamek został ponownie zniszczony przez pożar, ale w kolejnych latach był częściowo wyremontowany.
W trakcie wojny trzydziestoletniej 1618-1648 zamek był kilkukrotnie zajmowany przez wojska, które go plądrowały. W 1645 został zajęty przez wojska szwedzkie, których pobyt doprowadził warownię do ruiny. Jednak największe zniszczenia przyniosło kilkutygodniowe oblężenie w 1646 roku prowadzone przez wojska Habsburgów, które doprowadziło do katastrofalnego zniszczenia zamku. Większość pomieszczeń mieszkalnych i gospodarczych została zniszczona w wyniku ostrzału artyleryįskiego lub z powodu wysadzenia przez austriackich minerów podziemnych korytarzy pod zamkiem. Największe zniszczenia objęły dolny zamek oraz część górnego wraz z najstarszą wieżą cylindryczną w północnej części wzgórza.