W 1568 zamek przeszedł w ręce Jana starszego Černčického z Kácova, ale już po kilku latach przekazał go Janowi młodszemu von Zierotin (Žerotín), którego siedzibą były Velké Losiny. W latach 70. XVI wieku w miejscu zniszczonej fosy wybudował on renesansowy pałac (tzw. zamek średni, w odróżnieniu od gotyckiej części – zamku górnego). Renesansowy obiekt miał trzy skrzydła oraz dziedziniec otoczony arkadami. Opuszczony zamek gotycki zaczął powoli niszczeć i do dzisiaj pozostały z niego tylko ruiny.
W 1581 zamek kupił ród z Vrbna. Prace budowlane trwały nadal stawiano kolejną część, tzw. zamek dolny z bramą wejściową, także utrzymany w stylu renesansowym. Przynajmniej część budowy ukończono w 1597, według napisu na jednym z portali we wieży. Kolejny właściciel Hynek z Vrbna w latach 1608–1614 mocno zadłużył swoje dobra. Ani on ani kolejny panowie nie byli w stanie ostatecznie dokończyć prac. W 1614 wybudowano kościół parafialny, który nawiązuje architekturą do zamku.