Wielka rozbudowa zamku miała miejsce w latach 1242–1255, kiedy król Bela IV po najeździe Mongołów przystąpił do umacniania starych i budowy nowych zamków. Do pierwotnego jądra dobudowano rozległe podgrodzie otoczone własnym murem, którego brama częściowo dochowała się do naszych czasów. Posiadało ono liczne zabudowania gospodarcze (w większości drewniane) oraz m.in. kamienną cysternę na wodę. Zamek był wojskowym i administracyjnym ośrodkiem ogromnego tzw. „państwa zwoleńskiego” – terenów obejmujących całą dzisiejszą środkową Słowację, od Hontu na południu po Liptów i Orawę na północy, które wkrótce przekształciło się w żupę zwoleńską. Był też ulubionym miejscem pobytu królów węgierskich podczas polowań w tzw. Zwoleńskim Lesie – wielkiej puszczy, porastającej wówczas całą dolinę górnego Hronu.