Zamek ten był kilkukrotnie oblegany przez wojska książąt mazowieckich Siemowita III i Siemowita IV w latach 1381, 1382, 1411-1412, ale był wtedy na tyle silną warownią, że nie został zdobyty. W XV wieku od wschodu powstało podzamcze (opisywane także jako zamek niższy - castrum inferior). W 1480 roku na zamku zmarł arcybiskup Jakub z Sienna, a w 1493 roku zmarł na zamku prymas Zbigniew Oleśnicki.
XVI - XVII wiek W 1. połowie XVI wieku w czasach arcybiskupa Jana Łaskiego zamek górny przebudowano w stylu renesansowym. W tym okresie zamek niższy także otoczono murem. Arcybiskup Mikołaj Dzierzgowski w latach 1545-1559 polecił zbudować zewnętrzny nieregularny mur zamku wysokiego oraz odbudował zamkową kaplicę św. Barbary mieszczącą się w wieży. Otaczający wysoki zamek mur wzmacniały dwie wieże - okrągła i kwadratowa. W 1573 roku arcybiskup Jakub Uchański na terenie zamku dolnego rozpoczął budować renesansowy pałac z arkadową fasadą zwieńczoną attyką i renesansowymi krużgankami. Pałac ten ukończył w 1585 roku Stanisław Karnkowski. Zamek z tego okresu przedstawia sztych w atlasie Brauna i Hogenberga.