Następnie własność jego syna Jana Zbigniewa Ossolińskiego zmarłego w 1623 r. Ossolin był centrum klucza majątkowego Toporczyków, którzy w XVI wieku przyjęli swoje nazwisko od nazwy wsi.
W 1621 roku zamek otrzymał od ojca Jerzy Ossoliński, który w latach 1633-1640 na miejscu starej warowni polecił zbudować nowy zamek na planie czworoboku. Zamek składał się z czterech skrzydeł, otaczających niewielki dziedziniec. Skrzydła miały po trzy kondygnacje. Od strony wjazdu wznosiła się cylindryczna wieża, w której na jednym z pięter znajdowała się kaplica zamkowa. Być może wieża była pozostałością starszego średniowiecznego zamku. Obok wieży znajdował się sklepiony wjazd na dziedziniec. Zarówno wieża jak i zamek były zwieńczone attyką. Zamek otaczał mur obronny biegnący wzdłuż krawędzi wzgórza. Do zamku prowadził most arkadowy oraz wolnostojący budynek bramny zwieńczony attyką. Po drugiej stronie wąwozu znajdowały się zabudowania gospodarcze przedzamcza otoczone osobnym murem, wieżą bramną zwieńczoną hełmem i zewnętrznymi umocnieniami bastionowymi. Być może dekoracje zamku przypominały elewacje kaplicy Loretańskiej w Gołębiu i pałacu Ossolińskich w Warszawie, która była innymi fundacjami Jerzego Ossolińskiego. Po śmierci Jerzego Ossolińskiego, jego córka Teresa wniosła zamek do majątku swojego męża Zygmunta Denhoffa (zm. 1655).