Książę jednak ponownie zaatakował, ale po nieskutecznej próbie odzyskania Oświęcimia, uciekł na zamek Wołek, na którym odbudował fortyfikacje. Stamtąd książę nadal wspierał bandy zbójców (m.in. tzw. „Braci”) rabujące pograniczne tereny Małopolski. W 1453 roku księcia na zamku oblegały wojska króla Kazimierza Jagiellończyka pod dowództwem Jana Tęczyńskiego. Późną jesienią książę Jan IV oświęcimski, nie widząc szans na zwycięstwo, ostatecznie poddał się królowi, po czym sprzedał mu księstwo oświęcimskie za 50 000 grzywien, a zamek przeszedł we władanie króla Kazimierza.
Prawdopodobnie zamek nie został nigdy zdobyty przez rycerzy-rozbójników z Barwałdu pod dowództwem Włodka i Katarzyny Skrzyńskich herbu Łabędź. W 1462 Borzywoj i Włodek Waltburgh Skrzyńscy założyli warownię Bukowiec na Bukowskim Groniu, w pobliżu Wołka, gdzie byli oblegani przez 8 miesięcy. Ostatecznie ich warownia została zdobyta przez rycerzy królewskich dowodzonych przez Piotra Komorowskiego i Mikołaja Pieniążka z Witowic.