Pierwsza wzmianka dotycząca zamku pochodzi dopiero z 22 stycznia 1515 r., wg której Andrzej Ciołek de Zelechow et Borzecz darowuje swemu bratu przyrodniemu Żeliksowi de Zelanka (Feliksowi z Zielanki), staroście łukowskiemu, połowę miasta i fortalicji wraz z przedmieściem i wsiami Lumnycza, Wola Zelechowska i źrebem Ostrozinye, Borzec i Borowe prawem dziedzicznym. Drugą połowę zastawił temuż Żeliksowi za 1000 grzywien długuWierzbowski T. (red.), Metricularum Regni Poloniae Summaria 4. Warszawa 1910, s. 2380, 4208..
Ponownie obiekt został wzmiankowany w dokumencie z 11 kwietnia 1523 roku, w którym król Zygmunt Stary wystawił polecenie dla Mikołaja z Szydłowca, kasztelana sandomierskiego, skarbnika królestwa i starosty radomskiego, aby ten wwiązał Jana Czolek de Zelechow nawet siłą w dobra Żeliksa de Zyelyanka, kasztelana chełmskiego i starosty łukowskiego, to jest do miasta Zelechow cum fortalitio i wsi Vola Zelechowska, Ostrozenye i Lomnycza. Przypuszczalnie niedługo później zamek został uszkodzony przez pożar, ale go odbudowano. Zamek w Żelechowie był główną siedzibą rodu Ciołków do XVI wieku, a następnie przenieśli się do niedalekiego zamku w Wilczyskach, a zamek w Żelechowie stał się centrum jednego z ich folwarków, pełniąc odtąd tylko funkcje gospodarcze.