III ćwierć XIV w. - zapewne w tym czasie powstaje zamek, zbudowany przez Ottona z Pilczy, starostę ruskiego a następnie wojewodę i starostę sandomierskiego; 1394 r. – pierwsza pewna wzmianka o zamku, w której wymieniony jest kapelan zamkowy Dominik; 1396 r. – wymieniony został burgrabia zamkowy; przełom XIV i XV w. – właścicielką zamku jest Elżbieta Pilecka-Granowska, córka Ottona z Pilczy, od 1417 r. trzecia żona króla Władysława Jagiełły; 1414 r. – panem na zamku został syn Elżbiety Granowskiej – Jan Pilecki (ok. 1405–1476) (Jan Granowski) herbu Leliwa. Zamek na 200 lat staje się własnością rodu Leliwitów; 1432 r. – wymienione podzamcze z folwarkiem i innymi zabudowaniami gospodarczymi; lata 1492–1515 – na zamku przebywał Biernat z Lublina, który pełnił funkcję kapelana kaplicy zamkowej oraz prywatnego lekarza i sekretarza Jana Pileckiego. Biernat z Lublina w listach bardzo chwalił ten pobyt i podziwiał bogactwo biblioteki zamkowej; 1577 r. – zamek od Anny Pileckiej kupił kasztelan oświęcimski Wojciech Padniewski herbu Nowina i zamieszkał w dworze pod zamkiem (w wielu przewodnikach turystycznych i innych wydawnictwach pojawia się nieprawdziwa informacja, że od Pileckich nabył zamek Seweryn Boner, jednak zamek w Smoleniu nigdy nie należał do Bonerów. Po Pileckich przeszedł od razu w ręce Padniewskiego.