Przypuszcza się, że na miejscu obecnego zamku już na początku XI wieku, w okresie sporów Bolesława Chrobrego z Czechami o ziemię kłodzką, istniał niewielki gródZbygniew Martynowski, Krzysztof R. Mazurski: Sudety. Ziemia Kłodzka i Góry Opawskie, Sport i Turystyka, Warszawa 1978, s. 251-252. Kamienny zamek został zbudowany w późniejszym okresie przez polskich rycerzy. Pod koniec XIII wieku, czeski król Wacław II podarował zamek opactwu cystersów z Kamieńca Ząbkowickiego, ale zamek nie był długo w rękach zakonu, ponieważ w 1318 roku został po raz pierwszy zniszczony. Po odbudowie w drugiej połowie XIV wieku zamek objęli w posiadanie rycerze czescy. W 1358 roku właścicielem zamku i okolicznych dóbr był Otto Schuler, syn wywodzącego się z Łużyc rycerza Ottona von Glaubitza, właściciela Międzylesia. Z tego też okresu pochodzi pierwsza pewna wzmianka pisana o zamku (Otton de Glubocz, nunccupato de Snellinstein). Rodzina Glaubitzów prawdopodobnie otrzymała tę posiadłość na początku XIV wieku, w związku z objęciem ziemi kłodzkiej przez Jana Luksemburskiego. Do 1428 roku panem na Szczerbie był Bernhard Glaubitz, starosta kłodzki.