Budowla została wzniesiona jako rezydencja magnacka.

Po śmierci hrabiego w 1843 zamek stał się własnością jego siostry, która jednak szybko go sprzedała. Później posiadacze zmieniali się często, aż w 1860 kupili go bracia Rohrbachowie, właściciele huty szkła w Batorowie. Córka jednego z nich, Helena Klein wraz z mężem przeprowadziła remont, podczas którego dobudowano kaplicę.

Następnie właścicielami byli Misjonarze Świętej Rodziny. Rozbudowali oni zamek i kaplicę oraz rozpoczęli budowę Kalwarii, której nie dokończyli ze względu na wojnę. W latach 50. zamek został przejęty przez państwo i zamieniony w dom pomocy społecznej dla niepełnosprawnych intelektualnie mężczyzn. W 2006 orzeczeniem Komisji Majątkowej przy MSWiA oddano zamek Domowi Zakonnemu Misjonarzy Świętej Rodziny. Decyzja Komisji została zaskarżona przez powiat kłodzki na drodze postępowania sądowego. W styczniu 2020 nastąpiła likwidacja miejscowego domu pomocy społecznej, a obiekt udostępniono do zwiedzania.