Właścicielami połowy dworu byli w 1691 Serebryscy, a połowy Krasińscy. W 1702 dwór Węglińskiego, leżący z drugiej strony wsi, przejął Jan Serebryski. W latach 1714–1751 właścicielami części wsi byli Jasieńscy, a w 1739 Jerzy Serebryski.
W 1739 roku dobra te kupił Józef Łopuski h. Ślepowron, miecznik chełmski, który rozbudował dwór według projektu Pawła Antoniego Fontany. Potem właścicielami Serebryszcz byli synowie miecznika, Kajetan i Antoni Łopuscy. W 1799 wdowa po Kajetanie, Eufrozyna z Suchodolskich, przekazał dobra serebryskie siostrze zmarłego, Eufrozynie z Łopuskich Horeckiej. Eufrozyna i Teodor Horeccy posiadali Srebrzyszce do 1811, kiedy to dobra zostały sprzedane byłemu podkomorzemu chełmskiemu Franciszkowi Kunickiemu, właścicielowi Kamienia, Czułczyc i Łowczy. W 1819 Kunicki sprzedał majątek za 404 000 zł baronowi Antoniemu Grothusowi, majorowi wojska polskiego i dziedzicowi Pławnic.
W 1824 właścicielką majątku została teściowa majora, Justyna z Grabowskich Sokołowska. W 1870 przeszedł on na własność Klemensa Lechnickiego h. Zadora (powstańca styczniowego) – wieś była posagiem jego żony Karoliny Zawadzkiej.