Od 1562 roku właścicielami Kotorowa stali się Łysakowscy, ale w 1582 roku wieś należała już do Piotra Stabrowskiego. W I połowie XVII wieku dziedzicami wsi byli Chrzanowscy, a w 1674 roku właścicielem wsi był Andrzej Wiśniowski, podstarości grodzki chełmski, żonaty z Zofią Świrską. Zmarł on między 1665 a 1668 rokiem, a wdowa po nim wyszła za mąż za Jana Karola Romanowskiego. Prawdopodobnie Kotorów trafił w ręce Firlejów. Część majątku po Firlejach w 1754 roku otrzymały dzieci Antoniego Gołuchowskiego i Anny Goskowskiej, z których Józef sprzedał swoją część bratu Konstantemu w 1763 roku, Marianna sprzedała swojemu mężowi Kempistemu w 1764 roku i Hrynieckiemu w 1780 roku a Konstanty sprzedał swoją część Małachowskiemu. Na początku XIX wieku wieś wchodziła w skład dób Werbkowice należących do Szydłowskich. Pierwszym właścicielem z tej rodziny był Adam Szydłowski z herbu Lubicz. Po nim majątek mocno zaniedbany odziedziczył jego syn Antoni, który w krótkim czasie doprowadził gospodarstwo do rozkwitu specjalizując się w hodowli owiec. Następnym właścicielem wsi był syn Antoniego - Teodor. Spis z 1827 roku notował wieś w powiecie hrubieszowskimi parafii Hrubieszów. Liczyła wówczas 16 domów i 110 mieszkańców. Pod koniec XIX wieku wieś liczyła 48 domów i 606 morgów ziemi włościańskiej.