Według spisu podatkowego z 1578 roku obszar Żółtowa obejmował następujące części: Żółtowo Gardzyny (prawie 3 łany), Żółtowo Żabiki (9 i ¼ łana w 8 działach), Żółtowo Miski (Myszki) 2 i pół łana w 3 działach, Żabiki Myszewo 2 łany w 3 działach i Żółtowo Żuki (prawie 3 łany w 10 działach) oraz Żółtowo Żegadły 1 i ½ łana.
W XIX wieku wieś zwano już Żółtowo Wielkie, w 1827 roku liczyła 11 domów i 77 mieszkańców. W 1895 roku wieś podzielona była między wielu szlachty, należało do nich 219 mórg ziemi, tylko 8 mórg należało do chłopów. Było tu również 360 mórg ziemi dworskiej. W okresie międzywojennym miejscowość dzieliła się na wieś i folwark. W sumie w 1921 roku było tu 10 domów i 97 mieszkańców. Na początku XX wieku folwark Żółtowo Wielkie należał do Florentyna Kotarskiego, kolejnym właścicielem był Aleksander Mieszkowski (375 ha). Warto wspomnieć, że Żółtowscy herbu Ogończyk w XIX wieku uzyskali tytuły hrabiowskie od króla pruskiego i papieża. Należeli do arystokracji, posiadali liczne majątki w Wielkopolsce i Królestwie Polskim.