Dzieciństwo i młodość Ojciec Anthony’ego Seldona, Arthur Seldon (1916–2005), był najmłodszym synem żydowskich uciekinierów z Rosji, którzy zmarli w czasie pandemii hiszpańskiej grypy w 1919 roku, gdy A. Seldon-senior miał trzy lata. Dorastał we wschodnim Londynie w ubogiej rodzinie adopcyjnej. Przeżycia wczesnego dzieciństwa pozostawiły ślady w jego psychice (brak pewności siebie, jąkanie, zob. zaburzenia nerwicowe), jednak zdobył wykształcenie w London School of Economics, a w 1955 roku wspólnie z Ralphem Harrisem z High Cross (późniejszym Lordem) założył Institute of Economic Affairs, w którym odegrał istotną rolę.
Matka Anthony’ego Seldona, Marjorie Seldon (1919–2014), wytrwale zabiegała o emocjonalny spokój w domu i o umocnienie pewności siebie męża, wspierała go też w czasie podróży służbowych (m.in. na spotkania Stowarzyszenia Mont Pelerin), jednak zdaniem Anthony’ego Seldona na atmosferę rodzinnego domu mogły rzutować jej niepokoje – np. pamięć trudnej przeszłości.