Jego matka pochodziła z rodziny jakobickiej – jej ojciec podczas powstania w 1715 roku popierał pretendenta Jakuba Stuarta; Samuel z kolei był zagorzałym zwolennikiem przeciwnej pretendentowi dynastii hanowerskiej – co niedzielę zmuszał swoje dzieci, by na kolanach piły zdrowie króla. Pellewowie od pokoleń zamieszkiwali Kornwalię, lecz swoje korzenie wywodzili od francuskich Normanów.
W 1765 roku zmarł Samuel. Trzy lata później wdowa ponownie wyszła za mąż, a rodzina przeniosła się do Penzance; skromnie uposażony Edward trafił do szkoły w Truro. Prędko wyrobił sobie renomę zaradnego i odważnego chłopca – mając niecałe 12 lat wdarł się do płonącego budynku, z którego wydobył składowane tam beczki z prochem strzelniczym. Przyszły admirał miał wojowniczy charakter: wdawał się w niezliczone bójki i mecze bokserskie. Kiedy po jednym z takich wydarzeń miano ukarać go chłostą, Edward zagroził iż wstąpi do marynarki – w obliczu takiego postanowienia oraz przejawianego zamiłowania do morza jego opiekun postanowił zapisać go do służby. Pod koniec 1770 roku dostał się do Royal Navy na okręt „Juno” pod komendę kapitana Johna Slotta.