Harper walczył z Givenem o miejsce w podstawowym składzie, najlepiej poradził on sobie w sezonie 1998/1999, kiedy to zagrał w ośmiu ligowych meczach. Anglik grał także w finale Pucharu Anglii w tym sezonie, który jednak jego klub przegrał 2:0 z Manchester United. Ówczesny szkoleniowiec Newcastle, Ruud Gullit twierdził, że Harper bardziej zasługiwał na grę niż Given. Jednak na początku sezonu 1999/2000 Gullit przestał być trenerem zespołu i Harper stał się drugim bramkarze. Mimo to Anglik wystąpił w niemal 30 ligowych spotkaniach tego sezonu z powodu kontuzji Irlandczyka. Kiedy on jednak powrócił, Harper dalej zasiadał na ławce rezerwowych.
W 2002 zaliczył kilka występów w Lidze Mistrzów, między innymi z Juventusem, w którym jego zespół wygrał 1:0 a on sam zachował czyste konto. Wygrana ta zapewniła Newcastle awans do fazy pucharowej.
Harper złożył prośbę o transfer do innego klubu jako przyczynę podając brak miejsca w podstawowym składzie (to samo zrobił Given w grudniu 2000, kiedy stracił miejsce w składzie na rzecz Harpera).