Przejście do Cardiff City pod koniec marca 2003, również nie poprawiło sytuacji, bowiem tam również był tylko rezerwowym.
Ostatecznie West Ham spadł z ligi w sezonie 2002-2003 i David James przeniósł się do Manchesteru City, a Bywater został pierwszym bramkarzem West Hamu, grając w 23 spotkaniach w sezonie, a West Ham poległ w walce o Premier League z Crystal Palace przegrywając 0:1. W czerwcu 2004 przedłużył kontrakt z klubem o trzy lata.
W czerwcu 2004 w West Hamie pojawił się Jimmy Walker, który został sprowadzony z Walsall, aby być konkurencją dla Bywatera. Bywater zagrał 39 spotkań w sezonie 2004-2005, kiedy to West Ham ponownie awansował do Premier League.
Po pojawieniu się w klubie Roya Carolla w czerwcu 2005 i ustępowaniu miejsca Shace Hislopowi Bywater po raz kolejny nie mógł zbyt często grać w West Hamie, toteż dołączył do Coventry City w sierpniu 2005 na zasadzie wypożyczenia do końca roku 2005, gdzie zaliczył 14 występów. Po urazie jakiego doznał Roy Carroll w październiku 2005, Bywater powrócił na resztę sezonu 2005-2006 do West Hamu, zaliczając jeden mecz przeciwko West Bromwich Albion w listopadzie 2005.