Wisła Płock (2002/03-2003/04) Po spadku KSZO do drugiej ligi Kapsa odszedł do Wisły Płock, gdzie początkowo pierwszym bramkarzem był Sylwester Wyłupski. Kwota transferu nie została ujawniona. Podczas gry w Wiśle występował zazwyczaj z numerem 21.
W sezonie 2002/03 rozegrał w sumie 16 meczów w seniorskiej kadrze, w tym 8 w lidze i 8 w Pucharze Polski. Strzelono mu 4 bramki w ekstraklasie, w tym jedną w meczu z Legią Warszawa. Mecz ten został zweryfikowany jako walkower, gdyż w Wiśle na boisku od 59. do 65. minuty grało 6 obcokrajowców (ówczesne przepisy pozwalały na 5). W pucharze stracił 5 bramek, w tym 3 w finale Pucharu Polski z Wisłą Kraków. W sezonie 2003/04 zagrał 14 razy w Ekstraklasie, w tym raz zmieniając Jakuba Wierzchowskiego. Drugi bramkarz Wisły, Jakub Wierzchowski, zagrał w jednym meczu mniej od Kapsy. Wisła Płock zakończyła rozgrywki na 5. miejscu. 28 sierpnia 2003 Kapsa zadebiutował w Pucharze UEFA z łotewskim FK Ventspils. Wisła to spotkanie zremisowała 2:2. Pierwszy mecz, na Łotwie, skończył się remisem 1:1. Z uwagi na regułę bramek na wyjeździe do dalszej rundy zespół z Łotwy awansował. W Pucharze Polski zespół Wisły Płock odpadł w II rundzie, od której rozpoczynał grę. Przegrał z drugim zespołem Odry Opole.