W 2006 roku Gorkšs wrócił na Łotwę i został zawodnikiem FK Ventspils. Na koniec roku został z Ventspilsem mistrzem Łotwy. W 2007 roku odszedł do angielskiego Blackpool, z którym wywalczył awans z Football League One do Football League Championship. W Blackpool grał też w sezonie 2007/2008.
W 2008 roku Gorkšs odszedł z Blackpool do Queens Park Rangers. Zadebiutował w nim 9 sierpnia 2008 w zwycięskim 2:1 meczu z Barnsley. W 2011 roku awansował z Queens Park Rangers do Premier League.
Po awansie QPR Gorkšs odszedł z klubu i podpisał 3-letni kontrakt z grającym w Championship klubem Reading.
Następnie został wypożyczony do klubu Wolverhampton Wanderers F.C. dla którego zagrał 15 meczów.
W sezonie 2014/2015 Kaspars występował w Colchester United F.C.
Po opuszczeniu Anglii, obrońca podpisał kontrakt z greckim zespołem FK Ergotelis, w którym występował w 2015 roku. W sezonie 2015/2016 grał dla czeskiego zespołu FK Dukla Praga.
Po odejściu z Dukli Gorkšs wrócił na Łotwę trafiając do FK Liepāji i w 2016 roku zaliczył 13 spotkań. W 2017 występował w barwach Riga FC, w barwach której zagrał 19 razy i strzelił 3 bramki. Po sezonie 2017 za pośrednictwem mediów społecznościowych ogłosił zakończenie kariery.