Tak wielki talent jak Olić nie mógł pozostać niezauważony przez skautów z drużyn z najlepszych lig Europy. Latem 2003, za 5 milionów euro, Olić przeszedł do rosyjskiego CSKA Moskwa. W drużynie CSKA Olić występował w ataku z jeszcze młodszymi od niego zawodnikami – Brazylijczykami Vagnerem Love oraz Jô. Z moskiewską drużyną zdołał już 2-krotnie wywalczyć tytuł mistrza Rosji (2003 i 2005) oraz 2-krotnie zdobyć Puchar Rosji (2004 i 2006). Olić ma udział także w największym sukcesie w historii klubu – jest zdobywcą Pucharu UEFA z 2005.

Zimą 2007, Olić podpisał 2,5-letni kontrakt z zespołem Bundesligi, Hamburger SV. Suma transferu wyniosła 2 miliony euro. W 70 spotkaniach Bundesligi Chorwat strzelił dla nowego klubu 26 goli.

3 stycznia 2009 Olić podpisał 3-letni kontrakt z Bayernu Monachium, do którego przeszedł na prawie Bosmana. Do zespołu dołączył oficjalnie 1 lipca.

W styczniu 2010 został wybrany w plebiscycie zorganizowanym przez dziennik „Večernji list” najlepszym chorwackim piłkarzem 2009. Okazał się lepszy od swoich kolegów z reprezentacji – Darijo Srny i Niko Kranjčara.

W styczniu 2015 ponownie wrócił do zespołu Bundesligi, Hamburgera SV.