W sierpniu 2006 za 4,7 miliona euro przeszedł do innego pierwszoligowca – Werderu Brema. Pod wodzą trenera Thomasa Schaafa szybko stał się kluczową postacią w defensywie klubu, tworząc z Naldo znakomity duet środkowych obrońców, który zyskał przydomek „Bliźniacze Wieże” ze względu na ich łączny wzrost, umiejętności w powietrzu i dominującą postawę. W jego barwach zadebiutował 27 września 2006 w zremisowanym 1:1 meczu Ligi Mistrzów z FC Barceloną. Pierwszy ligowy występ dla Werderu zanotował 30 września 2006 przeciwko Borussii Mönchengladbach (3:0). Od czasu debiutu Mertesacker jest podstawowym zawodnikiem Werderu. W sezonie 2006/2007 w Lidze Mistrzów zajął z klubem 3. miejsce w swojej grupie. Wówczas Werder został przesunięty do Pucharu UEFA, w którym dotarł do półfinału. W sezonie 2007/2008 Mertesacker wywalczył z klubem wicemistrzostwo Niemiec. 22 czerwca 2008 przedłużył kontrakt z Werderem do 2012 roku. W 2009 roku zdobył z Werderem Puchar Niemiec. Zagrał z nim także w finale Pucharu UEFA, ale Werder przegrał tam po dogrywce 1:2 z Szachtarem Donieck.