16 czerwca 2001, po rozpadzie wielkiej koalicji w Berlinie, został wybrany na nowego burmistrza Berlina. Po wyborach lokalnych w tym samym roku uzyskał reelekcję, zawiązując koalicję z postkomunistyczną PDS. Od listopada 2001 do października 2002 pełnił funkcję przewodniczącego Bundesratu. Urząd burmistrza Berlina utrzymywał również po wyborach w 2006 i w 2011, po ostatnich z nich w ramach porozumienia z CDU. W sierpniu 2014 ogłosił swoją rezygnację, kończąc urzędowanie 11 grudnia tegoż roku.
Życie prywatne W 2001 przed wyborami na burmistrza Berlina na partyjnej konwencji wypowiedział zdanie Ich bin schwul – und das ist auch gut so [...] (pol. Jestem gejem – i tak też jest dobrze [...]), co stanowiło jego publiczny coming out. Jego wieloletni partner, lekarz Jörn Kubicki, zmarł w 2020 na skutek choroby COVID-19.
Publikacje ...und das ist auch gut so. Mein Leben für die Politik (współautor), Blesing, Monachium 2007, . Mut zur Integration: Für ein neues Miteinander, Vorwärts-Buch, Berlin 2011, .