Historia thumb|Plan Twierdzy Tower z Białą Wieżą z 1597 roku Jej powstanie szacuje się na około 1100 rok (prawdopodobnie 1097 rok, chociaż źródła nie są zgodne i podają także datę 1087). Wieża została zaprojektowana przez Gundulfa, biskupa Rochester i zbudowana z kamienia specjalnie sprowadzonego z Francji. Jej budowę rozpoczął Wilhelm Zdobywca w 1070 roku, aby wzmocnić swą militarną pozycję w dopiero co podbitym kraju. Budowę thumb|left|Wizerunek wieży na XV wiecznym manuskrypcie z poematami Karola Orleańskiego, byłego więźnia wieży dokończyli następcy - Wilhelm II Rudy i Henryk I. Znajdowała się wówczas w południowo-wschodnim kącie miasta, bezpośrednio przylegającym do Tamizy. Charakterystyczną cechą była jedna wieża o wysokości 30 metrów, najwyższa w Londynie w ówczesnych czasach, a także z czasem symbol władzy królewskiej.
W XII wieku król Ryszard I Lwie Serce stworzył z Białej Wieży twierdzę otoczoną fosą. Wydrążoną fosę miała napełniać woda z Tamizy, ale założenia te udało się zrealizować dopiero Henrykowi III w XIII wieku. Zatrudniono wtedy holenderskich budowniczych, którzy oprócz fosy dokończyli także zrefundowaną w 1240 roku przez Henryka III kaplicę św.