miniatura|Antic centre de dades de Google a Eemshaven, Països Baixos Google utilitza grans instal·lacions de centres de dades per oferir els seus serveis, que combinen grans unitats, nodes informàtics organitzats en passadissos de racks, xarxes internes i externes, controls ambientals (principalment control de refrigeració i humidificació) i programari d'operacions (especialment pel que fa a l'equilibri de càrrega i la tolerància a fallades).
No hi ha dades oficials sobre quants servidors hi ha als centres de dades de Google, però Gartner va estimar en un informe del juliol de 2016 que Google en aquell moment tenia 2,5 milions de servidors. Aquesta xifra està canviant a mesura que l'empresa amplia la capacitat i actualitza el seu maquinari.
Maquinari Maquinari original miniatura|El primer rack de servidors de producció de Google, c. 1998 El maquinari original (cap al 1998) que va utilitzar Google quan estava ubicat a la Universitat de Stanford incloïa:. Stanford University (provided by Internet Archive). Retrieved on July 10, 2006.
Sun Microsystems Ultra II amb doble processadors de 256 MHz de 200 MB RAM. Aquesta era la màquina principal del sistema Backrub original. 2 × 300 Servidors Pentium II duals de 200 MHz donats per Intel, incloïen 512 MB de RAM i 10 × 9 GB de discs durs entre els dos. Va ser en aquests on es va dur a terme la cerca principal. F50 IBM RS/6000 donat per IBM, incloïa 4 processadors, 512 MB de memòria i 8 × 9 Uunitats de disc dur de GB. Dues caixes addicionals incloses 3 × 9 Discs durs de GB i 6 x 4unitats de disc dur de GB respectivament (l'emmagatzematge original per a Backrub). Aquests estaven connectats al Sun Ultra II. Caixa d'expansió de disc SSD amb un altre 8 × 9 unitats de disc dur de GB donades per IBM. Caixa de discs casolana que contenia 10 × 9 unitats de disc dur SCSI de GB.
Clúster de Google L'estat de la infraestructura de Google el 2003 va ser descrit en un informe de Luiz André Barroso, Jeff Dean i Urs Hölzle com una "infraestructura informàtica fiable a partir de clústers d'ordinadors bàsics poc fiables".
En aquell moment, de mitjana, una sola consulta de cerca llegia ~100 MB de dades i consumia Cicles de CPU. Durant l'hora punta, Google servia unes 1000 consultes per segon. Per gestionar aquesta càrrega punta, van crear un clúster de càlcul amb uns 15.000 PC de classe bàsica en lloc de maquinari de superordinador car per estalviar diners. Per compensar la menor fiabilitat del maquinari, van escriure programari tolerant a errors.
L'estructura del clúster consta de cinc parts. Els servidors web centrals de Google (GWS) donen a la Internet pública. En rebre una sol·licitud d'un usuari, el servidor web de Google es comunica amb un corrector ortogràfic, un servidor d'anuncis, molts servidors d'índex i molts servidors de documents. Cadascuna de les quatre parts respon a una part de la sol·licitud i el GWS reuneix les seves respostes i serveix la resposta final a l'usuari.
Els documents en brut tenien uns 100 TB i els fitxers d'índex uns 10 TB. Els fitxers d'índex estan fragmentats i cada fragment és servit per un "grup" de servidors d'índex. De la mateixa manera, els documents en brut també estan fragmentats. Cada consulta al fitxer d'índex genera una llista d'ID de documents, que després s'envien als servidors de documents per recuperar el títol i els fragments de paraules clau en context.
Hi havia diverses generacions de CPU en ús, des de la d'un sol processador 533 Servidors basats en Intel-Celeron de MHz a processadors duals de 1.4 Intel Pentium III a 80 GHz. Cada servidor contenia un o més discs durs, de 80 GB cadascun. Els servidors d'índex tenen menys espai en disc que els servidors de documents. Cada bastidor tenia dos commutadors Ethernet, un per cada costat. Els servidors de cada costat s'interconnectaven mitjançant un enllaç de 100 Mbps. Cada commutador tenia un enllaç ascendent d'uns 250 MB/s a un commutador central que es connectava a tots els bastidors.
Els objectius del disseny inclouen:
Utilitzeu maquinari de consum de baixa fiabilitat i compenseu-ho amb programari tolerant a errors. Maximitzar el paral·lelisme, com ara dividint una cerca de coincidència de document únic en un índex gran en un MapReduce sobre molts índexs petits. Dades i càlcul de l'índex de particions per minimitzar la comunicació i equilibrar uniformement la càrrega entre els servidors, ja que el clúster és una màquina gran de memòria compartida. Minimitzar les despeses generals de gestió del sistema desenvolupant tot el programari internament. Trieu maquinari que maximitzi el rendiment/preu, no el rendiment absolut. Trieu maquinari que tingui un alt rendiment en lloc d'una alta latència. La raó és que les consultes es serveixen amb un paral·lelisme massiu, amb molt pocs passos dependents i una comunicació mínima entre servidors, de manera que una latència alta no importa.
A causa del paral·lelisme massiu, l'escalat del maquinari augmenta la quantitat de treball de manera lineal, és a dir, duplicar el clúster de càlcul duplica el nombre de consultes que es poden servir per segon.
El clúster està format per bastidors de servidors en 2 configuracions: 40 x 1u per costat amb 2 costats o 20 x 2u per costat amb 2 costats. El consum d'energia és de 10 kW per rack, amb una densitat de 400 W/ft^2, consumint 10 MWh al mes, amb un cost de 1.500 dòlars al mes.
Maquinari de producció A partir del 2014, Google ha utilitzat una versió molt personalitzada de Debian Linux. Van migrar des d'un sistema basat en Red Hat de manera incremental el 2013.
L'objectiu de la personalització és comprar generacions de CPU que ofereixin el millor rendiment per dòlar, no el rendiment absolut. Com es mesura això no és clar, però és probable que incorpori els costos de funcionament de tot el servidor, i el consum d'energia de la CPU podria ser un factor significatiu. Els servidors del 2009-2010 consistien en sistemes oberts fets a mida que contenien dos processadors (cadascun amb diversos nuclisComputer Architecture, Fifth Edition: A Quantitative Approach, ; Chapter Six; 6.7 "A Google Warehouse-Scale Computer" page 471 "Designing motherboards that only need a single 12-volt supply so that the UPS function could be supplied by standard batteries associated with each server"), una quantitat considerable de RAM repartida en 8 ranures DIMM que allotjaven DIMM de doble alçada i almenys dos discs durs SATA connectats a través d'una font d'alimentació de mida ATX no estàndard. Els servidors eren oberts perquè poguessin cabre més servidors en un rack. Segons CNET i un llibre de John Hennessy, cada servidor tenia una nova bateria de 12 volts per reduir costos i millorar l'eficiència energètica.Google uncloaks once-secret server, April 1, 2009.
Segons Google, la potència elèctrica del seu centre de dades global oscil·lava entre els 500 i els 681 megawatts el 2010.] La potència de processament combinada d'aquests servidors podria haver arribat a entre 20 i 100 petaflops el 2008.Google Surpasses Supercomputer Community, Unnoticed? , May 20, 2008.
Topologia de xarxa Els detalls de les xarxes privades mundials de Google no estan disponibles públicament, però les publicacions de Google fan referència a l'informe "Atlas Top 10" que situa Google com el tercer proveïdor de serveis d'Internet més gran, darrere del Level 3.
Per tal de gestionar una xarxa tan gran, amb connexions directes a tants proveïdors d'Internet com sigui possible al menor cost possible, Google té una política de peering molt oberta.
Des d'aquest lloc, podem veure que es pot accedir a la xarxa de Google des de 67 punts d'intercanvi públics i 69 ubicacions diferents arreu del món. El maig de 2012, Google tenia 882 Gbit/s de connectivitat pública (sense comptar els acords de peering privat que Google té amb els proveïdors d'Internet més grans). Aquesta xarxa pública s'utilitza per distribuir contingut als usuaris de Google, així com per rastrejar Internet per construir els seus índexs de cerca. El costat privat de la xarxa és un secret, però una revelació recent de Google indica que utilitzen encaminadors de commutació d'alt radix fets a mida (amb una capacitat de port Ethernet Gigabit de 128 × 10) per a la xarxa d'àrea extensa. Si s'executen no menys de dos encaminadors per centre de dades (per redundància), podem concloure que la xarxa de Google escala en el rang de terabits per segon (amb dos encaminadors completament carregats, l'amplada de banda biseccional ascendeix a 1.280 Gbit/s).
Aquests encaminadors-commutadors personalitzats estan connectats a dispositius DWDM per interconnectar centres de dades i punts de presència (PoP) a través de fibra fosca.
Des d'una perspectiva de centre de dades, la xarxa comença al nivell de rack, on els racks de 19 polzades es fabriquen a mida i contenen de 40 a 80 servidors (de 20 a 40 servidors d'1 U a cada costat, mentre que els servidors nous són sistemes de muntatge en rack de 2U.Web Search for a Planet: The Google Cluster Architecture (Luiz André Barroso, Jeffrey Dean, Urs Hölzle) Cada rack té un commutador Ethernet). Els servidors es connecten mitjançant un 1 enllaç Ethernet de Gbit/s al commutador de la part superior del rack (ToR). Els commutadors ToR es connecten a un commutador de clúster de gigabit mitjançant múltiples enllaços ascendents de gigabit o deu gigabit. Els commutadors del clúster estan interconnectats i formen el teixit d'interconnexió del centre de dades (molt probablement utilitzant un disseny de libèl·lula en lloc d'un disseny clàssic de papallona o papallona aplanadaDenis Abt High Performance Datacenter Networks: Architectures, Algorithms, and Opportunities).
Des del punt de vista operatiu, quan un ordinador client intenta connectar-se a Google, diversos servidors DNS resolen www.google.com en múltiples adreces IP mitjançant la política Round Robin. A més, això actua com a primer nivell de balanceig de càrrega i dirigeix el client a diferents clústers de Google. Un clúster de Google té milers de servidors i, un cop el client s'ha connectat al servidor, es fa un balanceig de càrrega addicional per enviar les consultes al servidor web menys carregat. Això converteix Google en una de les xarxes de distribució de contingut més grans i complexes.
Google té nombrosos centres de dades repartits arreu del món. Almenys 12 instal·lacions importants de centres de dades de Google es troben als Estats Units. Els centres més grans coneguts es troben a The Dalles, Oregon; Atlanta, Geòrgia; Reston, Virgínia; Lenoir, Carolina del Nord; i Moncks Corner, Carolina del Sud. A Europa, els centres més grans coneguts es troben a Eemshaven i Groningen als Països Baixos i Mons, Bèlgica. L' Oceania Data Center de Google es troba a Sydney, Austràlia.
Topologia de xarxa de centres de dades Per donar suport a la tolerància a fallades, augmentar l'escala dels centres de dades i adaptar-se a commutadors de baix radix, Google ha adoptat diverses topologies Clos modificades en el passat.
Projecte 02 miniatura|Centre de dades de Google a The Dalles, Oregon Un dels centres de dades més grans de Google es troba a la ciutat de The Dalles, Oregon, al riu Columbia, aproximadament a 129 quilòmetres (80 milles) de Portland. Amb el nom en clau "Projecte 02", el complex es va construir el 2006 i té aproximadament la mida de dos camps de futbol americà, amb torres de refrigeració de quatre pisos d'alçada.Markoff, John; Hansell, Saul. "Hiding in Plain Sight, Google Seeks More Power." New York Times. June 14, 2006. Retrieved on October 15, 2008.Google "The Dalles, Oregon Data Center" Retrieved on January 3, 2011. El lloc va ser escollit per aprofitar l'energia hidroelèctrica barata i per aprofitar el gran excedent de cable de fibra òptica de la regió, un vestigi del boom de les puntcom. Un plànol del lloc va aparèixer el 2008.Strand, Ginger. "Google Data Center" Harper's Magazine. March 2008. Retrieved on October 15, 2008.
Summa papermill