La infraestructura d'IA comprèn els sistemes físics i de programari utilitzats per desenvolupar, entrenar, desplegar i operar models i aplicacions d'intel·ligència artificial (IA). En un sentit estricte, el terme fa referència als recursos informàtics físics que sustenten la IA, incloent-hi semiconductors, processadors, memòria, servidors, emmagatzematge, equips de xarxa i centres de dades. Les descripcions més àmplies també inclouen el programari que fa que aquest maquinari sigui utilitzable, com ara controladors, compiladors, marcs d'aprenentatge automàtic, sistemes de gestió de recursos i plataformes al núvol.
La infraestructura d'IA és una part d'una cadena de subministrament d'IA més àmplia que també inclou dades de formació, models i aplicacions. Pot ser propietat d'una organització i estar-ne operada, obtinguda a través de la computació en núvol o proporcionada a través de programes de computació pública o nacional compartits. L'expansió de la IA ha convertit l'accés a xips avançats, capacitat al núvol, electricitat i llocs adequats en un tema de política industrial, política de competència i avaluació ambiental.
Àmbit d'aplicació i terminologia No hi ha un únic límit universal per a la infraestructura d'IA. Els informes de polítiques de vegades utilitzen el terme principalment per a recursos físics, en particular xips avançats i els sistemes de centres de dades en què operen. En la pràctica informàtica, el concepte relacionat de pila de computació es divideix habitualment en maquinari, programari i infraestructura, i les capes afecten mútuament el rendiment i el cost. Altres anàlisis situen el maquinari i la infraestructura al núvol com les dues primeres capes d'una cadena de subministrament que continua a través de dades, models de fonamentació i aplicacions.
Segons aquestes definicions, les dades, els algoritmes, els models entrenats i les aplicacions depenen de la infraestructura, però no es tracten necessàriament com a infraestructura en si mateixa. Un centre de dades d'IA és un component a nivell d'instal·lació de la infraestructura d'IA, més que no pas un sinònim de tota la pila. La infraestructura pot suportar càrregues de treball d'IA i no d'IA: la computació d'ús general i la computació accelerada comparteixen instal·lacions, emmagatzematge i alguns equips de xarxa, tot i que difereixen en processadors, requisits d'interconnexió, densitat de potència i cost.
Components Maquinari informàtic Els sistemes d'IA funcionen en unitats centrals de processament (CPU) i en acceleradors especialitzats que realitzen un gran nombre d'operacions en paral·lel. Els acceleradors comuns inclouen unitats de processament gràfic (GPU), circuits integrats específics d'aplicació (ASIC) i matrius de portes programables en camp (FPGA). Diferents càrregues de treball utilitzen diferents combinacions de processadors: l'entrenament de models a gran escala normalment es basa en acceleradors, mentre que algunes tasques d'inferència i de suport es poden executar en CPU d'ús general.
Els acceleradors s'assemblen en servidors i després en clústers. La seva utilitat depèn del programari de memòria, emmagatzematge, xarxa i sistemes associats, de manera que el nombre de processadors per si sol no descriu la capacitat d'IA utilitzable. La cadena de subministrament de semiconductors darrere d'aquests sistemes inclou el disseny de xips, l'equip de fabricació, la fabricació, l'embalatge i els materials. Està distribuït globalment però conté inputs geogràficament concentrats i etapes de producció especialitzades, cosa que crea dependències i possibles colls d'ampolla.
Memòria, emmagatzematge i xarxes L'entrenament i el funcionament de models d'IA requereixen moure dades entre processadors, memòria i emmagatzematge. Els servidors utilitzen memòria propera als processadors per a càlculs actius, mentre que els sistemes d'emmagatzematge conserven dades d'entrenament, resultats intermedis i fitxers de models desplegats. Les connexions d'ample de banda elevat enllacen processadors dins d'un servidor, servidors dins d'un clúster i clústers a xarxes d'emmagatzematge i externes.
Les grans càrregues de treball d'entrenament sovint es distribueixen entre moltes màquines. La distribució pot reduir el temps necessari per a un càlcul, però introdueix problemes de coordinació i comunicació, com ara com paral·lelitzar la formació de manera eficient i mantenir un model coherent entre els treballadors. En conseqüència, el rendiment del clúster no només depèn de la capacitat aritmètica, sinó també de l'amplada de banda de memòria, la latència de xarxa, l'amplada de banda de xarxa i la manera com es divideix el treball.
Centres de dades i serveis al núvol Els centres de dades proporcionen els edificis, els bastidors, els servidors, l'emmagatzematge, els equips de xarxa, la distribució d'energia, els sistemes de còpia de seguretat i la refrigeració necessaris per al funcionament del maquinari informàtic. Algunes organitzacions construeixen clústers privats, mentre que d'altres lloguen màquines virtuals, instàncies d'acceleració o serveis d'IA gestionats a proveïdors de núvol públic. Les regions al núvol són centres físics que situen la capacitat de càlcul en jurisdiccions geogràfiques i legals particulars.
Les plataformes al núvol combinen infraestructura amb eines de desenvolupament de models, bases de dades, serveis de seguretat i mercats d'aplicacions. Aquesta integració pot fer que recursos a gran escala estiguin disponibles sense construir un centre de dades privat, però també pot crear dependència tècnica i comercial de les interfícies, els serveis i l'ecosistema de programari d'un proveïdor.
Programari La capa de programari tradueix les operacions del model en treball que els processadors poden executar. Inclou controladors de dispositius, compiladors, biblioteques de programació i marcs d'aprenentatge automàtic, així com programari per assignar acceleradors, programar treballs i monitorar clústers. Els sistemes desplegats també necessiten canals de dades, sistemes que serveixen de models i controls d'accés.
Els sistemes d'aprenentatge automàtic de producció han de gestionar requisits com ara fluxos de dades grans i heterogenis, processament de baixa latència, gestió de recursos, seguretat i privadesa. Per tant, l'arquitectura del programari afecta l'eficiència en què es pot utilitzar la capacitat física i la fiabilitat amb què es pot integrar un model en una aplicació més gran.
Electricitat i refrigeració Els equips informàtics d'IA requereixen subministrament elèctric, conversió i distribució d'energia, sistemes d'alimentació ininterrompuda o altres sistemes de còpia de seguretat i refrigeració. Aquests sistemes de suport ocupen espai i consumeixen energia a més dels propis processadors. Els clústers accelerats poden requerir més energia i refrigeració que els servidors d'ús general, i els canvis ràpids en la càrrega de treball poden crear grans variacions en la càrrega elèctrica.
Per tant, l'emplaçament de la infraestructura es veu afectat per l'accés a connexions a la xarxa elèctrica, electricitat fiable, tecnologia de refrigeració, aigua, enllaços de telecomunicacions i terrenys adequats. Aquestes restriccions poden determinar si els projectes anunciats es construeixen i amb quina rapidesa la capacitat està disponible.
Formació i inferència L'entrenament d'aprenentatge automàtic utilitza dades per ajustar els paràmetres d'un model. Les execucions d'entrenament avançades poden ocupar grans clústers d'acceleradors durant períodes prolongats i utilitzar programari distribuït per dividir els càlculs i intercanviar resultats intermedis. Un estudi de sistemes històrics d'aprenentatge automàtic va estimar que la capacitat de càlcul de l'entrenament es va duplicar aproximadament cada sis mesos després de l'aparició de l'aprenentatge profund a principis de la dècada del 2010, tot i que les tendències varien segons la classe de model i el període de temps.
La inferència aplica un model entrenat a noves entrades. Els seus requisits d'infraestructura van des de petites implementacions sensibles a la latència fins a serveis d'alt volum que executen grans models en centres de dades. Algunes càrregues de treball d'inferència utilitzen acceleradors, mentre que models més petits o eficients poden executar-se en processadors d'ús general; el cost, el temps de resposta, el rendiment i la disponibilitat influeixen en l'elecció. L'eficiència del programari i del maquinari pot reduir els recursos necessaris per a un nivell de rendiment determinat. Entre novembre de 2022 i octubre de 2024, el cost d'inferència d'un sistema que funcionava al nivell de GPT-3.5 es va multiplicar per més de 280. Uns costos unitaris més baixos no necessàriament redueixen la demanda total d'infraestructures si el nombre, l'escala o la complexitat dels usos creixen.
Economia i accés Escala i estructura de mercat La infraestructura d'IA té costos fixos elevats en diverses capes. La producció de semiconductors avançats requereix instal·lacions i equips especialitzats, mentre que els operadors de núvols i centres de dades inverteixen en terrenys, edificis, sistemes d'alimentació, xarxes, emmagatzematge i un gran nombre de processadors. L'escala pot reduir els costos unitaris i donar suport a una gamma més àmplia de serveis, però també pot dificultar l'entrada per a les empreses més petites.
Les grans empreses tecnològiques operen en diverses capes de la cadena de subministrament d'IA, incloent-hi la infraestructura al núvol, el desenvolupament de models i les aplicacions. La integració vertical pot simplificar el desplegament i finançar grans inversions, alhora que planteja preocupacions sobre la competència en l'accés, el canvi, el tracte preferencial i la dependència d'un nombre reduït de proveïdors. L'Autoritat de Competència i Mercats del Regne Unit va concloure que la computació en núvol accelerada requeria una inversió significativa en xips acceleradors i infraestructura especialitzada, i que els grans costos irrecuperables i les economies d'escala eren barreres en els serveis al núvol.
Distribució geogràfica i capacitat pública La capacitat de computació de la IA està distribuïda de manera desigual. La capacitat del núvol públic s'organitza en regions, de manera que l'accés pràctic dels usuaris pot dependre de si hi ha maquinari especialitzat disponible a nivell nacional o en una jurisdicció propera. La ubicació també afecta la latència, les obligacions de governança de dades, la resiliència i l'exposició a restriccions comercials o de subministrament.
En conseqüència, els governs han considerat la capacitat informàtica pública, compartida o amb suport nacional. L'OCDE ha descrit la planificació informàtica nacional en termes de capacitat i utilització, accés efectiu i habilitats, i qüestions de resiliència, com ara la seguretat, la sobirania i la sostenibilitat. Aquests programes poden proporcionar accés a investigadors, institucions públiques i empreses més petites que no poden adquirir grans clústers directament, però que encara depenen de les cadenes globals de subministrament de semiconductors, xarxes i energia.
Impactes ambientals Els efectes ambientals de la infraestructura d'IA es produeixen al llarg del cicle de vida de l'equip. Inclouen l'energia i l'aigua utilitzades en la producció de semiconductors i el funcionament dels centres de dades, les emissions de gasos d'efecte hivernacle associades a la generació d'electricitat, els materials utilitzats en servidors i equips de suport, i els residus electrònics al final de la seva vida útil. L'avaluació ambiental pot distingir aquests efectes directes dels costos o beneficis ambientals indirectes de les aplicacions que utilitzen la IA.