miniatura|La telemetria es recopila de tres capes d'un sistema d'IA (infraestructura, model i sortida) i s'agrega mitjançant la capa d'observabilitat. L'observabilitat de la IA és la pràctica de recopilar i analitzar telemetria, dades com ara registres, mètriques i traces que un sistema registra automàticament a mesura que s'executa, de sistemes d'intel·ligència artificial desplegats en producció, per tal d'entendre com es comporten i quin és el seu rendiment en termes de precisió, cost i seguretat. Aplica la idea d'observabilitat, que prové de la teoria del control i l'enginyeria de programari, a sistemes basats en models d'aprenentatge automàtic, i en particular a models de llenguatge gran (LLM) i agents autònoms. En teoria de control, l'observabilitat és una mesura de com de bé es pot inferir l'estat intern d'un sistema a partir de les seves sortides externes.

L'observabilitat de la IA sovint es distingeix de la monitorització convencional. Quan la monitorització es basa en mètriques, llindars i alertes predefinits per indicar que s'ha produït un problema, l'observabilitat té com a objectiu proporcionar prou context per entendre per què s'ha produït. La distinció és important per als sistemes d'IA en particular, perquè un sistema pot semblar saludable segons les mesures d'infraestructura estàndard, com ara la latència o la taxa d'error, mentre que encara produeix respostes incorrectes, irrellevants o insegures.

Un dels senyals que l'observabilitat de la IA rastreja és el canvi en el comportament d'un model al llarg del temps, un fenomen estudiat en l'aprenentatge automàtic amb el nom de deriva conceptual. L'observabilitat de la IA està estretament relacionada amb les MLOps (operacions d'aprenentatge automàtic) i de vegades es tracta com una de les seves parts. Quan s'aplica específicament a models de llenguatge o a sistemes basats en agents, també s'anomena observabilitat LLM o observabilitat de l'agent.

Rerefons El terme observabilitat té el seu origen en la teoria del control, on va ser introduït per Rudolf E. Kálmán el 1960 per descriure com de bé es poden inferir els estats interns d'un sistema dinàmic a partir de les mesures de les seves sortides. En enginyeria de programari, el terme es va popularitzar a partir de mitjans de la dècada del 2010 per descriure la capacitat d'entendre l'estat intern de sistemes distribuïts complexos a partir de la telemetria que produeixen, comunament organitzada en els "tres pilars" de registres, mètriques i traces.

L'aplicació de l'observabilitat als sistemes d'IA planteja reptes que no sorgeixen en el programari convencional. En els sistemes tradicionals, s'espera que les entrades i els estats idèntics produeixin sortides idèntiques, i els errors normalment es poden rastrejar a seccions de codi específiques. Els models d'aprenentatge automàtic mostregen a partir de distribucions de probabilitat, de manera que un sistema pot mostrar característiques operatives normals mentre encara genera sortides no desitjades com ara al·lucinacions. Aquesta bretxa va motivar l'addició de telemetria comportamental i semàntica, que abastés el contingut de les indicacions i les respostes, la qualitat de la sortida i la deriva del model, juntament amb els senyals convencionals de monitorització de programari.

Observabilitat versus monitorització Tot i que els dos termes de vegades s'utilitzen com a sinònims, la literatura normalment els manté separats. La monitorització es defineix com la col·lecció de mesures predefinides contra llindars coneguts, que produeix alertes quan es creuen aquests llindars; aborda preguntes que els operadors ja saben fer. L'observabilitat és la capacitat més àmplia, que permet als operadors investigar comportaments imprevistos correlacionant diversos senyals a través del sistema en lloc de respondre només a condicions d'alerta conegudes. Per tant, un enfocament només de monitorització depèn que enginyers experimentats sàpiguen per endavant què buscar, mentre que l'observabilitat dóna suport a la investigació oberta de qualsevol anomalia.

En el context dels sistemes d'IA, aquesta distinció sovint s'emmarca en termes d'una dimensió comportamental addicional que s'afegeix als pilars convencionals de la telemetria. Els senyals a nivell d'infraestructura poden indicar que un model respon ràpidament i sense errors, mentre que es requereixen senyals separats per avaluar si els seus resultats són precisos, rellevants, compleixen amb la política i no contenen contingut no segur.

Senyals i dimensions L'observabilitat de la IA es basa en els senyals de telemetria estàndard de l'enginyeria de programari, és a dir, registres, mètriques i traces, i afegeix dimensions específiques dels models d'aprenentatge automàtic. Les dimensions que es descriuen més sovint són:

Entrades i sortides: les indicacions enviades a un model i les respostes que retorna. De vegades s'emmagatzemen completament per tal que els problemes es puguin estudiar més tard. Cost i ús de recursos: quants tokens utilitza una sol·licitud i quant costa, juntament amb la latència. Aquestes són mesures comunes d'eficiència d'inferència i ajuden a identificar el malbaratament i les despeses inesperades. Rendiment: latència, rendiment i taxa d'errors, com en la gestió tradicional del rendiment de les aplicacions. Qualitat de la sortida: la rellevància, la precisió i l'alineació de la resposta amb la indicació. Aquestes propietats normalment no es poden comprovar amb codi normal i inclouen la taxa d' al·lucinacions. Comportament al llarg del temps: canvis en el model, coneguts com a deriva, i pitjors resultats després d'un canvi de model o immediat. Seguretat i política: trobar infraccions de polítiques, contingut no segur i ús inusual.

Per als sistemes basats en agents, es necessiten més senyals perquè el treball es produeix en molts passos. Aquests senyals registren els passos de raonament intermedis, les crides a eines i API externes i les cadenes de generació augmentades per recuperació.

Tècniques i mètodes Les tècniques associades amb l'observabilitat de la IA inclouen:

Traçat de principi a fi de les sol·licituds a mesura que es mouen a través de canals, cadenes o passos d'agent, de manera que cada etapa de l'execució esdevingui visible. Registre estructurat d'esdeveniments, incloent-hi identificadors de model, marques de temps i parells de sol·licitud i resposta. Detecció d'anomalies a través de la telemetria, per tal de detectar comportaments inesperats. Monitorització sintètica, en què s'envien repetidament indicacions de prova predefinides, per exemple després d'una actualització del model o de l'indicació, per detectar regressions. Avaluació automatitzada, que inclou l'ús d'un model de llenguatge per avaluar el resultat d'un altre, un enfocament sovint anomenat "LLM-com a-judge" , per a qualitats que són difícils de mesurar amb codi convencional. Revisió amb participació humana en punts de control importants.

Eines i estàndards de codi obert Com que l'observabilitat de la IA és un camp nou, s'han creat diversos estàndards oberts i eines de codi obert per evitar vincular la telemetria a un únic proveïdor. L'esforç més destacable és el conjunt de convencions semàntiques per a la IA generativa definides per OpenTelemetry, un projecte de la Cloud Native Computing Foundation. Aquestes convencions descriuen una manera comuna de registrar les crides de models, l'ús de testimonis, les crides d'eines i agents i les puntuacions d'avaluació, de manera que la telemetria produïda per una eina pugui ser llegida per una altra. , aquestes convencions encara estan en desenvolupament actiu i encara no estan marcades com a estables.

Les biblioteques d'instrumentació de codi obert poden generar telemetria que segueix aquestes convencions automàticament per a proveïdors de models i marcs comuns. Per separat, diversos projectes de codi obert se centren en el rastreig i l'avaluació d'aplicacions d'aprenentatge automàtic i LLM, i alguns d'ells poden exportar o importar dades en format OpenTelemetry, cosa que els permet treballar conjuntament amb backends d'observabilitat d'ús general en lloc de només amb el seu propi tauler de control.

La taula següent enumera les eines de codi obert representatives que s'utilitzen en els pipelines d'observabilitat de la IA. OpenTelemetry i MLflow estan orientats específicament a les càrregues de treball d'aprenentatge automàtic; Prometheus i Grafana són eines d'ús general que normalment serveixen com a backends de mètriques i visualització als quals els components específics de la IA exporten dades. EinaLlicènciaTipusCapacitats clau per a l'observabilitat de la IATelemetria obertaApache 2.0Estàndard d'instrumentacióSDK neutres per a proveïdors; convencions semàntiques per a crides LLM, ús de tokens, invocacions d'eines i extensions d'agentsMLflowApache 2.0Plataforma d'IA/aprenentatge automàticTraçat LLM amb estructura jeràrquica; avaluació automatitzada LLM com a jutge; exportació OpenTelemetryPrometeusApache 2.0Base de dades de mètriquesRecopilació de mètriques de sèries temporals i alertes; normalment s'utilitza per a senyals a nivell d'infraestructura com ara la latència i la taxa d'errorsGrafanaAGPL-3.0Tauler de control i alertesVisualització de mètriques, registres i traces de múltiples backends, incloent-hi fonts de Prometheus i OpenTelemetry.

Plataformes propietàries Diverses plataformes comercials ofereixen observabilitat de la IA com a servei gestionat, integrant el rastreig, l'avaluació i la supervisió en un sol producte. La taula següent enumera proveïdors representatius; no és exhaustiva. ProducteProveïdorFocusObservabilitat de LLMDatadogObservabilitat de pila completa amb capa LLMArize IAArize IAObservabilitat d'IA/aprenentatge automàticTeixitPesos i biaixosLLM i rastreig d'agentsLangSmithLangChainRastreig i avaluació de sol·licituds de LLM

Observabilitat de l'agent miniatura|Jerarquia d'abast per a l'execució d'un agent: cada invocació de model, crida d'eina, accés a memòria o delegació de subagent constitueix un interval secundari de la sol·licitud que l'inclou. L'observabilitat dels agents autònoms sovint es tracta com una subàrea diferent, perquè els agents naveguen per fluxos de treball de diversos passos, prenen decisions autònomes i invoquen eines externes, produint camins d'execució més complexos que els de les crides de models d'un sol missatge. Els professionals distingeixen l'avaluació, que comprova si un agent pot realitzar una tasca abans o durant el desplegament, de l'observabilitat, que controla si funciona correctament un cop desplegat.

El seguiment de l'execució d'un agent s'estructura normalment com una jerarquia d'intervals, en què cada invocació de model, crida d'eina, accés a memòria o delegació a un subagent constitueix un interval fill de la sol·licitud adjunta. Aquesta estructura permet examinar la latència, el cost i l'estat d'error de cada pas individual de forma aïllada i fa possible identificar quin pas d'una canonada de diversos passos va produir un resultat intermedi incorrecte o insegur. La captura del raonament intermedi que un agent produeix abans de comprometre's amb una acció també es tracta com un senyal de telemetria diferent, perquè permet als operadors avaluar no només què va fer el sistema sinó també per què va triar fer-ho.

Relació amb els MLOps L'observabilitat de la IA es tracta a la literatura com el component de monitorització en temps d'execució de les MLOps (operacions d'aprenentatge automàtic), el conjunt de pràctiques que combina l'aprenentatge automàtic, l'enginyeria de programari i les disciplines de DevOps per implementar i mantenir sistemes d'aprenentatge automàtic en producció. La monitorització s'identifica com un dels components funcionals bàsics del cicle de vida de les MLOps, juntament amb la gestió de dades, l'entrenament de models i el lliurament continu.