La mesura de la comprensió massiva del llenguatge multitasca (MMLU) és un punt de referència popular per avaluar les capacitats dels models de llenguatge grans. Va inspirar diverses altres versions i derivats, com ara MMLU-Pro, MMMLU i MMLU-Redux.
Visió general L'MMLU consta de 15.908 preguntes de tipus test, 1.540 de les quals s'utilitzen per seleccionar i avaluar la configuració òptima dels models: temperatura, mida del lot i taxa d'aprenentatge. Les preguntes abasten 57 temes, des de camps STEM altament complexos i dret internacional fins a nutrició i religió. Va ser un dels punts de referència més utilitzats per comparar les capacitats dels models de llenguatges grans, amb més de 100 milions de descàrregues a juliol de 2024.
El punt de referència va ser publicat per Dan Hendrycks i un equip d'investigadors el 7 de setembre de 2020. Es va dissenyar expressament per ser més desafiant que els punts de referència existents en aquell moment, com ara l'Evaluació General de la Comprensió del Llenguatge (GLUE), a mesura que els models van començar a superar els humans en proves més fàcils. Quan es va publicar MMLU, la majoria dels models lingüístics existents tenien puntuacions properes al nivell d'atzar (25%). El model amb millor rendiment, el GPT-3 175B, va aconseguir una precisió del 43,9%. Els creadors de l'MMLU van estimar que els experts en dominis humans aconsegueixen una precisió al voltant del 89,8%. A mitjans del 2024, la majoria de models lingüístics potents com ara Claude 3.5 Sonnet, GPT-4o i Llama 3.1 405B aconseguien un 88% de manera consistent A partir del 2025, l'MMLU s'ha eliminat parcialment a favor d'alternatives més difícils.
Limitacions El 5 de juny de 2024, uns experts van publicar un article que detallava la seva anàlisi manual de 5.700 preguntes del benchmark, que va revelar que contenia una quantitat molt significativa d'errors de verificació. Per exemple, el 57% de les preguntes del subconjunt "Virologia" es van marcar com a errors, com ara múltiples respostes correctes (4%), preguntes poc clares (14%) o respostes completament incorrectes (33%). En general, van estimar que el 6,5% de les preguntes de l'MMLU contenien un error, cosa que suggereix que la puntuació màxima assolible era significativament inferior al 100%. La contaminació de dades també representava una amenaça important per a la validesa d'aquest punt de referència; les empreses podien incloure fàcilment preguntes i respostes a les dades d'entrenament dels seus models, cosa que el feia ineficaç.
Exemples Els exemples següents provenen de les tasques d'"Àlgebra abstracta", "Dret internacional" i "Medicina professional", respectivament. Les respostes correctes estan marcades en negreta:
Pregunta 1:
Troba-ho tot en de tal manera que és un camp.
(A) 0 │ (B) 1 │ (C) 2 │ (D) 3
Pregunta 2:
Seria acceptable en la pràctica contemporània una reserva a la definició de tortura del Pacte Internacional de Drets Civils i Polítics (PIDCP)?
(A) Aquesta és una reserva acceptable si la legislació del país que la reserva fa servir una definició diferent.
(B) Aquesta és una reserva inacceptable perquè contravé l'objecte i la finalitat del PIDCP.
(C) Aquesta és una reserva inacceptable perquè la definició de tortura del PIDCP és coherent amb el dret internacional consuetudinari.
(D) Aquesta és una reserva acceptable perquè, segons el dret internacional general, els estats tenen dret a formular reserves als tractats.
Pregunta 3:
Un home de 33 anys se sotmet a una tiroidectomia radical per càncer de tiroide. Durant l'operació, una hemorràgia moderada requereix la lligadura de diversos vasos del costat esquerre del coll. Postoperatoriament, els estudis sèrics mostren una concentració de calci de 7,5 mg/dL, una concentració d'albúmina de 4 g/dL i una concentració d'hormona paratiroïdal de 200 pg/mL. El dany a quin dels següents vasos va causar les troballes en aquest pacient?
(A) Branca del tronc costocervical.
(B) Branca de l'artèria caròtide externa.
(C) Branca del tronc tirocervical.
(D) Afluent de la vena jugular interna.
Referències
Categoria:Intel·ligència artificial