L'últim examen de la humanitat (HLE) és un model de referència lingüístic que consta de 2.500 preguntes sobre una àmplia gamma de matèries. Va ser creat conjuntament pel Centre per a la Seguretat de la IA i Scale AI.
Creació L'informe anual de l'índex d'IA de Stanford HAI del 2025 cita l'últim examen de la humanitat com un dels "punts de referència més desafiadors" desenvolupats en resposta al fet que els populars punts de referència d'IA han arribat a la "saturació". La prova ha estat descrita com una idea de Dan Hendrycks, un investigador d'aprenentatge automàtic i director del Centre per a la Seguretat de la IA, qui va declarar que es va inspirar per crear la prova després d'una conversa amb Elon Musk, que pensava que els punts de referència del model de llenguatge existents, com ara l'MMLU, eren massa fàcils. Hendrycks va treballar amb Scale AI per recopilar les preguntes Les preguntes van ser recollides per col·laboració d'experts en la matèria de diverses institucions d'arreu del món. Les preguntes van ser filtrades primer pels principals models d'IA; si els models no responien a la pregunta o feien pitjors que endevinar aleatòriament a les preguntes de resposta múltiple, eren revisades per experts humans en dues rondes i aprovades per a la seva inclusió al conjunt de dades. Els enviadors de les preguntes més ben valorades van rebre un premi en metàl·lic d'un fons de 500.000 dòlars americans: 5.000 dòlars per a cadascuna de les 50 preguntes més ben valorades i 500 dòlars per a les 500 següents. Després del llançament inicial, es va obrir un "programa de recompenses per errors de retroalimentació de la comunitat" per "identificar i eliminar els errors principals del conjunt de dades".
Composició El punt de referència consta de 2.500 preguntes del conjunt publicat. El document classifica les preguntes en les següents àrees generals: matemàtiques (41%), física (9%), biologia/medicina (11%), humanitats/ciències socials (9%), informàtica/intel·ligència artificial (10%), enginyeria (4%), química (7%) i altres (9%). Al voltant del 14% de les preguntes requereixen la capacitat d'entendre tant text com imatges, és a dir, multimodalitat. El 24% de les preguntes són de tipus test; la resta són preguntes de concordança exacta i resposta curta. També es manté un conjunt privat per comprovar el sobreajustament de punts de referència.
Una pregunta d'exemple:
Els colibrís dins dels Apodiformes tenen de manera única un os oval bilateralment aparellat, un sesamoide incrustat a la porció caudolateral de l'aponeurosi encreuada expandida d'inserció del m. depressor caudae. Quants tendons aparellats suporta aquest os sesamoide? Respon amb un número.
Resultats Rendiment de diversos models al benchmark: OrganitzacióModelPrecisió (%) ↑Error de calibratge (%) ↓OpenAIo3 (alt)20.3234Google DeepMindGemini 2.5 Pro Experimental18.1671AntròpicClaude Opus 4 (Pensament)10,7273Meta IALlama 4 Maverick5,6883IA MistralMistral Medium 34.5277Serveis web d'AmazonNova Pro4.4080 Rendiment de diversos models no multimodals en el subconjunt només de text del punt de referència: OrganitzacióModelPrecisió (%) ↑Error de calibratge (%) ↓OpenAIo3-mini (alt)13.3780Alibaba CloudQwen3-235B-A22B11,7574DeepSeekDeepSeek-R18.5473Serveis web d'AmazonNova Micro4.4184
Referències
Categoria:Intel·ligència artificial Categoria:Estàndards