LaBSE (Language-agnostic BERT Sentence Embedding, en català: Incrustació d'oracions BERT independent de l'idioma) és un model d'incrustació d'oracions de codi obert desenvolupat per Google Research i publicat el 2020.
Amplia el model de llenguatge BERT amb una arquitectura multilingüe de doble codificador entrenada amb text paral·lel, la qual cosa permet generar vectors d'oracions semànticament comparables en més de cent idiomes.
LaBSE es distribueix a través de TensorFlow Hub i s'utilitza àmpliament per a la recuperació d'informació multilingüe, la cerca semàntica i l'avaluació de la traducció automàtica.
Descripció general LaBSE va ser presentat per Google Research com a part del seu programa d'aprenentatge de representacions multilingües. El model representa text de diversos idiomes en un espai vectorial compartit de 768 dimensions, on les oracions semànticament equivalents es troben properes entre si.
A diferència dels sistemes tradicionals basats en traducció, LaBSE utilitza un únic codificador Transformer compartit per a tots els idiomes, cosa que permet la comparació directa entre oracions sense necessitat de traduir-les.
Arquitectura El sistema segueix l'estructura de BERT-base (12 capes de transformador, 12 caps d'atenció), però empra un entrenament de doble codificador similar al del Universal Sentence Encoder.
Cada oració es tokenitza amb un vocabulari multilingüe conjunt de WordPiece que cobreix 109 idiomes. Un promig dels estats ocults finals genera una representació de mida fixa per a cada oració. L'entrenament utilitza una funció de pèrdua basada en classificació de traduccions, que maximitza la similitud cosinus entre oracions paral·leles i la minimitza per a parells no relacionats.
Entrenament LaBSE va ser entrenat amb grans corpus multilingües que combinen conjunts de dades públics com OPUS amb dades internes de traducció de Google.
L'optimització va emprar l'algorisme Adam amb negatius dins del mateix lot i una entropia creuada ajustada per temperatura. Segons els autors, LaBSE va assolir resultats d'avantguarda en els benchmarks de recuperació multilingüe com BUCC i Tatoeba en el moment de la seva publicació.
Aplicacions El model està disponible públicament a TensorFlow Hub i està integrat en marcs populars com Hugging Face Transformers i Spark NLP. Les seves aplicacions més habituals inclouen: Cerca semàntica i documental multilingüe. Avaluació automàtica de la qualitat de la traducció automàtica. Agrupament, desduplicació i classificació multilingüe. Ús com a codificador universal per a tasques d'aprenentatge sense entrenament previ (zero-shot learning).
Recepció i impacte LaBSE ha estat àmpliament citat en la literatura acadèmica sobre aprenentatge de representacions multilingües. Avaluacions independents indiquen que continua sent competitiu davant de models posteriors d'incrustació multilingüe com LASER2 i la versió multilingüe de Sentence-BERT.
La seva introducció va marcar un fita en la recerca sobre similitud semàntica multilingüe i va establir les bases per al desenvolupament de codificadors multilingües posteriors dins de l'ecosistema de codi obert.
Vegeu també Processament del llenguatge natural BERT
Referències
Enllaços externs
(per Yinfei Yang i Fangxiaoyu Feng, enginyers de programari de Google Research).
Categoria:Aprenentatge automàtic Categoria:Google Categoria:Intel·ligència artificial Categoria:Programari lliure