T5 (Text-to-Text Transfer Transformer) és una sèrie de grans models de llenguatge desenvolupats per Google AI introduïts el 2019. Igual que el model Transformer original, els models T5 són Transformers de codificador-descodificador, on el codificador processa el text d'entrada i el descodificador genera el text de sortida.
Els models T5 solen estar preentrenats en un conjunt de dades massiu de text i codi, després del qual poden fer tasques basades en text similars a les tasques preentrenades. També es poden ajustar per realitzar altres tasques.
Els models T5 s'han utilitzat en diverses aplicacions, com ara chatbots, sistemes de traducció automàtica, eines de resum de text, generació de codi i robòtica.
Formació Els models T5 originals estan preentrenats al Colossal Clean Crawled Corpus (C4), que conté text i codi extrets d'Internet. Aquest procés de preentrenament permet als models aprendre una comprensió general del llenguatge i habilitats de generació. Els models T5 es poden ajustar en tasques posteriors específiques, adaptant els seus coneixements per obtenir un bon rendiment en diverses aplicacions.
Els models T5 van ser preentrenats en moltes tasques, totes en el format de <input text> -> <output text>. miniatura|Com es pot ajustar una T5 per a una tasca de resum. Alguns exemples són:
restauració de text corrupte: Thank you <X> me to your party <Y> week. -> <X> for inviting <Y> last <Z>, on la <Z> significa "final de la sortida", i les <X> i <Y> denoten espais en blanc que s'han d'omplir, anomenats "sentinelles" a l'informe original. traducció: translate English to German: That is good. -> Das ist gut. jutjar l'acceptabilitat gramatical d'una frase (frase CoLA): The course is jumping well. -> not acceptable.
Arquitectura miniatura|Estructura codificador-descodificador T5, que mostra l'estructura d'atenció. En l'autoatenció del codificador (quadrat inferior), tots els tokens d'entrada s'atenen mútuament; en l'atenció creuada codificador-descodificador (rectangle superior), cada token de destinació atén tots els tokens d'entrada; en l'autoatenció del descodificador (triangle superior), cada token de destinació atén només els tokens de destinació presents i passats (causal). La sèrie T5 engloba diversos models amb mides i capacitats variables, tots ells transformadors codificadors-descodificadors, on el codificador processa el text d'entrada i el descodificador genera el text de sortida.
Aquests models sovint es distingeixen pel nombre de paràmetres, que indica la complexitat i la capacitat potencial del model. L'article original va informar dels 5 models següents: NomParàmetres totalsParàmetres del codificadorParàmetres del descodificadorPetit76.956.16035.330.81641.625.344Base247.577.856109.628.544137.949.312Gran770.567.168334.939.648435.627.5203B2.884.497.4081.240.909.8241.643.587.58411B11.340.220.4164.864.791.5526.475.428.864 *El codificador i el descodificador tenen la mateixa forma. Per exemple, el T5-small té 6 capes al codificador i 6 capes al descodificador.
𝑛capa: Nombre de capes al codificador; també, nombre de capes al descodificador. Sempre tenen el mateix nombre de capes.
𝑛capçal: Nombre de capçals d'atenció a cada bloc d'atenció.
𝑑model: Dimensió dels vectors d'incrustació.
𝑑ff: Dimensió de la xarxa de prealimentació dins de cada capa del codificador i del descodificador.
𝑑kv: Dimensió dels vectors clau i valor utilitzats en el mecanisme d'autoatenció.
cal teniru en compte que, a diferència dels Transformers típics, els models 3B i 11B no satisfan
En comparació amb el Transformer original, utilitza algunes modificacions menors: normalització de capes sense biaix additiu; col·locació de la normalització de capes fora del camí residual; incrustació posicional relativa.
Per a tots els experiments, van utilitzar un tokenitzador WordPiece, amb una mida de vocabulari de 32.000. El tokenitzador es comparteix tant a l'entrada com a la sortida de cada model. Es va entrenar amb una barreja de dades en anglès, alemany, francès i romanès del conjunt de dades C4, en una proporció de 10:1:1:1.
Aplicacions El model T5 en si és un model de codificador-descodificador, cosa que permet que es pugui utilitzar per al seguiment d'instruccions. El codificador codifica la instrucció i el descodificador genera la resposta de manera autorregressiva.
El codificador T5 es pot utilitzar com a codificador de text, de manera molt semblant a BERT. Codifica un text en una seqüència de vectors de nombres reals, que es poden utilitzar per a aplicacions posteriors. Per exemple, Google Imagen utilitza T5-XXL com a codificador de text, i els vectors de text codificats s'utilitzen com a condicionament en un model de difusió. Un altre exemple és el model de difusió AuraFlow que utilitza Pile-T5-XL
Referències
Categoria:Intel·ligència artificial Categoria:Programari científic Categoria:Programari de Google