miniatura|Logotip de flor d'OpenAI, utilitzat des del febrer del 2025 El Transformador Preentrenat Generatiu 1 (GPT-1) representa el primer dels models de llenguatge grans d'OpenAI després de la invenció de l'arquitectura del transformador per part de Google el 2017. El juny de 2018, OpenAI va publicar un article titulat "Millora de la comprensió del llenguatge mitjançant el preentrenament generatiu", en què van introduir aquest model inicial juntament amb el concepte general d'un transformador preentrenat generatiu. miniatura|Arquitectura GPT original Fins a aquell moment, els models de PNL neuronal amb millor rendiment empraven principalment l'aprenentatge supervisat a partir de grans quantitats de dades etiquetades manualment. Aquesta dependència de l'aprenentatge supervisat limitava el seu ús de conjunts de dades que no estaven ben anotats, a més de fer que fos prohibitivament car i laboriós entrenar models extremadament grans; moltes llengües (com el suahili o el crioll haitià) són difícils de traduir i interpretar utilitzant aquests models a causa de la manca de text disponible per a la construcció de corpus. En canvi, l'enfocament "semisupervisat" d'un GPT implicava dues etapes: una etapa de "preentrenament" generatiu no supervisat en què s'utilitzava un objectiu de modelització lingüística per establir paràmetres inicials, i una etapa d'"afinament fi" discriminatiu supervisat en què aquests paràmetres s'adaptaven a una tasca objectiu.
L'ús d'una arquitectura de transformador, a diferència de les tècniques anteriors que implicaven RNN augmentades per l'atenció, va proporcionar als models GPT una memòria més estructurada que la que es podia aconseguir mitjançant mecanismes recurrents; això va resultar en un "rendiment de transferència robust en diverses tasques".
Arquitectura L'arquitectura GPT-1 és un transformador només de descodificador de dotze capes, que utilitza dotze capçals d'autoatenció emmascarats, amb estats de 64 dimensions cadascun (per a un total de 768). En lloc d'un simple descens de gradient estocàstic, es va utilitzar l'algorisme d'optimització Adam; la taxa d'aprenentatge es va augmentar linealment des de zero durant les primeres 2.000 actualitzacions fins a un màxim de 2,5 × 10−4, i es va reduir a 0 mitjançant una programació de cosinus. GPT-1 té 117 milions de paràmetres.
Tot i que l'ajustament fi es va adaptar a tasques específiques, el seu entrenament previ no ho va ser; per dur a terme les diverses tasques, es van realitzar canvis mínims a la seva arquitectura de model subjacent agnòstica a la tasca. Malgrat això, GPT-1 encara va millorar els punts de referència anteriors en diverses tasques de processament del llenguatge, superant els models entrenats discriminativament amb arquitectures orientades a tasques en diverses tasques diverses.
Rendiment i avaluació El GPT-1 va aconseguir una millora del 5,8% i l'1,5% respecte als millors resultats anteriors en tasques d'inferència del llenguatge natural (també coneguda com a implicació textual), avaluant la capacitat d'interpretar parells d'oracions de diversos conjunts de dades i classificar la relació entre elles com a "implicació", "contradicció" o "neutral". Exemples d'aquests conjunts de dades inclouen QNLI (articles de la Viquipèdia) i MultiNLI (discurs transcrit, ficció popular i informes governamentals, entre altres fonts); De manera similar, va superar els models anteriors en dues tasques relacionades amb la resposta a preguntes i el raonament de sentit comú: en un 5,7% en RACE, un conjunt de dades de parells de preguntes i respostes escrites d'exàmens de secundària i batxillerat, i en un 8,9% en el Story Cloze Test.
GPT-1 va millorar els models anteriors de millor rendiment en un 4,2% en la similitud semàntica (o detecció de paràfrasis), avaluant la capacitat de predir si dues frases són paràfrasis l'una de l'altra, utilitzant el conjunt de dades Quora Question Pairs (QQP).
El GPT-1 va aconseguir una puntuació de 45,4, en comparació amb el rècord anterior de 35,0 en una tasca de classificació de text utilitzant el Corpus d'Acceptabilitat Lingüística (CoLA). Finalment, el GPT-1 va aconseguir una puntuació global de 72,8 (en comparació amb un rècord anterior de 68,9) a GLUE, una prova multitasca.
Referències
Categoria:Models de llenguatge gran