Generative Pre-trained Transformer 3 (GPT·3) è un modello linguistico di grandi dimensioni autoregressivo che utilizza l'apprendimento profondo per produrre testo simile al linguaggio naturale umano. "Si tratta di un algoritmo di Natural Language Generation, un settore della linguistica computazionale focalizzato sulla generazione automatica di espressioni linguistiche che siano morfologicamente, sintatticamente e semanticamente corrette e il più possibile simili all’uso umano della lingua".
Come il precedente GPT-2, l'architettura si basa su un modello di trasformatore con 175 miliardi di parametri, che richiedono 800 GB di memoria per l'esecuzione. Il metodo di apprendimento è detto "pre-addestramento generativo", e ha lo scopo di fornire al sistema la capacità di prevedere quale sarà la prossima parola nell'ambito di una frase o di un insieme di frasi. Il modello ha dimostrato un apprendimento rapido su molte attività basate su testo.
È il modello di terza generazione della serie GPT creato da OpenAI, un laboratorio di ricerca sull'intelligenza artificiale con sede a San Francisco. Four preprints were released between May 28 and July 22, 2020. La versione completa di GPT-3 ha una capacità di 175 miliardi di parametri di apprendimento automatico. GPT-3, introdotto a maggio 2020 , segue il trend dei sistemi di elaborazione del linguaggio naturale (NLP) delle rappresentazioni linguistiche pre-addestrate.
La qualità del testo generato da GPT-3 è talmente alta che può essere difficile determinare se è stato scritto o meno da un essere umano, il che presenta sia vantaggi che rischi. Trentuno ricercatori e ingegneri di OpenAI hanno presentato il documento originale che introduceva GPT-3 il 28 maggio 2020. Nell'articolo hanno avvertito dei potenziali pericoli di GPT-3 e hanno suggerito ulteriori ricerche per analizzare e mitigare il rischio. Il filosofo australiano David Chalmers ha descritto GPT-3 come "uno dei più interessanti e importanti sistemi di intelligenza artificiale mai prodotti".
Microsoft ha annunciato il 22 settembre 2020 di avere in licenza l'uso "esclusivo" di GPT-3; altri enti o utilizzatori finali possono ancora utilizzare le API (Application Programming Interface) pubbliche per ricevere l'output, ma solo Microsoft ha accesso al modello sottostante di GPT-3.
La versione GPT-3.5 è alla base di ChatGPT, il modello linguistico di grandi dimensioni di OpenAI, che ha raggiunto capacità sorprendenti. Dalla data del suo rilascio il 3 novembre 2022 a febbraio 2023, ha visto crescere la sua popolarità in tutto il mondo, raggiungendo velocemente i 100 milioni di utenti. ChatGPT avrà un impatto enorme nella diffusione, nell'uso e nella comprensione dell'intelligenza artificiale in tantissimi domini della società, dell'economia e della cultura umana.
Una recensione del New York Times dell'aprile 2022 ha descritto alcune capacità di GPT-3, come scrivere una prosa originale con una fluidità equivalente a quella di un essere umano.
Altri modelli di intelligenza artificiale utilizzano versioni modificate di GPT-3 per generare immagini partendo da un frase in lingua inglese, in particolare DALL-E, DALL-E 2 e DALL-E 3.
Il 14 marzo 2023 OpenAI ha annunciato il rilascio della quarta generazione del modello, GPT-4, che accetta input di immagini e testo, producendo output di testo. GPT-4 mostra prestazioni a livello umano su vari benchmark professionali e accademici, sebbene sia meno capace degli uomini in molti scenari del mondo reale.
Esordi Secondo The Economist, algoritmi perfezionati, computer più potenti e l'aumento dei dati digitalizzati disponibili da Internet, hanno alimentato la rivoluzione nell'apprendimento automatico, con nuove tecniche introdotte negli anni 2010 che hanno portato a "rapidi miglioramenti nelle attività", inclusa la manipolazione del linguaggio. I modelli vengono addestrati all'apprendimento utilizzando migliaia o milioni di esempi in una "struttura... liberamente basata sull'architettura neurale del cervello". Una delle architetture utilizzate nell'elaborazione del linguaggio naturale (NLP) è la rete neurale basata sul modello di deep learning introdotto per la prima volta nel 2017: il transformer. I modelli GPT-n si basano su questa architettura di rete neurale ad apprendimento profondo. Esistono numerosi sistemi NLP in grado di elaborare, estrarre, organizzare, collegare e contrastare l'input testuale, oltre a rispondere correttamente alle domande.
L'11 giugno 2018, ricercatori e ingegneri di OpenAI hanno pubblicato il loro articolo originale sui modelli linguistici generativi che potrebbero essere pre-addestrati con un corpus di testo enorme e diversificato tramite insiemi di dati, in un processo che hanno chiamato "pre-allenamento generativo". Gli autori hanno descritto come le prestazioni nella comprensione del linguaggio naturale sono state migliorate in GPT-n attraverso un processo di "pre-allenamento generativo" di un modello linguistico su un corpus diversificato di testo non etichettato, seguito da una messa a punto discriminativa su ogni specifico compito. Ciò ha eliminato la necessità della supervisione umana e dell'etichettatura manuale che richiede molto tempo.
Nel febbraio 2020 Microsoft ha introdotto il modello Turing Natural Language Generation (T-NLG), definito all'epoca il "modello linguistico più grande mai pubblicato, con 17 miliardi di parametri"..
Apprendimento e capacità Il 28 maggio 2020, un preprint arXiv del gruppo di 31 ingegneri e ricercatori di OpenAI ha descritto lo sviluppo di GPT-3 come un "modello linguistico all'avanguardia" di terza generazione. Il team ha aumentato la capacità di GPT-3 di oltre due ordini di grandezza rispetto a quella del suo predecessore, GPT-2, rendendo GPT-3 il più grande modello linguistico non-sparso fino ad oggi. In un modello sparso, molti dei suoi parametri sono impostati su un valore costante, quindi anche se ci sono più parametri totali, ci sono informazioni meno significative. Poiché GPT-3 è strutturalmente simile ai suoi predecessori, la sua maggiore precisione è attribuita alla sua maggiore capacità e al maggior numero di parametri. La capacità di GPT-3 è dieci volte superiore a quella di Turing NLG di Microsoft, che era il secondo modello NLP più grande nel 2020.
Il 60% del set di dati di pre-allenamento ponderato di GPT-3 proviene da una versione filtrata dell'intero web dal 2011 al 2021, detta "Common Crawl" e composta da 410 miliardi di token "codificati a coppie di byte" . Altre fonti sono: 19 miliardi di token di WebText2 che rappresentano il 22% del totale ponderato; 12 miliardi di token della libreria Books1 che rappresentano l'8%; 55 miliardi di token della libreria Books2 che rappresentano l'8% e 3 miliardi di token di Wikipedia che rappresentano il 3%. GPT-3 è stato addestrato su centinaia di miliardi di parole ed è anche in grado di creare codice di programmazione in formato CSS, JavaScript eXtension e linguaggio Python, tra gli altri. Una revisione del 2022 ha nuovamente evidenziato che l'addestramento continua per includere le revisioni di Wikipedia. +Dati di addestramento di GPT-3: Set di dati Numero di Token Peso nel mix di addestramentoCommon Crawl 410 miliardi 60% WebText2 19 miliardi 22% Books1 12 miliardi 8% Books2 55 miliardi 8% Wikipedia 3 miliardi 3% Poiché i dati di addestramento di GPT-3 erano onnicomprensivi, non serve un'ulteriore formazione per compiti linguistici distinti. I dati di addestramento contengono occasionalmente un linguaggio "tossico", pertanto GPT-3 può occasionalmente generare 'linguaggio tossico' come risultato dell'imitazione dei suoi dati di addestramento. Uno studio dell'Università di Washington ha scoperto che GPT-3 produceva linguaggio tossico a un livello di tossicità paragonabile ai modelli di GPT-2 e CTRL. GPT-3 ha prodotto un linguaggio meno tossico rispetto al precedente GPT-1, ma maggiore rispetto a CTRL Wiki, un modello linguistico addestrato interamente sui dati di Wikipedia.
GPT-3 è in grado di eseguire l'apprendimento "zero-shot", "few-shot" e "one-shot".
L'11 giugno 2020, OpenAI ha annunciato che le persone potevano richiedere l'accesso alle API di GPT-3, quale "set di strumenti di apprendimento automatico", per aiutare OpenAI a "esplorare i punti di forza e i limiti" di questa nuova tecnologia. L'invito descriveva come queste API avessero un'interfaccia generica "text in, text out" in grado di completare quasi "qualsiasi attività in lingua inglese", invece del solito caso d'uso singolo. Secondo un utente, che aveva accesso a una prima versione privata delle API, GPT-3 era "stranamente bravo" a scrivere "testo sorprendentemente coerente" con solo pochi semplici suggerimenti. In un esperimento iniziale, a 80 soggetti statunitensi è stato chiesto di giudicare se brevi articoli di circa 200 parole fossero stati scritti da esseri umani oppure da GPT-3. I partecipanti hanno giudicato correttamente il 52% dei casi, leggermente meglio che fare delle supposizioni aleatorie.
Poiché GPT-3 può "generare articoli di notizie che i valutatori umani hanno difficoltà a distinguere dagli articoli scritti da uomini", GPT-3 ha il "potenziale per far progredire le applicazioni dei modelli linguistici sia benefiche che dannose " . Nel loro articolo del 28 maggio 2020, i ricercatori di OpenAI hanno descritto in dettaglio i potenziali "effetti dannosi di GPT-3" che includono "disinformazione, spam, phishing, abuso di processi legali e governativi, scrittura di saggi accademici fraudolenti e scritti pretestuosi per l'ingegneria sociale". Gli autori richiamano l'attenzione su questi pericoli chiedendo ulteriori studi sulla mitigazione del rischio.
Nel giugno 2022, Almira Osmanovic Thunström ha scritto che GPT-3 era l'autore principale di un articolo su se stesso, inviato per la pubblicazione accademica e che era stato pre-pubblicato in attesa del completamento della sua revisione.
Ricezione Applicazioni GPT-3, in particolare il modello Codex, è alla base del GitHub Copilot, un software di completamento e generazione del codice che può essere utilizzato in vari editor di codice e IDE (ambienti di sviluppo software). GPT-3 viene utilizzato in alcuni prodotti Microsoft per tradurre il linguaggio naturale in codice di programmazione formale. GPT-3 è alla base del modello di apprendimento di DALL-E che genera immagini digitali partendo da una descrizione in linguaggio naturale. DALL-E è stato pubblicato da OpenAI nel gennaio del 2021; il suo successore, DALL-E 2 è stato rilasciato nell'aprile del 2022 e riesce a produrre immagini incredibilmente sofisticate, ad alta risoluzione, che combinano diversi stili pittorici e altri attributi. GPT-3 è stato utilizzato da Andrew Mayne per "AI Writer", che consente alle persone di corrispondere con dei personaggi storici via e-mail. GPT-3 è stato utilizzato da Jason Rohrer in un progetto di chatbot a tema rétro chiamato "Project December", che è accessibile online e consente agli utenti di conversare con diverse IA utilizzando la tecnologia GPT-3. GPT-3 è stato utilizzato da The Guardian per scrivere un articolo sull'intelligenza artificiale che sia innocua per gli esseri umani. È stato alimentato con alcune idee e ha prodotto otto diversi saggi, che alla fine sono stati fusi in un solo articolo. GPT-3 è stato utilizzato in "AI Dungeon", che genera giochi di avventura basati su testo. Successivamente è stato sostituito da un modello concorrente dopo che OpenAI ha cambiato la propria politica in merito ai contenuti generati. GPT-3 è stato utilizzato per aiutare nella scrittura di copy o altri contenuti relativi al marketing da startup come Copy.ai, Jasper.ai,, TextCortex AI e Hypotenuse AI.
Recensioni In una recensione del luglio 2020 sul New York Times, Farhad Manjoo ha affermato che la capacità di GPT-3 di generare codice informatico, poesia e prosa non è solo "sorprendente", "spettrale" e "umiliante", ma anche "un poco più che terrificante".