Generativni prethodno obučeni transformator (; GPT) jest vrsta velikog jezičkog modela koja se široko koristi u generativnoj umjetnoj inteligenciji, naročito u čet-botovima. GPT modeli zasnivaju se na arhitekturi transformera i prethodno se obučavaju na velikim skupovima neoznačenih podataka, nakon čega mogu generirati novi sadržaj.
OpenAI je prvi primijenio generativno prethodno obučavanje na arhitekturu transformera i 2018. predstavio model GPT-1. Kasnije su objavljeni veći i sposobniji modeli, a nakon izlaska ChatGPT-a krajem 2022. godine GPT-ovi i srodni modeli postali su jedna od središnjih tehnologija savremene umjetne inteligencije.
Pozadina Tokom 2010-ih napredak u mašinskom učenju, snažniji računari i rast količine digitaliziranog materijala stvorili su uvjete za ubrzani razvoj umjetne inteligencije.
Koncept generativnog prethodnog obučavanja postojao je i prije pojave GPT-a. Riječ je o postupku u kojem se model prvo obučava na velikom neoznačenom skupu podataka, a zatim prilagođava konkretnom zadatku pomoću označenih podataka.
Temeljna tehnologija GPT-a jest arhitektura transformera, koja je omogućila efikasniju obradu čitavih nizova teksta i obuku većih jezičkih modela nego što je to bilo uobičajeno kod starijih pristupa zasnovanih na rekurentnim neuronskim mrežama.
Historija Dana 11. juna 2018. istraživači OpenAI-ja objavili su rad Improving Language Understanding by Generative Pre-Training (Poboljšanje razumijevanja jezika generativnom prethodnom obukom), kojim je predstavljen GPT-1, prvi GPT model. Model je kombinirao prethodno obučavanje na korpusu BookCorpus s naknadnim finim podešavanjem za posebne zadatke obrade prirodnog jezika.
OpenAI je 14. februara 2019. predstavio GPT-2, znatno veći model sposoban za koherentnije generiranje teksta. Zbog zabrinutosti u vezi s mogućom zloupotrebom, puni model nije odmah objavljen, nego postepeno.
U maju 2020. objavljen je GPT-3, model s 175 milijardi parametara, koji je značajno unaprijedio sposobnosti rješavanja zadataka na osnovu malog broja primjera ili bez posebnog dodatnog obučavanja.
Kasnije su nastali modeli kao što su GPT-4, multimodalni veliki jezički model sposoban za obradu tekstualnog i slikovnog ulaza, te GPT-4o, koji može obrađivati i generirati tekst, slike i zvuk. OpenAI je 2025. objavio GPT-5, za koji je navedeno da koristi usmjerivač koji bira između bržeg modela i sporijeg modela za zaključivanje, ovisno o zadatku.
Popularnost ChatGPT-a potaknula je razvoj brojnih konkurentskih sistema drugih organizacija, uključujući Googleove modele PaLM i Gemini, Metin Llama, kao i otvorene modele organizacija poput EleutherAI.
Temeljni modeli Temeljni model jest model umjetne inteligencije obučen na širokim skupovima podataka u velikim razmjerama tako da se može prilagoditi velikom broju naknadnih zadataka. GPT serija predstavlja jednu od najpoznatijih porodica takvih modela.
Osim OpenAI-jevih GPT modela, među srodne temeljne modele ubrajaju se i PaLM, Llama te razni otvoreni GPT-slični sistemi.
Iako su GPT modeli prvobitno bili usmjereni prvenstveno na tekst, kasniji modeli razvijeni su i kao multimodalni sistemi, što znači da mogu obrađivati više vrsta ulaznih i izlaznih podataka.
Modeli specifični po zadatku Temeljni GPT model može se dodatno prilagoditi konkretnim zadacima ili oblastima pomoću finog podešavanja i drugih postupaka, uključujući inženjering promptova.
Važan primjer takve prilagodbe jest InstructGPT, skup modela koji su dodatno obučeni da slijede upute kombinacijom nadziranog učenja i učenja s pojačanjem iz ljudske povratne informacije (RLHF). Ovakvi modeli pokazali su veću preciznost, manje štetnih ili toksičnih izlaza i bolju usklađenost s korisničkim potrebama.
Među često navođenim primjerima GPT sistema usmjerenih na određene oblasti nalaze se EinsteinGPT za prodaju i marketing, BloombergGPT za finansije, Khanmigo za obrazovanje, Slack GPT za komunikaciju u okviru platforme Slack te BioGPT za biomedicinsko područje.
Pitanja brenda OpenAI je 2023. tvrdio da izraz GPT treba posmatrati i kao brend povezan s njegovim proizvodima te je izmijenio smjernice tako da drugim korisnicima njegovog API-ja više nije dopušteno da GPT uključuju u nazive vlastitih proizvoda ili usluga. Istovremeno je OpenAI unutar vlastite platforme omogućio izradu prilagođenih verzija ChatGPT-a nazvanih GPTs.
Također pogledaj Veliki jezički modeli Transformer (mašinsko učenje) ChatGPT Generativna umjetna inteligencija
Reference
Kategorija:Veliki jezički modeli Kategorija:Duboko učenje Kategorija:Obrada prirodnih jezika Kategorija:Generativna umjetna inteligencija