Велики језички модел (ВЈМ; ; ) јесте језички модел који се састоји од неуронске мреже с многобројним параметрима (обично милијарде или више), обучен на великим количинама неoзначеног текста помоћу самонадгледаног учења. Настали су око 2018. године и добро се сналазе у широком спектру задатака. Ово је у супротности с претходном праксом обучавања специјализованих надгледаних модела за одређене задатке.
Иако се појам велики језички модел нема формалну дефиницију, најчешће се односи на моделе дубоког учења с милионима или чешће милијардама параметара. ВЈМ-ови су модели опште намене који се истичу у широком спектру задатака, за разлику од модела који су обучени за један специфичан задатак (као што је анализа сентимента, препознавање именованих ентитета или математичко закључивање).
Највећи и најспособнији ВЈМ-ови су генеративни претходно обучени трансформери (ГПТ), засновани на трансформерској архитектури, који се увелико користе у генеративним чет-ботовима као што су ChatGPT, Џемини и Клод. ВЈМ-ови се могу фино подесити за специфичне задатке или водити промпт инжењерингом. Ови модели стичу предиктивну моћ у вези са синтаксом, семантиком и онтологијама својственим људским језичким корпусима, али такође наслеђују нетачности и пристрасности присутне у подацима на којима су обучени.
Историја мини|Рачунарска снага за обуку значајних великих модела у ФЛОПС-овима у односу на датум објављивања у периоду 2010–2024. За укупно значајне моделе (горе лево), најнапредније моделе (горе десно), врхунске језичке моделе (доле лево) и врхунске моделе водећих компанија (доле десно). Већина ових модела су језички модели. мини|Рачунарска снага за обуку значајних великих модела вештачке интелигенције у ФЛОПС-овима у односу на датум објављивања у периоду 2017–2024. Већина великих модела су језички модели или мултимодални модели с језичким способностима. Пре појаве модела заснованих на трансформерима 2017. године, неки језички модели су се сматрали великим у односу на рачунарска и податковна ограничења свог времена. Почетком 1990-их, статистички модели компаније Ај-Би-Ем били су пионири у техникама поравнавања речи за машинско превођење, постављајући темеље за моделовање језика засновано на корпусу. Године 2001, изглађени n-грамски модел, попут оних који користе Кнезер-Нијево изглађивање, обучен на 300 милиона речи, постигао је врхунску перплексију на бенчмарк тестовима. Током 2000-их, с порастом распрострањености приступа интернету, истраживачи су почели да састављају огромне скупове текстуалних података с веба („веб као корпус“) како би обучавали статистичке језичке моделе. Прелазећи даље од n-грамских модела, истраживачи су 2000. године почели да користе неуронске мреже за учење језичких модела. Након пробоја дубоких неуронских мрежа у класификацији слика око 2012. године, сличне архитектуре су прилагођене за језичке задатке. Ова промена је обележена развојем уграђивања речи (нпр. Ворд2век од Миколова 2013. године) и секвенца-у-секвенцу (seq2seq) модела који користе ЛСТМ. Године 2016, Гугл је пребацио своју услугу превођења на неуронско машинско превођење (НМП), замењујући статистичке моделе засноване на фразама дубоким рекурентним неуронским мрежама. Ови рани НМП системи користили су енкодер-декодер архитектуре засноване на ЛСТМ-у, пошто су претходили проналаску трансформера. мини|усправно=1.3|Илустрација главних компоненти трансформерског модела из оригиналног рада, где су слојеви нормализовани након (уместо пре) вишеглаве пажње. На конференцији NeurIPS 2017. године, истраживачи из Гугла представили су трансформерску архитектуру у свом знаменитом раду „Пажња је све што вам је потребно“. Циљ овог рада био је да се унапреди технологија секвенца-у-секвенцу из 2014. године, и заснивао се углавном на механизму пажње који су развили Бахданау и сарадници 2014. године. Следеће године, 2018, представљен је БЕРТ и брзо је постао „свеприсутан“. Иако оригинални трансформер има и енкодерске и декодерске блокове, БЕРТ је модел само са енкодером. Академска и истраживачка употреба БЕРТ-а почела је да опада 2023. године, након брзих побољшања у способностима модела само са декодером (као што је ГПТ) да решавају задатке путем промптовања. Иако је ГПТ-1 само са декодером представљен 2018. године, био је то ГПТ-2 2019. године који је привукао широку пажњу јер је Опен-Еј-Ај тврдио да га је у почетку сматрао превише моћним за јавно објављивање, из страха од злонамерне употребе. ГПТ-3 је 2020. отишао корак даље и, закључно са 2025. годином, доступан је само путем АПИ-ја без понуде за преузимање модела за локално извршавање. Али био је то Чет-ГПТ, чет-бот намењен потрошачима из 2022. године, који је добио опсежну медијску покривеност и пажњу јавности. ГПТ-4 из 2023. године похваљен је због повећане тачности и као „свети грал“ због својих мултимодалних способности. Опен-Еј-Ај није открио архитектуру на високом нивоу и број параметара ГПТ-4. Објављивање Чет-ГПТ-а довело је до пораста употребе ВЈМ-ова у неколико истраживачких подпоља рачунарства, укључујући роботику, софтверско инжењерство и рад на друштвеном утицају. У 2024. години Опен-Еј-Ај је објавио модел за закључивање Опен-Еј-Ај о1, који генерише дуге ланце мисли пре него што врати коначан одговор. Развијени су многи ВЈМ-ови с бројем параметара упоредивим с онима из ГПТ серије компаније Опен-Еј-Ај.
Од 2022. године, модели доступни извором постају све популарнији, посебно у почетку с БЛУМ-ом и Ламом, иако оба имају ограничења у погледу области примене. Модели компаније Мистрал Еј-Ај, Мистрал 7Б и Микстрал 8x7б, имају пермисивнију Апачи лиценцу. У јануару 2025. године, Дип-Сик је објавио Дип-Сик Р1, модел отворене тежине с 671 милијардом параметара који се по перформансама може поредити с Опен-Еј-Ај о1, али уз много нижу цену.
Од 2023. године, многи ВЈМ-ови су обучавани да буду мултимодални, с могућношћу обраде или генерисања других врста података, као што су слике или аудио. Ови ВЈМ-ови се такође називају велики мултимодални модели (ВММ). Од 2024. године, највећи и најспособнији модели су сви засновани на трансформерској архитектури. Неке новије имплементације засноване су на другим архитектурама, као што су варијанте рекурентних неуронских мрежа и Мамба (модел простора стања).
Предобрада скупа података
Токенизација Пошто алгоритми машинског учења обрађују бројеве, а не текст, текст се мора претворити у бројеве. У првом кораку, одређује се речник, затим се сваком уносу у речник произвољно, али јединствено додељују целобројни индекси, и на крају се уграђивање повезује с целобројним индексом. Алгоритми укључују кодирање парова бајтова (BPE) и ВордПис (). Постоје и специјални токени који служе као контролни знакови, као што је [MASK] за маскирани токен (који се користи у БЕРТ-у), и [UNK] („непознато“) за знакове који се не појављују у речнику. Такође, неки специјални симболи се користе за означавање посебног форматирања текста. На пример, „Ġ“ означава претходни празан простор у РоБЕРТ-и и ГПТ-у. „##“ означава наставак претходне речи у БЕРТ-у.
На пример, BPE токенизатор који користи ГПТ-3 (старија верзија) поделио би токенизатор: текстови -> низ нумеричких „токена“ као tokenizer: texts ->series of numerical "tokens"
Токенизација такође компримује скупове података. Пошто ВЈМ-ови генерално захтевају да улаз буде низ који није назубљен, краћи текстови морају бити „допуњени“ док не достигну дужину најдужег. Просечан број речи по токену зависи од језика. У енглеском језику, однос је обично око 0,75 речи по токену, с просечно 4 знака по токену.
Кодирање парова бајтова
Као пример, размотримо токенизатор заснован на кодирању парова бајтова. У првом кораку, сви јединствени знакови (укључујући празнине и интерпункцијске знакове) третирају се као почетни скуп n-грама (тј. почетни скуп уни-грама). Сукцесивно, најчешћи пар суседних знакова се спаја у би-грам и све инстанце тог пара се замењују њиме. Сва појављивања суседних парова (претходно спојених) n-грама који се најчешће појављују заједно се затим поново спајају у још дуже n-граме, док се не добије речник прописане величине. Након што је токенизатор обучен, било који текст се може токенизовати њиме, све док не садржи знакове који се не појављују у почетном скупу уни-грама.
Проблеми Речник токена заснован на фреквенцијама извученим из углавном енглеских корпуса користи што је могуће мање токена за просечну енглеску реч. Међутим, просечна реч на другом језику кодирана таквим токенизатором оптимизованим за енглески језик дели се на неоптималан број токена. ГПТ-2 токенизатор може користити до 15 пута више токена по речи за неке језике, на пример за шански језик из Мјанмара. Чак и распрострањенији језици попут португалског и немачког имају „премију од 50%“ у поређењу с енглеским.
Чишћење скупа података
У контексту обучавања ВЈМ-ова, скупови података се обично чисте уклањањем података ниског квалитета, дуплираних или токсичних података. Очишћени скупови података могу повећати ефикасност обуке и довести до побољшаних перформанси у даљим задацима. Обучени ВЈМ може се користити за чишћење скупова података за обучавање даљег ВЈМ-а.
С повећањем удела садржаја генерисаног од стране ВЈМ-ова на вебу, чишћење података у будућности може укључивати филтрирање таквог садржаја. Садржај генерисан од стране ВЈМ-ова може представљати проблем ако је садржај сличан људском тексту (што отежава филтрирање), али нижег квалитета (што деградира перформансе модела обучених на њему).
Синтетички подаци
Обука највећих језичких модела може захтевати више лингвистичких података него што је природно доступно, или су природно доступни подаци недовољног квалитета. У тим случајевима, могу се користити синтетички подаци. ВЈМ-ови из серије Фи компаније Мајкрософт обучавају се на подацима сличним уџбеницима које генерише други ВЈМ.
Обука
ВЈМ је тип фундацијског модела (велики X модел) обучен на језику. ВЈМ-ови се могу обучавати на различите начине. Конкретно, ГПТ модели се прво претходно обучавају да предвиде следећу реч на великој количини података, пре него што се фино подесе.
Трошкови мини|десно|усправно=1.5 За обучавање највећих модела потребна је значајна инфраструктура. Тенденција ка већим моделима видљива је на списак великих језичких модела. На пример, обучавање ГПТ-2 (тј. модела с 1,5 милијарди параметара) 2019. године коштало је 50.000 долара, док је обучавање ПаЛМ-а (тј. модела с 540 милијарди параметара) 2022. године коштало 8 милиона долара, а Мегатрон-Тјуринг НЛГ 530Б (2021. године) око 11 милиона долара. Квалификатор „велики“ у „великом језичком моделу“ је суштински неодређен, јер не постоји дефинитиван праг за број параметара потребан да би се модел квалификовао као „велики“. ГПТ-1 из 2018. има 117 милиона параметара.
Фино подешавање Пре финог подешавања, већина ВЈМ-ова су предвиђачи следећег токена. Фино подешавање прилагођава излаз ВЈМ-а да изгледа више конверзацијски путем техника као што су учење с поткрепљивањем из људских повратних информација (RLHF) или конституционална вештачка интелигенција. Фино подешавање инструкцијама је облик надгледаног учења који се користи да би се ВЈМ-ови научили да прате упутства корисника. Године 2022, Опен-Еј-Ај је демонстрирао Инстракт-ГПТ, верзију ГПТ-3 која је слично фино подешена да прати инструкције.
Учење с поткрепљивањем из људских повратних информација (RLHF) укључује обучавање модела награђивања да предвиди који текст људи преферирају. Затим се ВЈМ може фино подесити путем учења с поткрепљивањем како би боље задовољио овај модел награђивања. Пошто људи обично преферирају истините, корисне и безопасне одговоре, RLHF фаворизује такве одговоре.
Архитектура ВЈМ-ови су генерално засновани на трансформерској архитектури, која користи механизам пажње који омогућава моделу да истовремено обрађује односе између свих елемената у секвенци, без обзира на њихову међусобну удаљеност.
Механизам пажње и контекстни прозор