Vektorska vložitev () je v strojnem učenju in obdelavi naravnega jezika tehnika pretvorbe diskretnih objektov (najpogosteje besed, besedilnih nizov, stavkov, slik, vozlišč grafa ipd.) v vektorje nad realnimi števili v večrazsežnem prostoru.
Takšna predstavitev med drugim omogoča, da računalnik z algebraičnimi operacijami (npr. razdalja med vektorji, seštevanje, množenje) zajame semantične, sintaktične ali druge relacije med objekti. Besede s podobnim pomenom ali besede, ki se pojavljajo v podobnih kontekstih imajo vektorske predstavitve, ki so si v vektorskem prostoru blizu (npr. po Evklidski razdalji ali kosinusni podobnosti).
Znani primer takega pojava je analogija, ki jo je pokazal model Word2vec:
Zgodovina in razvoj 2003 – nevronska verjetnostna jezikovna modela Bengio in sod. (neural probabilistic language model) – ena prvih omemb gostih besednih vložitev 2013 – Word2vec (Mikolov in sod., Google) – preskok v popularnosti zaradi hitrosti in kakovosti 2014 – GloVe (Stanford) 2018 – ELMo (kontekstno odvisne vložitve) 2018/2019 – BERT in poznejši transformer-modeli (kontekstne vložitve na nivoju stavka/besedila) 2020+ – multimodalne vložitve (CLIP, DALL-E, Stable Diffusion) in ozko namenske vložitve za posamezna področja
Uporaba
Vektorske vložitve se uporabljajo na številnih področjih obdelave naravnega jezika in strojnega učenja. Pomembno vlogo imajo pri semantičnem iskanju in s poizvedovanjem obogatenimi sistemi za generiranje besedil, kjer omogočajo iskanje vsebinsko podobnih dokumentov ali odlomkov besedila. Pogosto se uporabljajo tudi v priporočilnih sistemih, pri klasifikaciji in gručenju besedil ter pri prepoznavanju entitet.
Poleg tega so vektorske vložitve pomembne pri strojnem prevajanju, analizi sentimenta, detekciji plagiatorstva ter pri iskanju podobnih slik, programskih kod, molekul in drugih kompleksnih struktur. Zaradi sposobnosti zajemanja semantičnih relacij med objekti predstavljajo eno ključnih tehnik sodobnih jezikovnih in multimodalnih modelov.
Vektorske vložitve za slovenščino Za slovenščino obstaja več javno dostopnih modelov: fastText (Facebook) – cc.sl.300.bin (več kot 1 milijon besed) word2vec in fastText modeli, trenirani na slovenskem delu Common Crawl SloBERTa in drugi BERT-podobni modeli (IJS, UL FRI, CLARIN.SI) multilingualni modeli (mBERT, XLM-R, LaBSE) delujejo zelo dobro tudi na slovenščini
Glej tudi Obdelava naravnega jezika Strojno učenje Word2vec BERT Transformer Kosinusna podobnost Evklidska razdalja
Sklici
Zunanje povezave https://www.ibm.com/think/topics/vector-embedding https://blog.acolyer.org/2016/04/21/word2vec-a-study-of-embeddings/ https://rsdo.slovenscina.eu/semanticni-viri-tehnologije
Kategorija:Računalniško jezikoslovje Kategorija:Strojno učenje