miniatura|Visualització T-SNE de les incrustacions de paraules generades mitjançant la literatura del segle XIX La incrustació de veïns estocàstics distribuïts en t (t-SNE) és un mètode estadístic per visualitzar dades d'alta dimensió donant a cada punt de dades una ubicació en un mapa bidimensional o tridimensional. Es basa en Stochastic Neighbor Embedding desenvolupat originalment per Geoffrey Hinton i Sam Roweis, on Laurens van der Maaten i Hinton van proposar la variant distribuïda t. És una tècnica de reducció de dimensionalitat no lineal per incrustar dades d'alta dimensió per a la visualització en un espai de dimensions baixes de dues o tres dimensions. Concretament, modela cada objecte d'alta dimensió per un punt de dues o tres dimensions de manera que objectes similars siguin modelats per punts propers i objectes diferents siguin modelats per punts distants amb alta probabilitat. miniatura|Incrustacions T-SNE del conjunt de dades MNIST L'algorisme t-SNE consta de dues etapes principals. En primer lloc, t-SNE construeix una distribució de probabilitat sobre parells d'objectes d'alta dimensió de tal manera que als objectes similars se'ls assigna una probabilitat més alta mentre que als punts diferents se'ls assigna una probabilitat més baixa. En segon lloc, t-SNE defineix una distribució de probabilitat similar sobre els punts del mapa de dimensions baixes i minimitza la divergència Kullback-Leibler (divergència KL) entre les dues distribucions pel que fa a les ubicacions dels punts al mapa. Tot i que l'algorisme original utilitza la distància euclidiana entre objectes com a base de la seva mètrica de similitud, aquesta es pot canviar segons correspongui. Una variant riemanniana és UMAP.

t-SNE s'ha utilitzat per a la visualització en una àmplia gamma d'aplicacions, com ara genòmica, investigació de seguretat informàtica, processament del llenguatge natural, anàlisi de música, investigació del càncer, bioinformàtica, interpretació del domini geològic, i processament de senyals biomèdics.

Per a un conjunt de dades amb n elements, t-SNE s'executa en temps i requereix espai .

Detalls Donat un conjunt de objectes d'alta dimensió , t-SNE primer calcula probabilitats que són proporcionals a la semblança dels objectes i , de la següent manera.

i posat . Tingueu en compte que el denominador anterior assegura per a tot .

Com van explicar van der Maaten i Hinton: "La similitud del punt de dades al punt de dades és la probabilitat condicional, , això escolliria com el seu veí si els veïns fossin escollits en proporció a la seva densitat de probabilitat sota un gaussià centrat en ."

Això està motivat perquè i de les N mostres s'estimen com 1/N, de manera que la probabilitat condicional es pot escriure com i . Des de , podeu obtenir la fórmula anterior.

També tingueu en compte que i .

L'ample de banda dels nuclis gaussians s'estableix de tal manera que l'entropia de la distribució condicional sigui igual a una entropia predefinida utilitzant el mètode de la bisecció. Com a resultat, l'ample de banda s'adapta a la densitat de les dades: valors més petits de s'utilitzen en parts més denses de l'espai de dades. L'entropia augmenta amb la perplexitat d'aquesta distribució ; aquesta relació es veu com

on és l'entropia de Shannon

La perplexitat és un paràmetre escollit a mà del t-SNE i, com afirmen els autors, "la perplexitat es pot interpretar com una mesura suau del nombre efectiu de veïns. El rendiment de l'SNE és bastant robust als canvis en la perplexitat, i els valors típics estan entre 5 i 50".

Com que el nucli gaussià utilitza la distància euclidiana , es veu afectat per la maledicció de la dimensionalitat, i en dades d'alta dimensió quan les distàncies perden la capacitat de discriminar, el es tornen massa semblants (asimptòticament, convergirien a una constant). S'ha proposat ajustar les distàncies amb una transformada de potència, en funció de la dimensió intrínseca de cada punt, per pal·liar-ho.

t-SNE pretén aprendre a -Mapa dimensional (amb i normalment es tria com a 2 o 3) que reflecteix les similituds tant com sigui possible. Amb aquesta finalitat, mesura les similituds entre dos punts del mapa i , utilitzant un enfocament molt similar. Concretament, per , definir com

i posat . Aquí s'utilitza una distribució t de Student de cua pesada (amb un grau de llibertat, que és la mateixa que una distribució de Cauchy) per mesurar les similituds entre punts de dimensions baixes per tal de permetre que objectes diferents siguin modelats molt entre ells al mapa.

Les ubicacions dels punts al mapa es determinen minimitzant la divergència (no simètrica) de Kullback-Leibler de la distribució de la distribució , és a dir:

La minimització de la divergència Kullback-Leibler respecte als punts es realitza mitjançant el descens de gradients. El resultat d'aquesta optimització és un mapa que reflecteix les similituds entre les entrades d'alta dimensió.

Sortida Tot i que els diagrames t-SNE sovint semblen mostrar clústers, els clústers visuals es poden veure fortament influenciats per la parametrització escollida (especialment la perplexitat) i, per tant, cal una bona comprensió dels paràmetres per a t-SNE. Es pot demostrar que aquests "clusters" fins i tot apareixen en dades estructurades sense agrupacions clares, i per tant poden ser troballes falses. De la mateixa manera, la mida dels clústers produïts per t-SNE no és informativa, ni tampoc la distància entre clústers. Per tant, pot ser necessària una exploració interactiva per triar paràmetres i validar els resultats. S'ha demostrat que t-SNE sovint pot recuperar cúmuls ben separats i, amb opcions de paràmetres especials, s'aproxima a una forma simple d'agrupament espectral.

Referències

Categoria:Aprenentatge automàtic