miniatura|300x300px|Il·lustració del mapatge A l'esquerra un conjunt de mostres a l'espai d'entrada, a la dreta les mateixes mostres a l'espai de característiques on el nucli polinòmic (per a alguns valors dels paràmetres i ) és el producte intern. L'hiperplà après a l'espai de característiques per una SVM és una el·lipse a l'espai d'entrada. En l'aprenentatge automàtic, el nucli polinòmic és una funció del nucli que s'utilitza habitualment amb màquines de vectors de suport (SVM) i altres models kernelitzats, que representa la similitud dels vectors (mostres d'entrenament) en un espai de característiques sobre polinomis de les variables originals, permetent l'aprenentatge de models no lineals.
Intuïtivament, el nucli polinòmic no només examina les característiques donades de les mostres d'entrada per determinar la seva similitud, sinó també les combinacions d'aquestes. En el context de l'anàlisi de regressió, aquestes combinacions es coneixen com a característiques d'interacció. L'espai de característiques (implícit) d'un nucli polinòmic és equivalent al de la regressió polinòmica, però sense l'augment combinatori en el nombre de paràmetres que s'han d'aprendre. Quan les característiques d'entrada tenen valors binaris (booleans), les característiques corresponen a conjuncions lògiques de les característiques d'entrada.Yoav Goldberg and Michael Elhadad (2008). splitSVM: Fast, Space-Efficient, non-Heuristic, Polynomial Kernel Computation for NLP Applications. Proc. ACL-08: HLT.
Definició Per a polinomis de grau , el nucli polinòmic es defineix com a
on i són vectors de mida a l' espai d'entrada, és a dir, vectors de característiques calculades a partir de mostres d'entrenament o de prova, i és un paràmetre lliure que compensa la influència dels termes d'ordre superior i inferior en el polinomi. Quan , el nucli s'anomena homogeni. (Un polinucli més generalitzat divideix per un paràmetre escalar especificat per l'usuari .)
Com a nucli, correspon a un producte intern en un espai de característiques basat en alguna aplicació :
La naturalesa de es pot veure amb un exemple. Sigui , de manera que obtenim el cas especial del nucli quadràtic. Després d'utilitzar el teorema multinomial (dues vegades, l'aplicació més externa és el teorema binomial) i reagrupar,
D'això es dedueix que el mapa de característiques ve donat per:
generalitzant per a , on , i aplicant el teorema multinomial:
L'última suma ha elements, de manera que:
on i
Ús pràctic Tot i que el nucli RBF és més popular en la classificació SVM que el nucli polinòmic, aquest últim és força popular en el processament del llenguatge natural (PLN). El grau més comú és (quadràtic), ja que els graus més grans tendeixen a sobreajustar-se en problemes de PNL.
S'han ideat diverses maneres de calcular el nucli polinòmic (tant exactes com aproximades) com a alternatives als algoritmes d'entrenament SVM no lineals habituals, incloent-hi:
expansió completa del nucli abans de l'entrenament/prova amb una SVM lineal, [ 5 ] és a dir, càlcul complet de la funció com en la regressió polinòmica; mineria de cistelles (utilitzant una variant de l'algoritme a priori) per a les conjuncions de característiques més freqüents en un conjunt d'entrenament per produir una expansió aproximada; Indexació invertida de vectors de suport. [ 6 ] [ 1 ]
Un problema amb el nucli polinòmic és que pot patir inestabilitat numèrica: quan , tendeix a zero a mesura que augmenta , mentre que quan , tendeix a infinit.
Referències
Categoria:Aprenentatge automàtic