Nell'ambito dell'apprendimento automatico la classificazione con voto pesato (voting o weighted voting, in inglese) è una delle tecniche fondamentali dell'ensemble learning. Il principio alla base si fonda sul concetto di "saggezza della folla": combinare le previsioni di molteplici modelli indipendenti (chiamati weak learner o stimatori base) per ottenere una predizione finale più robusta, accurata e meno soggetta a overfitting rispetto a quella fornita da un singolo modello.

La tecnica del voto viene impiegata principalmente nei problemi di classificazione, sebbene il suo corrispettivo per la regressione sia la media (semplice o pesata) delle predizioni. Tipologie

La tecnica del voto consta di due due categorie principali: hard voting, o voto a maggioranza, e soft voting, voto pesato basato sulle probabilità.

Hard Voting (Voto a Maggioranza Semplice) L'hard voting (noto anche come majority voting o plurality voting) è la forma più intuitiva di ensemble. Ogni modello della popolazione esprime un singolo "voto" per una classe e la classe che riceve il maggior numero di voti viene selezionata come output finale.

Formulazione Matematica

Dato un insieme di classificatori base e un insieme di possibili classi , la predizione del singolo classificatore per un dato input viene espressa come .

La decisione dell'hard voting è data dalla moda delle predizioni:

dove è la funzione indicatrice che assume valore 1 se la condizione è vera e 0 altrimenti. In caso di pareggio, si applica solitamente un criterio di tie-breaking casuale o basato sull'ordine a priori dei modelli.

Soft voting e voto pesato Il soft voting introduce una granularità maggiore, sfruttando non solo la scelta della classe, ma anche la confidenza (probabilità stimata) che ogni modello assegna a ciascuna classe. Perché sia applicabile, è necessario che tutti i classificatori-base siano in grado di calcolare le probabilità di appartenenza alle classi (ad es. output della funzione softmax o predict_proba).

Meccanismo Nel soft voting standard, il modello calcola la media aritmetica delle probabilità per ciascuna classe. La classe con la media delle probabilistica più alta vince.

Estensione: Il Voto Pesato (Weighted Voting) Non tutti i modelli hanno la stessa affidabilità. Nel voto pesato, a ogni classificatore viene assegnato un peso specifico , proporzionale alla sua accuratezza o performance sul dataset di validazione.

La formula generale per il voto pesato (che può essere applicata sia all'approccio hard sia a quello soft) è la seguente:

dove rappresenta la probabilità che l'input appartenga alla classe secondo il classificatore (nel caso di hard voting pesato, questo valore è semplicemente 1 se il modello predice la classe, 0 altrimenti). Condizioni di efficacia

L'efficacia del voting si basa su un presupposto matematico fondamentale formalizzato dal teorema della giuria di Condorcet. Affinché il voting superi il miglior singolo modello, devono essere soddisfatte due condizioni:

Accuratezza individuale: ogni singolo classificatore deve avere un'accuratezza superiore al caso casuale (>0.5 in un problema binario). Diversità (Indipendenza): gli errori dei modelli devono essere il più possibile non correlati; se tutti i modelli deviano e sbagliano sugli stessi identici record, il voting replicherà semplicemente l'errore.

Per garantire la diversità, i data scientist combinano algoritmi di natura profondamente diversa (ad es. una rete neurale, una SVM e una random forest) addestrati sullo stesso dataset.

Note

Bibliografia

Categoria:Apprendimento automatico