Nell'apprendimento automatico, la funzione di perdita a cerniera (o hinge loss) è una funzione obiettivo utilizzata per l'addestramento di classificatori. Tale funzione è utilizzata nella classificazione "di massimo margine", in particolare con le macchine a vettori di supporto (SVM).

Per un output atteso e un punteggio del classificatore , la perdita a cerniera della previsione è definita come segue

Notare che dovrebbe essere l'output "grezzo" della funzione di decisione del classificatore, non l'etichetta di classe prevista. Ad esempio, nelle SVM lineari, , dove sono i parametri del iperpiano e è il vettore delle variabili di input.

Quando e hanno lo stesso segno (il che significa che predice la classe corretta) e , la perdita a cerniera è . Quando hanno segni opposti, aumenta linearmente con , e similmente se , anche se ha lo stesso segno (previsione corretta, ma non con un margine sufficiente).

La funzione di perdita a cerniera non costituisce una vera e propria regola di assegnazione di punteggi (scoring rule).

Estensioni Mentre le SVM binarie sono comunemente estese alla classificazione multiclasse in modalità uno contro tutti o uno contro uno, per tale scopo, è anche possibile estendere la stessa funzione di perdita a cerniera. Sono state proposte diverse sue varianti multiclasse. Ad esempio, Crammer e Singer l'hanno definita per un classificatore lineare nel modo seguente

,

dove è l'etichetta corretta e e sono i parametri del modello.

Weston e Watkins hanno proposto una definizione similare, ma con una somma piuttosto che un massimo:

.

La funzione di perdita a cerniera può essere ulteriormente estesa a spazi di output più complessi ai fini della predizione strutturata. Le SVM strutturate con riscalatura dei margini utilizzano la seguente variante, dove indica i parametri della SVM, le previsioni della SVM, la funzione delle caratteristiche congiunte e la funzione di perdita di Hamming:

.

Ottimizzazione La funzione di perdita a cerniera è una funzione convessa, quindi molti degli ottimizzatori convessi comunemente utilizzati nell'apprendimento automatico possono utilizzarla. Non è differenziabile, ma ha un sottogradiente rispetto ai parametri del modello w di una SVM lineare con funzione di punteggio. che è data da

Tuttavia, poiché la derivata della perdita a cerniera in non è definita, per l'ottimizzazione si potrebbero preferire versioni regolarizzate, come:

oppure (smoothing quadratico)

suggerito da Zhang. La funzione di perdita di Huber modificata è un caso speciale di questa funzione con , in particolare .

Note

Categoria:Apprendimento automatico