El coeficient kappa de Cohen (κ, minúscula grega kappa) és una estadística que s'usa per a mesurar la fiabilitat entre avaluadors per a ítems qualitatius (categòrics). En general, es pensa que és una mesura més robusta que el simple càlcul de percentatge d'acord, ja que κ té en compte la possibilitat que l'acord es produeixi per casualitat. Hi ha controvèrsia al voltant del kappa de Cohen a causa de la dificultat d'interpretar els índexs d'acord. Alguns investigadors han suggerit que conceptualment és més senzill avaluar el desacord entre els ítems.
El kappa de Cohen mesura l'acord entre dos avaluadors que classifiquen cadascun N ítems en categories C mútuament excloents. La definició de és
on és l'acord relatiu observat entre els avaluadors i és la probabilitat hipotètica d'acord d'atzar, usant les dades observades per a calcular les probabilitats que cada observador vegi aleatòriament cada categoria. Si els avaluadors estan totalment d'acord, aleshores . Si no hi ha cap acord entre els avaluadors diferent del que s'esperaria per casualitat (tal com dona ), . És possible que l'estadística sigui negativa, que pot ocórrer per casualitat si no hi ha relació entre les valoracions dels dos avaluadors, o pot reflectir una tendència real dels qualificadors a donar puntuacions diferents.
Per a categories, observacions per a categoritzar i el nombre de vegades que l'avaluador va predir la categoria :
Això es deriva de la següent construcció:
On és la probabilitat estimada que tant l'avaluador 1 com l'avaluador 2 classifiquin el mateix ítem com a k, mentre que és la probabilitat estimada que l'avaluador 1 classifiqui un element com a k (i de manera similar per a l'avaluador 2). La relació es basa en l'ús de la hipòtesi que la qualificació dels dos avaluadors és independent. El terme s'estima utilitzant el nombre d'ítems classificats com a k pel qualificador 1 () dividit pel total d'elements a classificar (): (i de la mateixa manera per a l'avaluador 2).
En la matriu de confusió tradicional 2 × 2 emprada en aprenentatge automàtic i les estadístiques per a avaluar classificacions binàries, la fórmula Kappa de Cohen es pot escriure com a:
on TP són els vertaders positius, FP són els falsos positius, TN són els veritables negatius i FN són els falsos negatius. En aquest cas, el kappa de Cohen és equivalent a la puntuació d'habilitat de Heidke coneguda en meteorologia. La mesura va ser introduïda per primera vegada per Myrick Haskell Doolittle el 1888.
Referències
Categoria:Estadística aplicada