Ya sabemos cómo funciona el coeficiente
Kappa, una métrica muy usada para medir
cuánto se ponen de acuerdo los anotadores.
Pero ya sabemos que no es la solución para todo.
Tanto el Kappa de Cohen como el de Fleiss
tienen sus limitaciones y es crucial conocerlas
para evaluar nuestro trabajo con rigor.
Primero, Kappa es un poco conservador.
A veces nos puede dar una impresión de acuerdo
entre los anotadores más Baja de lo que realmente
es, así que en ciertos casos su resultado
podría no ser del todo fiel a la realidad.
Segundo, si nuestro sistema de anotación
tiene muchas categorías diferentes, Kappa puede empezar a dar error.
Con tantas opciones, la probabilidad de que
los anotadores coincidan por pura casualidad
disminuye y el valor de Kappa se puede volver
inexacto o difícil de interpretar correctamente.
Además recordemos algo fundamental, Kappa
solo funciona con variables categoriales.
¿Qué quiere decir esto?
Vemos que trabaja con categorías que son
diferentes entre sí, por ejemplo, perro o
gato, y no tienen un orden específico.
Por tanto, si nuestras categorías tienen
un orden natural, como bajo, medio o alto,
lo que llamamos variables ordinales, Kappa no es la métrica adecuada.
Y por último, si en nuestras anotaciones
hay datos incompletos, es decir, si algún
anotador dejó sin marcar algunas cosas,
el cálculo de Kappa tampoco será fiable.
Es muy necesario que todos los anotadores
marquen todo para que Kappa funcione bien.
Pero para abordar estas limitaciones, existen
alternativas al coeficiente Kappa, y una de
las más relevantes es el coeficiente alfa de Krippendorf.
Veamos sus ventajas.
Este coeficiente destaca por su versatilidad,
permite calcular el acuerdo entre más de
dos anotadores, algo que limita al Kappa de Coin.
Además, es más robusto, ya que puede manejar
datos incompletos o situaciones donde las
anotaciones se solapan, algo problemático
para el Kappa en ciertos casos.
Y en cuanto al tipo de datos, este coeficiente
es aún más flexible, ya que puede aplicarse
a variables categoriales ordinales de
rango e incluso de intervalo o ratio.
En definitiva, el coeficiente alfa de Krippendorf
es el más adecuado en estos contextos.
También hay otras métricas interesantes
para casos específicos, como el coeficiente
wet AC2 o el coeficiente de correlación de
Kendall, pero no vamos a profundizar en ellas en este vídeo.
Por otro lado, librerías de Python, como
StickyLearn, y programas especializados en
anotación nos ayudan a evaluar el acuerdo
entre anotadores de forma sencilla y elegir
la métrica que mejor se adapte a nuestro proyecto.
En resumen, aunque Kappa sea una métrica
muy extendida y usada, es esencial entender sus limitaciones.
Por ello es importante considerar alternativas
como el alfa de Krippendorf u otras métricas específicas.
Continúa con el estudio, porque más adelante
vas a aprender la medida F1-score, que mide
con bastante precisión el acuerdo entre anotadores.
Así que, seguimos.
[Música]