¡Hola de nuevo! En este vídeo vamos a explorar
las primeras métricas que los anotadores
utilizan para evaluar cuánto coinciden entre
sí cuando trabajan en tareas del procesamiento del lenguaje natural.
Sí, estamos hablando del porcentaje de acuerdo y los coeficientes k.
Empezamos por lo básico, el porcentaje de acuerdo.
El planteamiento es simple, ¿con
qué frecuencia diferentes anotadores
etiquetan un mismo dato de la misma forma?
Para verlo de manera clara se usa una tabla de contingencia,
donde las filas y columnas reflejan cuántas
instancias de cada categoría anotó cada persona.
Lo que buscamos es comparar cómo cada anotador
clasifica los mismos fragmentos de texto.
Y claro, surge la gran pregunta, ¿cómo medimos
si hay mucho o poco acuerdo? Una forma rápida
y directa es justamente calcular ese porcentaje
de coincidencias, es decir, cuántas veces
coincidieron dividido entre el total de
casos y multiplicado por 100. ¡Así de fácil!
Pero atención, este método tiene una desventaja.
Aunque nos da una visión general, no tiene
en cuenta el azar. Piensa esto, si los anotadores
estuvieran etiquetando al azar, ¿no crees
que a veces coincidirían, aunque fuera solo por casualidad?
Por eso, para tener una medida más fiable, utilizamos otra medida más
compleja, pero muy útil, los coeficientes Kappa.
Seguro que te suenan.
Kappa es una familia de coeficientes adaptados al número
de anotadores. Si tienes solo dos personas
anotando, se usa el Kappa de Cohen.
Pero si hay más de dos, utilizamos el Kappa de Fleiss.
¿Cómo funciona esta métrica?
Se trata de comparar el acuerdo real, el observado entre
anotadores, con el acuerdo que se esperaría por puro azar.
Y esta diferencia se normaliza para darnos un valor que va entre 0 y 1.
Un Kappa de 0 significa que no hay acuerdo, lo
que es peor que tirar una moneda.
Y un Kappa de 1 indica un acuerdo perfecto, como si los
anotadores fueran clones. Eso sí, el coeficiente
Kappa también tiene sus limitaciones, y no siempre es la mejor opción.
¿Quieres saber cuáles son esas limitaciones
y qué alternativas existen para evaluar
mejor el acuerdo entre anotadores?
Entonces, no te pierdas el próximo vídeo. Allí nos vemos.
[Música]