Buenos días o tardes,
yo soy buen del vida y voy a presentar
un trabajo en colaboración con Juan María Garrido Victoria Marrero
y Enrique Corrales,
y es un trabajo basado en un proyecto de innovación docente
para mejorar la evaluación de una asignatura,
que es la asignatura de fonética y fonología del grado de lengua
y literatura españolas de la UNED.
La evaluación de la asignatura de fonética
es una tarea prácticamente estándar en todas las universidades
en la que se provee a los alumnos con un audio,
y a partir de un gráfico al que llamamos espectro grama,
ellos tienen que crear la transcripción fonética
de su contenido
y hacer una segmentación de los sonidos;
es decir, decir dónde empiezan, dónde acaban.
Aquí lo tenéis en la figura por ejemplo
este segmento de aquí que la uno empezaría aquí
y acabaría que esos son los segmentos que tienen que marca
y después tienen que transcribir el sólido exacto que se ha dicho
que no coincide con con la grafía.
Muchas veces todo esto se hace con un programa llamado, Prat,
en el que se puede visualizar el espectro grama
y crear un archivo de anotación.
Lo estáis viendo también en pantalla.
Ahora bien, la evaluación de esta tarea
tiene varios problemas.
El primero de ellos es su dificultad técnica para corregir los tutores;
deben abrir los archivos de los alumnos junto con el archivo
de audio original y la anotación de la corrección.
Digamos.
Además, los audios no son siempre los mismos,
o sea, hay diferentes modelos de corrección,
y esto es así para evitar que los alumnos copien,
no en la corrección también implica mucho tiempo y tiene un alto grado
de subjetividad porque hay audios diferentes;
o sea, tenemos 20 modelos de corrupción diferentes
normalmente, pero también en algunos casos,
porque hay pequeñas variaciones en la respuesta respecto
al modelo que se pueden puntuar de diferente manera;
o sea que no serían un error que invalida la prueba,
sino que hay que ponderar bien.
Si es un error grave
o no le ve todo esto hace que haya pequeñas diferencias,
que los tutores evalúan de manera diferente
o puntúan de manera.
Por todo ello, el objetivo de este proyecto
era homogeneizar la corrección como, en primer lugar,
creando una rúbrica que especificara cada uno de los errores posibles,
y cuánto debían descontar.
En esa puntuación final y en segundo lugar
dar a los tutores una herramienta automática
para que orientar a la nota sea así de alguna manera podíamos tener
una herramienta automática que dijera que es un error,
y de qué tipo es, pues eso podría orientar a los tutores
al ponerla noté que y evitar tantas discrepancias
y también ahorrar tiempo, vamos a ver cómo lo hicimos.
La rúbrica se realizó mediante trabajo colaborativo
con los tutores, y entonces después de hacerlas,
se pasó una, una evaluación para evaluarlas cerca,
y fue una encuesta voluntaria;
a partir de.
Bueno se realiza mediante formas esa encuesta,
respondieron el 28 por 100 de los tutores, que son cuatro de 14
para la segunda parte.
La creación de la herramienta se sus se usó r,
junto con con r -Jaime SAIn, que es un paquete de r,
que permite crear webs interactivas a partir de código de r
-lo estoy viendo aquí también en pantalla.
Esta sería la.
La pantalla de reestudio normal en la que se puede programar,
como programamos en r, normalmente, nuestras cosas de estadística
y de hacer gráficos, y esto el paquete Sailing
lo convierte en una.
En una aplicación que es interactiva a la que puede subir ficheros
y te devuelve gráficos y este tipo de cosas,
el sistema es, entre no con los veintitres audios
que se usaron de correcciones de cursos a los veintitres audios,
que preparó el equipo docente
y se evalúa, se va algo con la aplicación,
con las notas 52 estudiantes, puestas por dos tutores,
es decir, comparamos la evaluación automática
con la humana para ver si las respuestas eran iguales o no,
y vamos a ver los resultados bueno, en primer lugar,
la rúbrica, la, en los solos errores que prevemos que comenten
que cometan los alumnos expresados de tal manera que se pueden aplicar
por parte de los tutores y que se pudieran aplicar
en la y los categorizamos en graves o leves,
con su penalización naranja queda la un elemento que todavía
no se ha aplicado en la el resto sí que lo hemos podido aplicar,
es decir,
las mismas reglas que supuestamente aplican los tutores
son las que la aplicara para, para esa corrección
y los resultados de esta evaluación.
Bueno, como veis todos los resultados caen en la franja positiva,
o sea en general los ítems que se les preguntaron
en los tutores estaban contentos con con la aplicación
o con la realización de esta de estas Rubén rúbrica, pero también
vemos que en muchos aspectos no se les parecía que era mejorable.
Vamos a vernos en que les parecía exactamente mejorable,
con más detalle, que es lo que se puede mejorar
de la rúbrica.
Bueno, pues los tutores nos decían que se podía hacer
que la rúbrica fuera también más concreta
que la que los errores fueran más detallados,
que es lo que tenían que contar, cómo?
Como error que hubiera una reducción o mayor de la subjetividad
y también nos hicieron algunas sugerencias específicas,
por ejemplo, una naden, los enfoques que se había tomado
al principio, que era que todos los a los fondos
del mismo fonema contaran como como error leve,
y esto ya es una una cuestión de la asignatura de fonética.
No, pues los tutores decían que mejor no hacerlo así
porque que algunos fueran graves porque hay algunos errores,
realojo nos como la diferencia entre la grafía.
Ve que nosotros en realidad expresamos como exclusiva
o que dependiendo del contexto, bueno,
pues a eso se le da mucha importancia en la teoría del curso
y entonces nos pedían que eso,
por ejemplo, también contara como error grave.
Bueno, pues eso se modificó en la rúbrica,
y eso ha sido lo que se ha aplicado en la que es el segundo resultado,
la en sí misma, para que funcione,
la de introducir el modelo de corrección y el archivo del alumno
o varios de golpe también se puede hacer,
y entonces la respuesta que da el programa
es verlo de forma numérica sala,
la nota que te da el programa y también verlo
de forma gráfica.
Aquí lo tenéis.
Aquí pondríamos los archivos el archivo del modelo.
El archivo del alumno que queremos corregir también
podemos especificar cuánto queremos descontar por error grave leve
y cuál es la puntuación máxima de la parte de segmentación
y de la parte de transcripción.
Aquí tenemos la nota final,
la nota de la transcripción de la segmentación
y algunas cosas más no aquí tenemos la transcripción original del alumno
y alineada con el modelo y que en el caso
de alinearla con el modelo tenemos que ha resaltado
cuáles son los errores,
que se consideran errores graves
y cuáles son los que se consideran errores leves marcados,
en rojo los graves y en ámbar los niveles.
Después si bajamos en una no estos estaría la misma pantalla.
Habría que bajar con con el escrúpol vemos la lista de errores
que se han cometido, especificada este, sustituir esto,
este símbolo por esto es un error.
La idea sustituir esto por esto es un error grave,
etc, y las diferencias en la segmentación del alumno
y el modelo para cada sonido, es decir,
en la alineación, de esos límites que hagamos al principio
de donde empieza la hoy, donde acaba la o no,
pues si esos límites se han pasado de esta franja verde.
Es decir hay más diferencia de la que esperamos
o de la que toleramos para esos límites.
Los puntitos no salen fuera de la franja,
ver de estos serían los puntos que están restando nota que cuentan
como error releve serían en este caso uno dos tres cuatro errores leves
vamos a ver ahora qué tal corrige la, si lo comparamos
con las notas que ponen nuestros tutores
y la respuesta es depende.
En este caso
si lo comparamos, hemos hecho que teníamos dos tumores.
Si lo comparamos con un tutor el resultado es muy bueno,
es una correlación de 82 con otro, la correlación es moderada,
es una relación de 53,
la media de la correlación de todo esto se hacemos
la correlación con los dos tutores juntos,
sin tener en cuenta que son dos tutores diferentes,
la media que nos estáis de 52 en general podemos decir
que la discrepancia, la discrepancia viene dada porque la máquina
es más dura que el humano.
Es decir,
toda esta zona que vemos aquí es una zona donde los tutores humanos
han tenido a poner el máximo de la nota que sobre 5,
mientras que la máquina pues estaba poniendo notas alrededor
del.
Pero como vemos, aquí pasamos a las discusiones.
Conclusiones.
Cuál es la?
Cuál es la conclusión de todo esto?
Bueno, pues tenemos una rúbrica,
que los tutores han valorado positivamente,
pero que es mejorable,
y la constatación empírica, una vez más,
de que la corrección humana es subjetiva,
que dependiendo del tutor,
pues la máquina lo lo evalúa diferente.
Además, es la primera vez que se crea una para este tipo de correcciones,
y creemos que será útil para genetistas de toda España,
no solo para la UNED,
sino porque, como hemos dicho al principio,
este tipo de evaluación se usa en todas las asignaturas de fonética
para el futuro nos quedan mejoras de la rúbrica, obviamente,
y de la pero sobre todo, hacer que los alumnos puedan usar
esta como método de autoaprendizaje, y nada más.
Gracias por la atención.
Yo soy Joaquín, la cara y el contacto
de los que hemos participado en el proyecto.
Muchas gracias.