Bien, continuamos con la profesora María
José María José Bautista Cerro Ruiz, es doctora,
es profesora de esta universidad, de la UNED,
doctora en educación también por la UNED,
profesora de teoría de la educación y pedagogía social,
entre sus líneas de trabajo,
pues están relacionadas con la sostenibilidad,
es además directora de la cátedra UNESCO de Educación Ambiental
y Desarrollo Sostenible.
La comunicación que nos va a presentar tiene que ver
con el papel de la inteligencia artificial generativa
en la educación a distancia.
Efectos sobre la motivación y rendimiento de los estudiantes.
Muchas gracias.
Pues yo traigo una actividad, un proyecto mucho más pequeño,
mucho más acotado,
pero la verdad es que nos ha dado a los docentes de las asignaturas
donde se ha implementado, bueno, pues mucho espacio para repensar
en torno a la inteligencia artificial
y en torno al trabajo que hacemos como docentes.
La actividad la hemos desarrollado en varias asignaturas.
A ver, ¿qué tengo aquí?
En varias asignaturas de la UNED, con sus características que yo creo
que no hace falta que presentemos, de universidad semipresencial,
con un número muy grande de estudiantes,
en los que la elaboración de la evaluación continua,
el diseño de la evaluación continua,
realmente es uno de los retos más importantes que tenemos.
Lo que nos encontrábamos en las asignaturas
en las que participamos, el profesor Diego Galán
y yo misma que presentamos esta comunicación,
tienen que ver con la necesidad de motivar
al estudiantado no solamente para que finalice la asignatura,
sino para que también participe en la evaluación continua,
que ninguna de estas asignaturas es obligatoria.
Y además para.
Bueno, intentar acometer uno de los problemas que nos habíamos encontrado
en los últimos años, que era el uso no declarado y creciente
de la inteligencia artificial
para la elaboración de las actividades,
de las pruebas de evaluación continua.
Pues ya que teníamos al enemigo en casa,
por llamarlo de alguna manera, dijimos pues vamos a utilizarlo,
vamos a invitarle a que pase,
a que se sienta en nuestra mesa y vamos a comer con él.
Entonces lo que hicimos fue intentar diseñar una prueba de evaluación
continua en la que los estudiantes obligatoriamente tuvieran
que utilizar la inteligencia artificial, que no fuera una opción,
sino que realmente la tuvieran que aplicar además
desde el minuto cero.
En esta experiencia, los resultados que aquí traemos
son de los dos últimos años, del 2023-2024 y del 2024-2025,
y están implicadas tres asignaturas,
todas ellas relacionadas con la educación ambiental,
con los problemas de sostenibilidad.
Y con el desarrollo sostenible, que es
una de nuestras líneas preferentes de investigación.
Como les comentaba, lo que hemos hecho
es diseñar las pruebas de evaluación continua
a través de la inteligencia artificial.
Es necesario comentar previamente que.
Estas pruebas de evaluación continua, que nosotros llamamos PEC,
no son obligatorias en ninguna de estas asignaturas,
son voluntarias.
El estudiante que quiera hacerlas las hace y el que no, no.
Pero es cierto que tienen un peso del 25% de la calificación.
El estudiante que no lo hace, como mucho,
puede obtener un 7,5 en la calificación final,
haciendo el examen, perfecto.
Cosa que siempre es mucho más interesante
realizar la prueba de evaluación continua
porque te permite obtener para ellos más calificación.
Respecto al diseño de la PEC, ¿qué hicimos?
Tradicionalmente en estas asignaturas
lo que le pedíamos a los estudiantes
es que diseñaran una actividad educativa con unos parámetros,
en unas temáticas que nosotros veníamos eligiendo año tras año.
Trabajando en sostenibilidad hemos abarcado desde la industria
de la moda, desde la alimentación,
desde la deforestación, el cambio climático,
hemos tenido un abanico de temas muy grandes.
Lo que hemos hecho a partir del curso 23-24 es modificar
y en vez de pedirle a los estudiantes
que hicieran este proyecto educativo sobre una temática concreta,
lo que les hemos dado eran unos parámetros más bien de objetivos
y de usuarios.
Y con unos objetivos
para que solicitasen a la inteligencia artificial,
nos daba igual que fuera HGPT,
que fuera Gemini, que fuera Copilot, nos daba igual,
que les solicitaran un diseño de una actividad,
de una intervención educativa
que cubriera esos objetivos y para unos usuarios determinados.
Una vez que la inteligencia artificial les devolvía.
Ese diseño lo que tenían que hacer
era analizar la respuesta que le daba la inteligencia artificial
teniendo en cuenta el contenido de asignatura,
cómo se trabajaban las competencias en la asignatura,
cómo se trabajaban los contenidos,
qué tipo de valores se trabajaban en la asignatura
relacionados con la sostenibilidad
y si esa devolución que les daba la inteligencia artificial
de alguna manera estaba relacionada.
Les pedíamos, por ejemplo,
que analizaran si la devolución tenía sesgos antropocéntricos,
sesgos de género u otro tipo de sesgos asociados
y que es muy fácil, por la experiencia que teníamos,
que la inteligencia artificial lo devuelva en un determinado modelo
como más.
Más antropocéntrico y menos en la línea de la crítica
de la educación ambiental.
A partir de ese análisis tenían que establecer una propuesta
de mejora que la podían hacer con o sin inteligencia artificial.
Podían hacer las modificaciones en la propuesta que ellos considerasen,
que ellos ya las considerasen, solicitándole de nuevo a la IA,
diciéndole, bueno, he detectado estos problemas
en la devolución que me has hecho, me gustaría que cambiaras,
que introdujeras, etcétera, etcétera,
o directamente él o la estudiante lo podía hacer directamente
sin la inteligencia artificial.
Y finalmente tenían que hacer una conclusión reflexiva
sobre cómo habían utilizado, para qué les había servido,
qué habían encontrado y si les parecía
que era una buena herramienta para trabajar en educación.
El informe final, además de estas reflexiones,
les solicitábamos que incluyeran todos los prompts
que habían utilizado para avanzar con la inteligencia artificial.
¿Qué es lo que nos hemos encontrado cuando hemos analizado
lo que estábamos buscando?
Saber si esto motivaba a los estudiantes para vincularse más
a la asignatura y si mejoraba su rendimiento académico.
Lo que nos hemos encontrado es que.
No hay un aumento significativo en el rendimiento académico
entre los estudiantes que hacen, o sea,
no hay un aumento de estudiantes que hacen la PEC
cuando se les ha solicitado que la hagan con la IA.
Aquí tenemos cuatro años consecutivos,
el 21-22, que fue un poco rarito, entonces, bueno, pues ahí ese dato
sí que lo ponemos un poco entre paréntesis.
Pero como vemos, del 22-23 al 23-24,
incluso el 23-24 fue el primer año que trabajamos
con inteligencia artificial
y ahí tuvimos un pequeño descenso de estudiantes que lo hacían.
Y el 23-24 sí que hemos recuperado un pequeño porcentaje,
pero como vemos es muy pequeño.
Es muy pequeño el porcentaje de estudiantes que llegan
a la evaluación final habiendo hecho la A. Hay una variación muy pequeña,
con lo cual, bueno, pues.
Tenemos que analizar,
por ejemplo, este año volvemos a utilizar esta actividad,
queremos ver un poco si ese alza mínima que tenemos en 24-25
conseguimos que sea un alza mayor en el curso 25-26.
Vamos a ver qué tal.
Lo que sí tenemos
es que los resultados de desempeño académico
sí parece que están vinculados de alguna manera.
Para los estudiantes que no realizan la PEC,
pero sí la evaluación final, hay solamente un 57% de aprobados
con una calificación media de 5,31 en el examen.
Recordamos que el examen, como mucho, puede no tener un 7,5.
O sea que.
Eso también hay que tenerlo en cuenta.
Pero los que realizan la PEC sí aprueban el examen en un 97%,
con una calificación bastante superior.
Esto también lo tomamos con mucha cautela,
porque obviamente los estudiantes que hacen la PEC,
Son estudiantes que están ya de por sí más implicados
en la asignatura,
que tienen mayor voluntad de trabajo y una mayor motivación inicial,
con lo cual queremos seguir viendo otros elementos antes de afirmar
que la realización del APEC realmente es tan significativa
en el número de aprobados.
Y otro elemento que consideramos también para ver
si la realización de Blapec mejoraba el desempeño académico
era saber qué estudiantes respondían a una pregunta de desarrollo.
No lo he comentado, pero el examen es un examen mixto
con unas 25 preguntas tipo test y una pregunta de desarrollo.
La pregunta de desarrollo, tengo que decirlo,
no es fácil.
No es una pregunta en la que le digamos,
define este concepto o cuéntanos este desarrollo.
No, es una pregunta difícil donde hay que interrelacionar conceptos,
donde hay que demostrar un poco de pensamiento relacional,
pensamiento sistémico.
Entonces, como ven, Hay un porcentaje muy pequeño
de estudiantes que la responden, pero es verdad
que quien realiza la PEC la responde en mayor medida
de quien no realiza la PEC.
Se sienten más cómodos a la hora de abordar una pregunta que,
como ya les digo, no es sencilla y para nosotros es un poco
como la guinda del pastel,
que significa que un estudiante ha cubierto.
Todas las competencias que nosotros pretendemos trabajar
en la asignatura.
Sí que hay ciertas pistas que nos dicen
que la elaboración de la PEC lo que favorece
es un mejor aprendizaje del estudiante por parte de O sea,
un mejor aprendizaje de la asignatura por parte
de los estudiantes.
Hay un elemento con el que no contábamos
y que sí que nos ha llamado muchísimo la atención
y es el tema del plagio.
En cursos anteriores nos veníamos encontrando
alrededor de un 25% de plagio, no completo,
pero sí de iluminación de partes de la actividad,
de textos directamente cogidos de páginas web,
de TFGs, de TFMs,
de otro tipo de trabajos que están en la plataforma.
Este 25% no queremos decir que todo el trabajo
estuviese plagiado,
pero que sí había partes significativas que estaban tomadas
de otros trabajos previos.
Y luego nos encontrábamos entre un 2 y un 3%,
dependiendo de la asignatura y del año, de trabajos que directamente
eran exactamente iguales de otros compañeros.
O sea, donde ponía Antonio ponía Margarita,
donde ponía Paula pongo Francisco y el trabajo es el mismo.
Y lo que nos hemos encontrado ahora al pasarnos a trabajar con la IA
es que tanto el plagio, obviamente, de páginas externas
ya no tiene sentido, con lo cual ha bajado a cero,
pero tampoco hay una comunicación entre estudiantes de te
dejo mi trabajo o voy a coger tu trabajo,
con lo cual.
Esto no lo estábamos buscando, pero no lo hemos encontrado
y nos ha parecido que está muy bien.
Bueno, pues tienen más ganas o pensamos que tienen más ganas
de hacer el trabajo ahora que lo hacen con la IA.
Cuando finalizaban el trabajo
y ya lo habían entregado, les pasamos un pequeñito test
para saber cómo había sido su experiencia
y qué es lo que habían experimentado con la IA.
En esta pregunta,
por ejemplo, les preguntábamos qué les había motivado a realizar
la primera idea que les había hecho vincularse a la PEC.
Y, bueno, pues tenemos ahí un 19% que lo que querían
se vinculan a la APEC para experimentar con la IA.
Con lo cual nos dice
que, bueno, que tenemos un porcentaje interesante que quizás
si no hubiera sido por la IA no lo hubieran hecho.
Pero también nos hace pensar que hay,
si no tenemos un mayor porcentaje de alumnos que lo hacen
en estos años que hemos experimentado con la IA,
es que también hemos perdido con el camino.
Estudiantes que lo hubieran hecho si no le hubiéramos pedido
que utilizaran este tipo de herramientas,
con lo cual también el año que viene queremos avanzar para preguntar
no solamente a los que han hecho la APEC,
sino a los que no lo han hecho por qué no lo han hecho.
Y también nos parece relevante
que haya un 35% que, a lo mejor por deseabilidad,
pero que hayan respondido que lo hacen para mejorar su aprendizaje
y su comprensión de la asignatura.
Lo que también encontramos
es que valora muy positivamente la experiencia.
No tenemos a nadie que diga que no ha aportado nada,
ni al aprendizaje, que no le resultó ni útil ni motivadora,
que no le gustó realizarla.
Y sí tenemos un porcentaje muy alto de personas que han disfrutado
y que piensan que ha sido enriquecedora para su formación.
Con lo cual, nos anima a continuar trabajando con ellos.
¿Qué es lo que pensamos con la experiencia
de estos dos años?
Bueno, pues que obviamente no ha aumentado significativamente
el número de estudiantes que realizan la PEC,
con lo cual ese efecto que nosotros pensábamos
que podía tener motivador no lo ha tenido,
no sabemos por qué y vamos a ver si este año conseguimos saber.
Si realmente hay, por un lado, estudiantes que se vinculan
porque sea una actividad de inteligencia artificial,
pero otros que se desmotivan al pensar que tienen que trabajar
con la inteligencia artificial.
Sabemos que la elaboración de la PEC es un predictor
de buenos resultados.
Realizar la PEC y realizarla mal.
Hay una vinculación directa entre altas calificaciones
en la prueba de evaluación continua y altas calificaciones en el examen,
en la parte de test y realización de la pregunta de desarrollo,
con lo cual sí que hay ahí una cierta correlación
que tenemos que seguir investigando y tenemos que seguir valorando.
Por otro lado, lo que nos dicen
es que ese diseño que hemos hecho de la PEC,
en la que tienen que ver los fallos de la inteligencia artificial,
tienen que mirar los sesgos de la inteligencia artificial
y trabajar a partir de ellos,
les resulta útil para el aprendizaje de las asignaturas.
Respecto al equipo docente, lo que nos ha gustado
es que no genera un trabajo extra para nosotros,
más allá de que, como estamos muy interesados,
queremos ver cómo funciona y queremos investigar los resultados,
pero como actividad de evaluación continua
tiene el mismo trabajo para el equipo docente
que cualquier otra que no estuviera mediada
por la inteligencia artificial.
Y en las contras que vemos
de una manera más negativa respecto a trabajos anteriores,
es la poca crítica que hay de los estudiantes
respecto a la devolución que les hace la inteligencia artificial.
Lo que encontramos es que el análisis que hacen de lo que les ha devuelto.
Es bastante conformista,
les parece que está muy bien lo que les ha respondido,
que se adecua a la asignatura,
cuando en muchos casos ves ahí un trasfondo
como muy poco relacionado con la.
Con la sostenibilidad,
pero el hecho de que la IA te devuelva unas respuestas
tan bien estructuradas y bastante bien redactadas,
al estudiante le da la sensación de que están muy bien hechas
y de que son sólidas,
con lo cual se animan menos a establecer un diálogo crítico
con lo que les ha devuelto la inteligencia artificial.
Y por otro lado, también hay mucha uniformidad en las respuestas.
O sea, frente a la pregunta que teníamos esta mañana
o que se planteaba esta mañana
en torno a la inteligencia artificial es generativa
o la inteligencia artificial es creativa,
lo que nos hemos encontrado aquí es que es generativa
pero que no es creativa.
Aquí hay mucha uniformidad.
Y muy poca innovación y muy poca disrupción
de las respuestas que da la inteligencia artificial.
Las modificaciones que hemos hecho este año también van
en la línea de buscar y provocarles
para que sean más críticos y más desafiantes
con lo que les devuelve la inteligencia artificial.
Así es que vamos a seguir trabajando
y esperamos poder presentarle más información en siguientes congresos.
Así es que muchas gracias.
Muy bien, María José.
La verdad es que hay que atreverse.
Hay que atreverse y utilizar la tecnología que está allí,
utilizar esas herramientas,
sobre todo si se hace de una manera estructurada,
pensando en unos objetivos educativos.
Entonces, creo que ha sido una experiencia muy interesante
y de verdad que esperamos en el próximo congreso,
que seguramente será en el 26 congreso,
que nos presentes más resultados.