Buenas tardes ya a todos.
Pues yo voy a presentar el trabajo que he realizado
como trabajo fin de grado, tutorizado por Luis Ángel
y que está centrado en las técnicas de aprendizaje por refuerzo
para predecir las dinámicas de cambio.
Me viene muy bien todo lo que ha explicado en detalle Luis.
Alejandro, porque es básicamente otra línea posible de investigación
sobre las rejillas de implicaciones.
Voy a empezar con una breve introducción
sobre esta temática,
el método que hemos aplicado para validar esta línea de trabajo
y, por último, los resultados y principales conclusiones.
Bueno, pues el trabajo.
También se basa en la teoría de constructos personales
de George Kelly,
que es la que utiliza la herramienta Scilab.
En particular,
de las técnicas de rejilla que utiliza Scilab,
también me he centrado en las Wingrid,
las rejillas de implicaciones,
que, como muy bien ha explicado Alejandro,
básicamente recogen las interacciones entre los diferentes constructos
del sistema de significados personales de de una persona
y que al final se pueden representar de manera visual
con un diagrama de grafo,
donde los nodos son los constructos y las flechas
las interacciones entre constructos.
Entonces, mi trabajo parte de aquí, de este modelo
basado en esta teoría de grafos.
Aunque este modelo permite realizar algunas predicciones,
por ejemplo, comprobando qué cambio produciría en el sistema
si modifico el valor de un determinado constructo,
yo he propuesto un nuevo modelo que, a diferencia de este,
que tiene un enfoque más determinista,
como explicaba Alejandro, básicamente en multiplicar, dividir,
en función de las interacciones entre constructos,
Pues he integrado un proceso que se llama proceso de decisión de Markov,
que le aporta un carácter más probabilístico
a las dinámicas de cambio a lo largo del tiempo,
de manera que, como se observa aquí en esta figura de la izquierda,
a lo largo del tiempo vamos a poder ir modelando el estado de una persona
a lo largo de su evolución temporal.
¿Para qué se ha hecho este cambio de modelo?
Para permitir integrar algoritmos de aprendizaje por refuerzo,
que es una rama de la inteligencia artificial
que permite realizar aprendizajes en el sistema
para proporcionarnos el mejor camino o el camino óptimo
para llegar a un determinado objetivo.
Para integrar estos tipos de algoritmos
he utilizado la herramienta MATLAB,
una herramienta de cálculo matemático,
en la cual se han desarrollado todas las librerías necesarias
para la importación de las wing grids,
los algoritmos de aprendizaje por refuerzo.
Aquí básicamente se muestra un diagrama de bloques
de un sistema básico de aprendizaje por refuerzo
en el que hay un agente que interacciona con un entorno
con el objetivo de maximizar una determinada recompensa.
Entre la información que se intercambian este agente
y entorno, pues básicamente está el estado,
que el estado representa los valores normalizados
que ha comentado Alejandro de cada uno de los constructos.
Por otra parte,
está la acción que determina ese agente inteligente.
Acción significa qué puedo hacer o qué línea de trabajo
voy a realizar, si es aumentar,
disminuir o mantener el valor de un determinado constructo.
Y, por último, la recompensa que sale del entorno
una vez que he hecho ese cambio, ¿no?
En nuestro caso, hemos definido una función de recompensa
con el objetivo de reducir la distancia entre el estado actual
y el estado ideal definido por esa persona.
Además, se ha integrado un factor de ponderación
para permitir darle una mayor o menor prioridad
a cada uno de los constructos, por ejemplo, integrando el índice pH
de cada uno de los constructos en esa función de recompensa.
Y bueno,
para conseguir que este sistema haga una predicción más o menos buena,
ese agente está formado por una red neuronal
con bastantes capas.
Hay tres capas ocultas, cada una de ellas con 100 neuronas,
las cuales se van configurando, van aprendiendo.
Durante una fase de entrenamiento en el cual se le dan
unos datos provenientes de las rejillas de implicación.
A la salida de esa red neuronal lo que se obtiene
son los valores de calidad de tomar una u otra determinada acción
de un constructo u otro.
De modo que una vez que el sistema esté entrenado
nos dará un camino óptimo hacia lo que se ha definido
como ideal,
como veremos ahora.
Entonces, el método utilizado para validar este experimento
ha sido partir de una base de datos de más de 600 participantes
que han participado en un reto de mejora en hábitos saludables,
en el ejercicio físico y alimentación.
También se le ha pasado una autoevaluación pre
y post tratamiento,
digamos, Y vamos a utilizar para cada uno de esos participantes
una rejilla de implicaciones de diez constructos,
como la mostrada en la pantalla,
donde los dos primeros constructos son los retos,
ya sea mejora en ejercicio físico o en alimentación,
y el resto de constructos son ocho constructos adicionales
definidos por esa persona
y que son relevantes para él.
El procedimiento ha sido partir de esa base de datos,
donde tenemos la autoevaluación pre-test, el post-test
y también el ideal.
Se ha pasado a una fase de validación de participantes,
donde se han descartado algunos participantes
en los cuales no mejoraba absolutamente nada en las dos fases,
pre y post.
Se ha entrenado el modelo, la red neuronal,
para todos los participantes y para las distintas configuraciones
del modelo.
Por último, se ha pasado a la fase de explotación de la red neuronal,
donde aquí se hace una estimación de cuál será en un futuro
el estado de ese paciente en la dirección hacia el ideal.
Aquí un aspecto importante a recalcar
es que la estimación que hace el sistema.
Es hacia el ideal definido por el paciente,
no hacia el estado post,
porque el estado post no lo conocemos a priori, ¿no?
Y lo que se hace
es que esa estimación se comparará posteriormente
en una fase de métrica de resultados,
se comparará con el post para ver si tiene una alta correlación
o baja, etc. Se ha realizado un diseño de tipo correlacional,
donde la variable independiente es la configuración del modelo
de aprendizaje por refuerzo y se van a obtener como variables
dependientes las correlaciones entre las diferentes medidas.
Aquí se muestra visualmente un pequeño vídeo
donde se ha utilizado una rejilla de implicaciones muy sencilla,
con cuatro pares de constructos nada más.
En la gráfica de arriba se va viendo la evolución de la recompensa
durante la fase de entrenamiento.
En el entrenamiento que se hace se van ejecutando acciones
a priori aleatorias, no exactamente aleatorias del todo,
se utiliza una.
Lo que sea una técnica de exploración, explotación,
en lo cual al principio hay muchas acciones aleatorias
y poco a poco,
a medida que el sistema va aprendiendo,
se van tomando acciones en base al conocimiento que ya tiene la red
y abajo se observa el estado actual a medida que esas acciones
se van tomando y cómo se va acercando al ideal.
Entonces, como se observa en el gráfico de abajo,
después de 500 acciones, lo que se ha denominado un episodio,
pues el estado actual se ha acercado bastante al estado ideal.
Pero, como se ve
y como Alejandro también apuntó en su intervención anterior,
el estado ideal no es casi nunca alcanzable.
Ese estado es un estado ilusorio o una expectativa que,
a menos que estén completamente alineadas
con el sistema de constructos del SELF, será difícilmente alcanzable.
Bueno, para que el sistema ya sea utilizable para explotarlo hay
que realizar muchos episodios.
En nuestro caso se han realizado 500 episodios para cada participante,
de forma que en los últimos episodios ya apenas haya mejoras,
se ha alcanzado una recompensa máxima
y entonces ya sí se dice que la red neuronal
está perfectamente entrenada para explotarla.
¿Qué es la fase de explotación?
Pues utilizar la red.
Para directamente nos dé las acciones óptimas
para llegar desde el pre hasta el ideal.
Si veis, la recompensa ha ido rápidamente hacia su valor más alto
y, como se observa abajo, la diferencia entre el actual
y el ideal se ha conseguido muy rápidamente.
Entonces, aunque no es posible llegar por completo al ideal,
es decir, que haya un error cero,
la herramienta sí que nos está dando información muy útil
acerca de cuáles son las acciones óptimas a tomar para llegar
lo más rápido posible a ese estado más cercano al ideal.
Aquí también es importante recalcar
que la herramienta se acerca al ideal, no al post.
Entonces, ¿qué papel juega aquí el post?
Bueno, pues se ha podido comprobar que ese estado postintervención
es un estado,
si vemos la evolución en la gráfica de abajo de la izquierda,
y lo voy moviendo, digamos, temporalmente hacia adelante
y hacia atrás, y nos observamos, por ejemplo,
los tres primeros constructos, pues el estado post,
en general, casi siempre es un estado intermedio
entre el previo al tratamiento.
Y el ideal, está a medio camino hacia ese ideal
que tiene la persona.
En ese sentido,
es posible calcular o estimar cuál es el porcentaje de progreso
de una persona en su camino terapéutico
hacia el mejor estado posible que se acerca al ideal.
Porcentaje de progreso o bien el percentil con respecto
al progreso de una gran muestra de participantes.
En este trabajo también se han obtenido
otra serie de resultados, aparte del porcentaje de progreso,
sobre todo basados en métricas de error
entre los diferentes estados, entre la estimación y el ideal,
entre el pre y el post, etcétera.
También se han obtenido resultados de correlaciones
entre los distintos estados.
Y hay una serie de hipótesis que pasaremos muy rápidamente
para que nos dé tiempo.
La primera muy básica es que asumimos una de las hipótesis de trabajo,
que es la estimación se va a acercar tanto al ideal
como al post.
Luego trataremos de validar todas estas hipótesis.
La segunda hipótesis es que,
cuando tenemos en cuenta el índice pH, que es la estructura del self,
la estructura de los sistemas de significados personales
de la persona, se va a alcanzar una mayor correlación
entre la estimación realizada y el postintervención.
La tercera es que, Como antes Alejandro presentó,
el ideal, a menos que esté muy alineado
con la estructura del SELF, será difícilmente alcanzable.
Por tanto, cuando tenemos en cuenta ese índice pH,
aunque se adquiere una mayor correlación con la medida POST,
puede dificultar una estimación hacia el ideal,
porque el ideal realmente es, como digo,
una.
A veces puede ser ilusoria o demasiado optimista.
Cuarta hipótesis es que el porcentaje de progreso
depende de las características estructurales del modelo,
como veremos luego.
También veremos cómo otra de las hipótesis
es que los participantes con mayores discrepancias iniciales
entre el pre y el ideal, pues.
Tienen una mayor correlación o van a tener problemas
de resistencia al cambio después de la intervención.
Y la última hipótesis es que el ideal funciona como una guía motivadora
hacia la medida posintervención.
Bueno, pues aquí vemos los resultados.
Se han utilizado distintas configuraciones
de la red neuronal, básicamente modificando estos pesos,
este factor de ponderación en la función de recompensa.
Algunos de los pesos son todos a la unidad,
para que todos los constructos tengan la misma prioridad.
Otras veces se le da el doble de prioridad
a los dos retos principales.
Y aquí lo más relevante es que en una de las configuraciones
se ha utilizado del índice pH como factor de ponderación
de los retos.
Y bueno,
aquí se muestran los resultados de correlación
para las distintas configuraciones de peso.
Entre los distintos estados.
Por ejemplo, aquí he señalado la correlación entre la estimación
y la medida postintervención, que es el valor más alto
entre todas las correlaciones de todas las configuraciones.
De hecho, se obtiene la mayor correlación de 0,74
cuando se utiliza el índice pH, validando así la hipótesis 2
también, la 1 también queda validada porque las estimaciones
se acercan tanto al post como al ideal.
Y aquí también otro aspecto interesante que comenté antes
es que cuando utilizamos el índice pH
la estimación se acerca mucho a la postintervención,
pero tiene más problemas para acercarse al ideal.
Esto puede interpretarse como que el ideal,
en muchas ocasiones, no está alineado con el sistema
de significados personales
y, por tanto, la estimación no se acerca al ideal.
Quizás lo más relevante de todo esto
es que, aunque el algoritmo de aprendizaje por refuerzo
se ha diseñado para acercarse al ideal,
finalmente se está acercando más al post,
a la medida post, que es lo que queremos,
ya que tiene en cuenta.
Todas las resistencias
y las limitaciones del sistema de constructos
de la persona.
Y ya voy terminando muy rápido, que me pasa un poquito de tiempo.
Aquí también se observan, estos son valores de correlaciones
entre, por ejemplo, el pre y el ideal y el pre y el post,
donde aparecen valores negativos.
Lo cual representa que los valores iniciales reportados
por los pacientes o los sujetos están lejos de sus ideales
o lejos de sus valores postintervención.
Estos son valores de progreso hacia el mejor estado posible,
donde se obtiene el mejor resultado
cuando se tiene en cuenta el índice pH. Y ya la última gráfica es esta,
Son valores de correlaciones entre los errores
de distintas pares de estados.
Por ejemplo, este que se muestra aquí son la correlación entre los errores
entre los pares de pre-ideal y post-ideal.
Se observa una correlación muy alta que puede sugerir.
Que cuando hay una gran discrepancia
entre la versión previa al tratamiento y el ideal,
también sigue habiendo una gran discrepancia
después del tratamiento.
Bueno, ya por concluir voy a las conclusiones
para no alargarme más.
Este trabajo básicamente se ha integrado
un modelo con inteligencia artificial para predecir a lo largo del tiempo
cuál va a ser la evolución de una persona
y también permite identificar.
Cuáles son los constructos claves,
optimizar la estrategia, hacer estrategias personalizadas,
como apuntaba anteriormente Luis Botella,
y que de forma que se maximicen los beneficios terapéuticos
para el paciente.
Por mi parte, pues eso es todo.
Muchas gracias.