Pues pasamos a nuestro siguiente ponente,
que es José María Santaolalla, que lleva por título
Comparación de modelos multinivel con RMSE en estudios longitudinales.
Cuando quieras.
Bueno, yo.
Lo primero, el título realmente es comparación de modelos con RMSE,
porque sí que hemos estudiado modelos longitudinales,
hemos estudiado cómo se comporta cuando los modelos
difieren en los objetos aleatorios,
pero lo que voy a presentar aquí no va
de los modelos longitudinales, son modelos multinivel clásicos,
¿vale?
Bueno, es como el inicio de continuación de MIT-FM e inicio
de la tesis que estoy trabajando con José Ángel Martínez Huertas
y con Belén Fernández Castilla.
Por centrarnos un poco, a mí me preocupa el tema,
o me estoy centrando en la comparación de modelos
con RMS-E.
Partimos para centrar el tema de un ejemplo empírico
que sale de los datos de PISA 2022.
Y tomo como variable pendiente la ansiedad matemática,
que es una variable que se mide con seis preguntas de tipo Likert,
y se hace un índice de media cero y desviación típica uno y tal.
Y estos son datos de Castilla y León, bueno,
pero es a modo de ejemplo nada más.
Tenemos ahí los datos de la variable independiente,
de la media en ansiedad matemática.
Digamos que cuanto la media es más alta,
pues es que tenemos más ansiedad matemática.
El alumno se siente incómodo cuando tiene que enfrentarse
a realizar tareas matemáticas en casa o en clase.
Y como variables predictoras tenemos el apoyo de los profesores.
Cuando el profesor de matemáticas me ayuda,
siento que me ayuda cuando tengo dificultades
o siento que trata de una manera igual
a todos los estudiantes.
Había cuatro preguntas también tipo
Likert para hacer otro índice del apoyo de los profesores,
que resulta que sí que es una variable que.
Que aparecía que tenía ahí un efecto,
y si el alumno, cuando no sabe hacer algo de matemáticas,
pregunta en clase, que sería la otra variable que hemos estudiado.
Será simplemente una pregunta tipo Likert con cinco opciones
de respuesta posibles.
Entonces, ahí consideramos el modelo nulo simplemente el modelo cero,
el modelo uno con la variable apoyo del profesorado, el modelo 2
con la variable de apoyo al profesorado
y si el alumno se anima a preguntar cuando tiene dificultades
y el modelo 3 si el alumno se anima a preguntar
cuando tiene dificultades.
Pues aquí tenemos cuatro modelos.
Los tres primeros serían modelos anidados.
Digamos que el modelo 0 sería un caso particular del modelo 2
cuando las variables de apoyo al profesorado
y si preguntas en clase se ponen a 0 y también el modelo 1
se podría considerar como un.
Un caso particular del modelo 2.
Y el modelo 3 sería un modelo no anidado,
por ejemplo, con el modelo 1
porque no tienen variables comunes en este caso
y no se puede considerar uno como un caso particular de uno.
Y en la investigación, pues a veces estamos en la situación de comparar
cuál es el modelo que mejor se ajusta a explicar la variedad dependiente
que tenemos, que estamos tratando.
Y para hacer esto, pues habitualmente lo que contamos
es con el test de razón de verosimilitudes,
con A y C, con B y C,
y hay un test poco conocido que es el test de Buong.
De Merkel.
Y bueno, la ventaja del test de Wong
es que amplía el test de razón de verosimilitudes para modelos
no anidados.
Y entonces la gran desventaja del test de razón de verosimilitud
es que no se puede aplicar
cuando tenemos modelos no anidados y el test de Wong,
lo que hace Wong es que encuentra las distribuciones de probabilidad
de los cocientes de las razones de verosimilitud
cuando los modelos no están anidados y entonces es capaz
de comparar modelos no anidados.
Y bueno,
todos estos test.
Cuando comparamos modelos que difieren en efectos fijos,
como los que os he mostrado antes, normalmente se pide
que se comparen los test basados en la máxima verosimilitud
y no modelos estimados con máxima verosimilitud
restringida.
Del mismo modo, AIC y BIC,
como son adaptaciones del test de relación de verosimilitudes,
pues deberían de no poder utilizarse en este caso
para comparar modelos con efectos fijos.
Sin embargo,
pues hay algunos estudios, por ejemplo, de Gurka del 2006,
que hace estudios de simulación donde utiliza IC y BIC
para comparar modelos que difieren efectos fijos
estimados con máxima verosimitud restringida.
Entonces, este es el panorama que tenemos para comparar modelos.
Pero seguramente habrá más métodos, pero bueno,
lo que nos ha parecido más interesante
y yo creo que es un poco por donde va generalmente
la práctica es por aquí.
Entonces, tenemos la idea de utilizar RMSE para comparar los modelos.
La idea es que RMSE es una medida del error.
De alguna manera, tenemos los residuos en todo modelo,
tenemos el residuo del valor real
sobre la predicción y, entonces, de alguna manera,
RMSE es.
Una estimación es la desviación típica de los residuos
y, por lo tanto, es una estimación de la desviación típica del error.
Si mis residuos tienen media cero y varianza sigma cuadrado,
pues el RMSE es una estimación de la desviación típica
de esa varianza.
Y entonces nos preguntamos si puede haber un test.
Con significatividad estadística, que compare varianzas
o que compare desviaciones típicas.
El tema es que, claro, tenemos la prueba F de Snedecor,
pero en la prueba F de Snedecor
necesito que las muestras sean independientes.
Y habitualmente los residuos de los modelos lineales
no son independientes.
Hay un señor que es Finney, en el 38,
que hace un test para comparar varianzas
cuando las muestras no son independientes,
pero necesitamos conocer el coeficiente de correlación
de las variables.
Y Pittman Morgan, que son coetáneos de él, en el 39,
pues hacen un test donde no se necesita conocer
ese coeficiente de correlación.
Lo hacen paralelamente y llegan los dos al mismo resultado.
Entonces, nosotros lo que proponemos es utilizar estos test
basados en RMSE para comparar modelos,
porque nos permitirían comparar modelos anidados,
no anidados y todo tipo de modelos.
Podríamos comparar modelos lineales, no lineales.
Cualquier tipo de modelo
que tenga un residuo que siga una distribución normal,
Podría ser comparado con este método.
Finney dice que si no conocemos el coeficiente de correlación
no vamos a poder hacer esta comparación.
El tema es que si tenemos un N suficientemente grande,
seguramente el coeficiente de correlación de los residuos
que tenemos sea suficiente para utilizar el test.
Entonces, estas son un poquito las ventajas de este test,
que ya he comentado un poquito,
que van a tener significatividad estadística
y que van a ser aplicables a todo tipo de modelos,
estimados con máxima verosimilitud, con máxima verosimilitud
restringida, como queramos.
Y esto es un ejemplo de los modelos que teníamos antes
comparados con el test de razón de verosimilitudes, con AIC y BIC,
con el test de WOM, con el test de FINI
y con el test de Pitman-Morgan.
Cuando comparamos el modelo 0 con el modelo 1,
que tenía como variable predictora el apoyo del profesorado,
era un efecto estadísticamente significativo.
El test de razón de verosimilitudes se queda con el modelo bueno.
A y C y B y C también, porque esto es la diferencia entre el primer modelo
y el segundo.
El test de Wuong también y también el test de Finney
y el test de Pitman-Morgan.
¿Vale?
Y cuando comparamos el modelo 1 y el modelo 2,
en este caso nosotros en simulación hemos comparado.
No, bueno, si comparamos el modelo 1 con el modelo 2,
que el modelo 1 es el apoyo del profesorado
y el modelo 2 es si el alumno pregunta cuando tiene dificultades,
pues en este caso el efecto del modelo 2 no era estadísticamente
significativo y entonces el test de evaluación de primeras humilitudes
dice que no es capaz de distinguir entre estos modelos.
Y, sin embargo, A y C se quedan con el modelo 2,
mientras que B y C se quedan con el modelo 1.
Y el test de Pong dice que no distingue, Fini también,
y Pitman-Morgan tampoco distingue entre estos modelos.
Claro, una diferencia de A y C y B y C,
y los test que están basados en significatividad estadística,
es que los test basados en significatividad
estadística son capaces de decir si los modelos son iguales
o si hay uno mejor o si hay uno peor.
AIC y OVIC siempre van a decir, este es mejor o este es peor,
pero tampoco voy a tener criterio de decir
si se pueden considerar iguales.
Y cuando comparo el modelo 1 con el modelo 3,
pues.
Todos se quedan con el modelo 1,
excepto que es el que tiene mayor efecto,
excepto en este caso el test de Pitman-Morgan.
Entonces, a partir de ese ejemplo empírico,
nosotros hemos hecho un estudio de simulación,
que esperamos que termine en un artículo y tal,
que hemos cogido dentro del paradigma de los modelos multinivel,
hemos cogido.
Condiciones de unidades de nivel 1, 15 y 30,
de unidades de nivel 2, 50 y 150,
coeficientes de correlación intraclase 0.1, 0.25 y 0.5,
tamaño del efecto estandarizado de 0, 0.5, 0.15 y 0.25
y varianza total 0.47 y 1.41.
Entonces, con esto hemos estudiado modelos anidados,
el modelo nulo, el modelo con una variable predictora
y el modelo 2, que tiene una variable que no está.
En la población
y que, por tanto, es una variable de ruido.
Cuando comparo el modelo 0 con el modelo 1,
lo que veis a la izquierda
es el porcentaje de aciertos del test de Fitney
para N1 igual a 30 y N2 igual a 50.
Para N2 igual a 150 funciona muy bien
y cuando N2 es igual a 50 y N1 es igual a 15
funciona peor.
La línea continua de abajo es el efecto de la variable V1 de 0.05,
que vemos que el test no consigue acertar,
ni el test de Finney ni el test de Pitman-Morgan.
Sin embargo, el test de Fitney,
para valores de correlación intraclase de 0.25 para arriba,
sí que acierta por encima del 95% de los casos.
Y para valores de correlación intraclase de 0.5,
pues aproximadamente en el 80%.
Los test de Pitman-Morgan funcionan bien.
Y aquí tenemos cómo funciona a la izquierda
el test de razón de eurosimilitudes y el test de Bohm,
que funcionan prácticamente igual, puesto que.
Prácticamente son lo mismo en este caso.
Y vemos que tampoco funcionan mejor que el test de Sydney,
pero tampoco funcionan para un efecto tan pequeño de 0,05.
Y esto es cómo funcionan A y C y B y C,
que aquí en este caso lo que mejor funciona es A
y C. Y luego aquí os pongo juntando todas las condiciones
porque no se veía un patrón y más o menos es como similar.
Prácticamente en el 100% de los casos,
en casi todas las condiciones,
al comparar el modelo 1 con el modelo 2, el test de Fitney y Pitman Morgan
hacían la selección correcta y también BIC.
Y el test de Wong.
Y el test de razón de verosimilitudes estaban en torno al 95% de aciertos
y en este caso A y C por debajo del 85%.
En resumen, el test de Finney ha demostrado mejor rendimiento
que el test de Pygmal Morgan en todos los escenarios.
El test de Finney ha demostrado ser eficiente para tamaños del efecto
estandarizados medios y grandes a partir de un tamaño muestral
de 30 unidades de nivel 1 y 50 unidades de nivel 2.
Ahí no lo pongo, pero claro, también con coeficientes
de correlación interclase a partir de 0,25 o 0,30.
Y el test de Finney tiene un rendimiento comparable
a los test basados en máxima verosimilitud
en las condiciones indicadas.
Seguimos analizando rendimiento para modelos no anidados,
seguimos analizando rendimiento para modelos que difieren
en efectos aleatorios y cabría en su futuro estudiar la posibilidad
de mejorar la potencia del test para extender su uso.
Muchas gracias, José María.
¿Alguna pregunta en la sala?
Tienes que encender el micro, por favor.
Yo tengo una pregunta que espero que no sea demasiado ridícula
u obvia.
Decías en uno de los modelos has incluido una variable de ruido.
Sí, en la simulación.
Sí.
Y mi pregunta es, ¿cuál es el propósito metodológico
de hacer eso?
Bueno, para ver cómo se comportan los test,
comparando.
Para ver cómo se comportan los test cuando la variable es ruido.
O sea, cuando la variable no está en el modelo.
O sea, el test selecciona cuando mete una variable que tiene efecto,
pero la pregunta es ¿seguirá seleccionando cuando meta
cualquier variable aunque no tenga efecto?
Y hemos visto que.
Que se queda con el modelo correcto, o sea,
no selecciona el modelo que tiene la variable ruido
cuando la variable no está en el modelo,
simplemente por comprobar eso.
Muchas gracias.
Bueno, luego, eso simplemente,
pues una cuestión así también en general,
todos los procedimientos que se han comparado con tamaños de efecto
tan pequeñitos, pues no funcionan muy allá,
pero imagino que hay un poco, por lo que hemos estado viendo,
que son tamaños de efecto realistas,
tamaños de efecto estandarizados de 0,05.
Y seguramente si utilizan otro tipo de tamaños de efecto más grandes,
todos los procedimientos funcionarán a la perfección,
incluso en condiciones donde.
Otros parámetros no son tampoco los ideales.
Claro, es que con el tamaño de 0,05,
el test de razón de verbos y similitudes,
que en principio es lo que funciona o lo que mejor funciona,
tampoco funciona.
Quiero decir que yo creo que son tamaños
que se dan en la realidad, pero que muchas veces posiblemente,
si aplicamos el modelo, igual me sale que el efecto no es significativo.
Y son tamaños que igual necesitarían mucha potencia
para poder decidir si eso es significativo o no.
Quiero decir que son tamaños que ocurren en la realidad,
pero que igual no tenemos potencia suficiente
como para poder distinguir en esos efectos tan pequeños.
Bueno, yo supongo que las variables predictoras
simuladas son independientes, ¿no?
Sí.
Yo creo que algo interesante sería futuro
ver si hay colinealidad, si funciona igual,
o sea, si la potencia se mantiene como sugerencia.
Yo creo que sería interesante, ya que en la realidad
suele haber mucha colinealidad en los datos, ¿no?
Sí, en el segundo estudio.
Ah, sí.
Sí, bueno, tenemos un.
Este es el primer estudio de simulación.
Tenemos un segundo estudio de simulación
que solo tiene variables no anidadas.
O sea, que es con variables.
Porque este va todo con variables anidadas.
Y en el segundo estudio de simulación con variables
no anidadas, definimos la correlación entre las variables
entre las variables predictoras
y al final también el efecto con la variable dependiente
y por lo tanto también hay las correlaciones
acaban apareciendo también pero si lo apuntamos quiero decir
que sí que es interesante no sé y el ir probándolo también
en otros contextos porque.
Sí, esa va a ser justo la aportación que va a hacer.
Claro, se está abriendo una línea de investigación
con estas simulaciones de modelos más sencillos.
Al final estamos comparando tres regresiones lineales,
pero la idea es en un futuro comparar modelos mucho más complejos.
Es decir, ajusta mejor este modelo de ecuaciones estructurales
que tiene 800 variables o esta regresión lineal
que con tres variables parece explicar mucho más
que las 800 que está en el modelo de ecuaciones estructurales.
O sea, abrir la puerta.
A poder comparar modelos que difieren muchísimo entre sí
y a día de hoy es cierto que no existe,
menos el test de Wong que no se utiliza,
no existe una alternativa para hacer ese tipo de comparaciones
y yo creo que va a ser una línea muy prometedora
y muy interesante de aquí a futuro.
Y estos estudios se irán haciendo más complejos
cada vez, claro, en su diseño.
A ver qué tal se nos da eso.
Vale, pues muchas gracias.