Es para mí un placer poder presentaros
a Inmaculada Pedraza Navarro, que tenemos la gran suerte
de tenerla como compañera en la Facultad de Educación de la UNED.
Y esta tarde lo que nos va a hacer es un buen taller,
una buena explicación
sobre cómo hacer una revisión sistemática en el campo
donde nos movemos nosotros, que es la investigación educativa.
Aunque ciertamente, seguramente que se pueden hacer
en cualquier otro campo, este tipo de investigaciones,
y se va a centrar sobre todo en una de las metodologías que ha cobrado
más fuerza y que, si revisáis un poco publicaciones al respeto,
pues es la que se está utilizando con mucha frecuencia,
que es el protocolo Prisma.
Así que, antes de nada, Inmaculada, muchísimas gracias
por haber aceptado.
Compartir tu tiempo y tu conocimiento con nosotros
y, cuando quieras, puedes empezar.
Muchas gracias, Tiberio.
Buenas tardes a todas y todos.
En primer lugar, también agradecerte, Tiberio,
por traerme aquí como coordinador del máster.
A lo largo de este taller, como bien enunciaba Tiberio,
vamos a ver las revisiones sistemáticas,
hablaremos sobre ellas y también sobre su utilidad
para obtener conclusiones que están basadas en un análisis exhaustivo
de la literatura científica existente.
Específicamente nos vamos a centrar en cómo llevar a cabo
una revisión sistemática siguiendo el protocolo PRISMA,
que actualmente podemos decir que es considerado
como el estándar de referencia para este tipo de estudios.
Esta presentación está organizada en ocho bloques.
Comenzaremos con una introducción a las revisiones sistemáticas
y a continuación nos centraremos en los fundamentos del protocolo
PRISMA.
Después revisaremos los pasos para llevar a cabo una revisión
siguiendo este protocolo.
Trataré de ilustrar buenas prácticas en el análisis
y la presentación de los resultados.
Comentaremos también algunos ejemplos prácticos que espero
que os sirvan de ayuda para entender un poquito más el proceso.
También abordaremos herramientas y recursos que están disponibles
para apoyar este tipo de revisiones.
Y finalmente cerraremos con algunas conclusiones y recomendaciones
antes de abrir un espacio también para cualquier pregunta.
Para empezar,
es importante delimitar con claridad qué es una revisión sistemática
y, sobre todo, qué no es una revisión sistemática.
Seguro que nos suena que una revisión sistemática
es un tipo de investigación secundaria
que sigue un protocolo riguroso
para analizar esa literatura existente sobre un tema concreto.
En este sentido, una revisión sistemática
supone una evaluación ordenada y explícita de la literatura.
¿A qué nos referimos con esto?
Pues básicamente a que cada paso de la revisión
está definido de antemano, desde la selección de los estudios
hasta ese análisis final.
Y esto es lo que permite garantizar la transparencia y también
esa posibilidad de réplica.
Una revisión sistemática también implica una síntesis
de la evidencia disponible.
No se trata sólo de resumir,
sino de integrar los resultados de los estudios
para responder de forma precisa a una o varias preguntas de investigación.
Las revisiones sistemáticas también implican un análisis crítico
de estudios primarios originales.
Cada estudio que está incluido dentro de la revisión sistemática
se valora en función de su calidad metodológica.
No se trata de incorporar todo lo que aparece,
sino de jugar la validez y la pertinencia
de esos estudios que seleccionamos para esta revisión sistemática.
Finalmente, es un tipo de investigación secundaria,
como ya adelantaba, porque no se generan datos nuevos,
sino que se trabajan de forma estructurada con datos
ya existentes.
Como bien decía, es importante saber qué es una revisión sistemática,
pero también es clave dejar claro lo que no es una revisión
sistemática.
No es simplemente una búsqueda de artículos en bases de datos,
la búsqueda es solo una fase de todo el proceso,
como ya veremos a lo largo del taller.
Tampoco es una simple recopilación de lectura sobre un tema,
es decir, no nos limitamos a juntar textos de manera
más o menos arbitraria.
No se considera una revisión narrativa en la que el autor
selecciona y analiza estudios de forma quizá un poco más subjetiva
y sin un protocolo claramente definido,
ni es una revisión bibliográfica tradicional
que no alcanza ese nivel de rigor metodológico que es necesario
para asegurar un análisis realmente exhaustivo y objetivo.
Vamos a pensar en un ejemplo práctico.
Por ejemplo, imaginemos que estamos investigando sobre el impacto del uso
de las plataformas digitales y las redes sociales
en el aprendizaje del alumnado de educación primaria.
Si nos limitamos a hacer una búsqueda rápida en las bases de datos
y a recopilar algunos artículos que nos parecen interesantes,
estaríamos realizando una revisión narrativa
o una revisión bibliográfica.
En cambio, si definimos con claridad los criterios de inclusión,
por ejemplo, los estudios que están publicados
entre el 2015 y el 2025, que están centrados
en el ámbito de la educación primaria, que analicen ese uso
de las plataformas digitales o las redes sociales
con determinadas metodologías.
Y a todo esto seguimos también un protocolo sistemático
para seleccionar y analizar los estudios,
ahí es cuando estaríamos llevando a cabo una revisión
sistemática.
Además, en este proceso
tendríamos que evaluar la calidad de los estudios incluidos,
algo que generalmente no se hace en una revisión bibliográfica
convencional.
En resumen, la revisión sistemática es un proceso riguroso
que implica la evaluación objetiva
y estructurada de la literatura científica y este enfoque lo que hace
es asegurar que los resultados de la revisión sean fiables,
sean replicables y útiles para tomar decisiones que están basadas
en la mejor evidencia disponible.
El error más frecuente es confundir las revisiones bibliográficas
con las revisiones sistemáticas.
Y en este punto vamos a detenernos en las diferencias esenciales
entre una revisión sistemática y una revisión bibliográfica.
Muchas veces se confunden estos dos tipos de revisión,
pero en realidad responden a objetivos y procedimientos
muy distintos.
Por ello es importante que lo sepamos.
La tabla que se presenta aquí recoge esas diferencias
y realmente nos ayuda a comprender por qué la revisión sistemática
se considera la opción más adecuada cuando buscamos ese rigor
y esa precisión en nuestras investigaciones.
En una revisión sistemática,
el trabajo gira siempre en torno a una pregunta
de investigación que está bien delimitada.
Esa pregunta suele formularse de forma estructurada,
con criterios muy concretos,
y es la que guía todo el proceso de búsqueda
y de análisis.
Por ejemplo, podríamos plantear qué beneficios o inconvenientes
se asocian al uso de plataformas digitales
en el rendimiento académico del alumnado de educación primaria.
Como veis, se trata de una pregunta específica
que orienta de manera clara
qué estudios buscamos y cuáles no.
Además, conviene evitar preguntas del tipo ¿cómo?
porque es mucho más difícil identificar en la literatura
una respuesta clara sobre la manera de llevar a cabo un proceso
o un fenómeno.
En cambio, la revisión bibliográfica
suele organizarse en torno a un tema amplio,
sin una pregunta tan definida que acote el foco.
En este caso, la persona que investiga revisa la literatura
sobre un campo de interés general.
Si seguimos con ese ejemplo,
serían las plataformas digitales en educación.
Esto realmente permite una mirada mucho más abierta,
pero también incrementa la subjetividad a la hora
de decidir qué se incluye y qué no, y puede dar lugar
a una revisión quizá menos sistemática
y menos focalizada.
Si nos fijamos en el segundo punto, en la metodología,
La revisión sistemática se basa en un protocolo que está previamente
establecido.
Es decir, desde el inicio se fijan con claridad
los pasos que se van a seguir, cómo se hará la búsqueda,
qué criterios se emplearán para seleccionar los estudios
y de qué manera se evaluarán esos estudios.
Este protocolo está pensado
para que el proceso pueda reproducirse,
lo que refuerza la transparencia y reduce los sesgos.
Además, un elemento clave
es que todo el procedimiento queda documentado,
de modo que otras personas pueden revisar
o incluso replicar la revisión si lo consideran oportuno.
Por el contrario, la revisión bibliográfica
es mucho más abierta y flexible.
La persona que la realiza tiene más margen
para decidir qué estudios incluir y cuáles dejar fuera,
sin ajustarse necesariamente a un conjunto rígido de reglas.
Esto puede resultar útil cuando se busca
una panorámica general de un tema,
pero también implica que dos revisiones bibliográficas
sobre el mismo asunto pueden llegar a conclusiones muy distintas,
precisamente por esa mayor libertad y menos estandarización del proceso.
En cuanto a la estrategia de búsqueda,
En una revisión sistemática, ésta debe ser exhaustiva
y específica.
Es decir, la revisión debe cubrir todas las bases de datos relevantes
y utilizar criterios de búsqueda que estén claramente definidos
para incluir o excluir los estudios.
Se suele trabajar con varias bases de datos,
por ejemplo, Web of Science, Scopebook, Eris,
y a menudo se incorpora también literatura gris
o estudios no publicados para poder minimizar el riesgo
de dejar fuera trabajos que pueden llegar a ser importantes.
En una revisión bibliográfica,
en cambio, la búsqueda suele ser más somera y general,
se localizan y seleccionan estudios que se consideran representativos,
pero no siempre se realiza una búsqueda sistemática
de todas las fuentes disponibles.
Esto hace más probable que haya investigaciones relevantes
que no entren en el análisis,
limitando así la cobertura y aumentando la posibilidad
de sesgo.
También difiere mucho la selección de bibliografía.
En una revisión sistemática,
los criterios de inclusión y exclusión se fijan de antemano,
es decir, qué tipos de estudios se aceptan, qué periodo temporal
se va a cubrir, qué población o contexto se va a considerar.
Estos criterios lo que hacen es ayudarnos a asegurar
que los estudios seleccionados son coherentes
con la pregunta de investigación que nos formulábamos
y también nos permite reducir esa arbitrariedad.
En la revisión bibliográfica
la selección es bastante más flexible.
La decisión sobre qué incluir depende en buena medida
del criterio de la persona que revisa
y de la relevancia que atribuye a cada uno de esos textos
que va leyendo.
¿Qué es lo que pasa?
Pues que esto aumenta la subjetividad del proceso
y puede afectar a la representatividad del conjunto
de esos estudios que estamos analizando.
Por último, el análisis de la información
también es distinto.
En una revisión sistemática el análisis suele ser más riguroso
y estructurado, se aplican herramientas específicas
para evaluar la calidad de los estudios,
la solidez de la evidencia y en algunos casos
se recurre a técnicas como el metaanálisis
para poder combinar resultados de distintos trabajos
y obtener unas estimaciones que sean más precisas del efecto estudiado.
De este modo,
las conclusiones se apoyan en un examen crítico y sistemático
de esa evidencia disponible.
En una revisión bibliográfica,
en cambio, el análisis tiende a ser más descriptivo
y menos formalizado.
Frecuentemente se limita a resumir los hallazgos
de los estudios sin someterlos a una evaluación detallada
de su calidad metodológica, Aunque este tipo de revisión
puede ser muy útil para introducirse en un tema
o para trazar también un mapa general del campo,
es verdad que no ofrece el mismo nivel de robustez
en las conclusiones que una revisión sistemática.
En resumen, Mientras que la revisión sistemática
se apoya en un protocolo riguroso y transparente
para garantizar exhaustividad, objetividad, claridad en el proceso,
la revisión bibliográfica proporciona una visión más amplia,
más flexible, pero con menor control sobre la calidad
y la representatividad de los estudios que incluimos.
Ambas tienen su lugar.
Tienen su utilidad,
aunque cuando el objetivo es obtener conclusiones sólidas
y bien fundamentadas, pues la revisión sistemática
se convierte quizás en la opción más adecuada.
Vamos a detenernos ahora
en la importancia de las revisiones sistemáticas,
especialmente en el campo de la investigación educativa,
que es la que nos ocupa.
Como ya hemos comentado,
son una herramienta muy valiosa para analizar de forma rigurosa
un gran volumen de literatura sobre un tema concreto.
Pero, ¿qué las hace realmente que sean relevantes en educación?
Aquí vamos a ver algunos puntos principales,
como por ejemplo, que.
Permiten resumir,
evaluar y comunicar los resultados de numerosas investigaciones.
En educación, como en muchas otras áreas,
se publican constantemente nuevos estudios,
lo que realmente genera una gran cantidad
de información que a veces es difícil de abarcar.
Una revisión sistemática reúne esa evidencia,
la somete a una evaluación crítica
y la sintetiza para ofrecer una visión clara.
Así realmente los investigadores, los docentes,
incluso los responsables de políticas educativas,
pues pueden tomar decisiones
informadas sin tener que leer estudio por estudio.
No se trata solo de reunir trabajos, sino de hacerlo
de una forma estructurada y con criterios bien definidos,
de manera que las conclusiones sean consistentes y precisas.
Como consecuencia directa, las revisiones sistemáticas
facilitan la toma de decisiones informadas.
En el ámbito educativo, decisiones sobre currículum,
metodologías de enseñanza, políticas públicas,
pues tienen un impacto directo en el aprendizaje del alumnado.
Si nos apoyamos en una revisión sistemática
bien realizada, pues podemos decir
que esto implica que esas decisiones no se basan en opiniones personales
o en uno o dos estudios aislados, sino en una visión global y objetiva
de esa evidencia disponible.
Por ejemplo, Si queremos introducir un nuevo enfoque pedagógico,
una revisión sistemática puede indicarnos
qué propuestas han sido eficaces en contextos similares
y cuáles no, para así poder tomar una decisión por nosotros mismos.
Además, las revisiones sistemáticas son clave
para conocer el estado de la cuestión sobre un tema.
En investigación educativa es frecuente
encontrar múltiples estudios que abarcan una misma pregunta,
pero desde distintos enfoques metodológicos.
La revisión sistemática ofrece una mirada de conjunto,
es decir, qué resultados se han obtenido,
con qué métodos, en qué poblaciones,
en qué contextos.
Esto nos permite identificar qué sabemos realmente sobre un tema
y qué aspectos siguen siendo poco claros,
lo que nos permite también dar una base sólida
para seguir investigando.
Otro aspecto central es su contribución
a la integridad académica y la minimización de sesgos.
Y esto es gracias a que se apoya un protocolo riguroso,
porque así las revisiones sistemáticas disminuyen
la posibilidad de seleccionar estudios a conveniencia o de dejar
fuera resultados que no encajan con las expectativas que tenía
el equipo investigador.
En educación,
donde las decisiones deberían descansar
en la mejor evidencia disponible,
este punto es crucial para poder garantizar
que los resultados sean fiables y también objetivos.
Así, la revisión sistemática fomenta un enfoque imparcial
y está basado en datos,
lo que refuerza la confiabilidad de sus hallazgos.
Las revisiones sistemáticas también ayudan
a responder preguntas complejas que surgen en nuestro día a día.
Por ejemplo, si queremos saber si un determinado enfoque de enseñanza
es eficaz para un grupo concreto de estudiantes.
Una revisión sistemática
puede aportar una respuesta apoyada en múltiples estudios
en lugar de depender de un único trabajo.
De este modo, proporcionan una base de evidencia sólida para abordar
cuestiones que de otra manera quizás sean difíciles de responder.
Un beneficio adicional es su capacidad
para identificar vacíos de investigación.
Al revisar exhaustivamente la literatura,
no solo vemos qué es lo que se ha estudiado,
sino también que queda pendiente.
Y esto es fundamental para poder orientar futuras investigaciones.
Es decir, nos ayuda a dirigir esfuerzos hacia temas y contextos
que han sido poco explorados.
Por ejemplo,
si detectamos que apenas hay estudios sobre el impacto de la educación
en línea en estudiantes de zonas rurales,
pues podemos señalarlo como una línea de trabajo.
Otro elemento importante es que las revisiones sistemáticas
promueven la transparencia y la replicabilidad.
Al documentar cada etapa del proceso, la búsqueda, la selección,
el análisis, la síntesis de los estudios,
pues permiten que otras personas puedan replicar esa misma revisión
o incluso actualizarla a lo largo
de los años incorporando la nueva evidencia.
Esto resulta especialmente valioso en educación
donde los contextos cambian continuamente
y es necesario revisar periódicamente lo que sabemos acerca de un tema.
Además, esa transparencia refuerza la credibilidad
de los resultados porque cualquiera puede realmente
comprobar cómo se ha llegado a esas conclusiones.
Simplemente tiene que replicar esa estrategia de búsqueda
y ver cómo ha ido evolucionando a lo largo del tiempo.
Finalmente, las revisiones sistemáticas
contribuyen a fortalecer la ética en la investigación.
Al seguir un procedimiento riguroso y transparente,
pues reducen la influencia de preferencias personales
y aseguran que las conclusiones se basen en esa evidencia
que está disponible.
El protocolo PRISMA es una guía diseñada para mejorar la calidad
y la transparencia con las que se presentan
las revisiones sistemáticas y también los metanálisis.
¿Por qué es tan relevante?
Realmente porque en una revisión sistemática
no solo buscamos sintetizar esa literatura que hay disponible,
sino también hacerlo de una forma clara
que pueda ser replicable, como ya veníamos diciendo,
y que sea totalmente transparente.
Esto permite que otros investigadores puedan seguir el mismo proceso,
verificarlo y confiar en la solidez de los resultados obtenidos.
Si accedemos al código QR o a la página web
que aparece en la diapositiva,
encontramos varios documentos que orientan a esas personas
que investigan en cada fase del proceso.
Estos materiales además están disponibles
en varios idiomas, entre ellos el español,
y os animo a que entréis a revisarlos.
Yo os voy a mostrar algunas capturas
para poder ir detallando cada uno de ellos.
El primer documento es la Declaración Prisma.
Es una guía actualizada, que el mismo nombre lo dice,
para la publicación de revisiones sistemáticas.
En este artículo se explican los fundamentos del protocolo
y se dan también recomendaciones generales
para informar adecuadamente una revisión.
Además, este documento se complementa con otro artículo que está en inglés
que reporta ejemplos concretos
por cada una de las fases del proceso.
El segundo es la lista de verificación Prisma
con 27 ítems que están organizados en 7 sesiones.
Esta lista sirve tanto para documentar el proceso
como para comprobar paso a paso que la revisión se está desarrollando
de acuerdo con los criterios de calidad que se han establecido.
Si os fijáis, hay una especie de checklist
que es lo que permite decir, vale, este punto lo he conseguido,
este también, este también, y al final deberíamos de tener todos
o casi todos incluidos.
Casi todos porque quizá hay algún punto
que si nosotros estamos desarrollando una revisión sistemática
desde lo cualitativo, quizá no lo podemos completar.
Pero si lo estamos haciendo desde lo cuantitativo
o estamos haciendo un meta-análisis, os aseguro
que todo va a quedar completado.
Realmente esta lista de verificación cubre todo el recorrido
de la revisión sistemática, desde el título
y el resumen hasta la metodología, los resultados,
las conclusiones e incluye un apartado de más información.
Y es una herramienta clave para evitar
que se omita información relevante y también para mejorar la claridad
y la exhaustividad del informe final que presentemos.
El tercer documento es el diagrama de flujo,
que representa de forma visual
las distintas fases de selección de estudios,
desde la identificación inicial de registro en las bases de datos,
pasando por esa eliminación de duplicados y el cribado por título,
resumen, hasta la inclusión final de los estudios en la revisión.
Este diagrama ayuda a comunicar de una manera transparente
cómo se ha llevado al conjunto de estudios analizados
y a justificar cada decisión tomada en ese proceso de selección.
Por lo tanto, es muy importante que lo incluyamos
dentro de nuestro trabajo.
Hoy vamos a tomar como referencia el artículo
¿Cómo hacer una revisión sistemática siguiendo el protocolo PRISMA?
Un artículo que publiqué junto con dos colegas,
Silvia Sánchez Serrano y Macarena Donoso,
en el que tratamos de explicar a través de un caso práctico
cómo llevar a cabo una revisión sistemática paso a paso,
siguiendo este protocolo.
La verdad que es un artículo que está muy citado,
que cada vez recibe más citas, por lo tanto también agradecer
a todas esas personas que se toman su tiempo para leerlo.
Y bueno,
consideramos que puede ser útil para poder ayudaros en este proceso
y poder llevar a cabo una revisión sistemática paso a paso.
Como decía, nos vamos a centrar en este artículo, ¿no?
Y en concreto vamos a ir recorriendo
las distintas sesiones que Prisma incluye en su checklist
para mostrar cómo realizamos una revisión sistemática previa,
en la que tratamos de responder a una pregunta de investigación
que es qué se entiende por investigación educativa.
Partíamos de una situación real en un equipo
directivo donde había profesores que no sabían bien
cómo definir el término innovación educativa
y dudaban de si las actividades que estaban realizando
podían considerarse realmente innovadoras.
A partir de ese problema práctico,
pues formulamos nuestras preguntas y diseñamos la revisión sistemática
que se va detallando en el artículo.
Para poder dar respuesta a estas preguntas
y en realidad a cualquier otra que queramos abordar
mediante una revisión sistemática, debemos empezar por el método,
atendiendo a cada uno de los ítems que lo componen.
Estos ítems se agrupan en temas,
que son los que veis subrayados en negrita en la diapositiva.
A nosotras nos gusta reunir esos ítems o temas entre grandes bloques,
localizar referencias de alto impacto,
extraer datos válidos y sintetizar la información.
Vamos a centrarnos en el primero,
en el de localizar referencias de alto impacto.
Dentro de este bloque,
uno de los ítems clave, que es el quinto,
es especificar los criterios de.
Elegibilidad, esos criterios de inclusión y exclusión.
¿Qué es lo que hicimos en esta primera publicación?
Pues fuimos definiendo con claridad
qué criterios tendríamos en cuenta al realizar la búsqueda.
Por ejemplo, en cuanto a la tipología de documento,
Debía tratarse de artículos científicos que estaban publicados
en revistas indesadas, en JCR o SJR,
y en coherencia con ello decidimos trabajar con las bases de datos
Web of Science y Scopus.
Además, también establecimos un rango temporal.
Los artículos deberían haberse publicado en los últimos cinco años.
Y este rango en función del tema y del volumen de la literatura
es verdad que podría haber se ampliado hasta 10 años.
Otro elemento fundamental fue la selección de descriptores
para realizar la búsqueda.
Distinguimos entre unos descriptores principales
y otros descriptores secundarios que afinaban o matizaban la búsqueda.
Y a partir de esos descriptores construimos nuestra ecuación
de búsqueda.
En la ecuación de búsqueda cobran realmente sentido dos conectores
boleanos.
Ahora mismo solo
podemos ver uno, que es el ORR.
Que significa o, pero también se añade luego el i,
el an, para unir,
para ampliar la ecuación de búsqueda,
y también se podría haber incluido el not,
que permite restringir la búsqueda.
Para aquellos
que no estáis muy familiarizados con los conectores boleanos,
Si incluimos un término y escribimos or
y añadimos otro término, le estamos diciendo
a la base de datos que quiero este término o el otro.
Si utilizamos an, lo que indicamos es que quiero este término
y también el otro.
Not, en cambio, es excluyente.
Indica que no queremos que se incluya un término determinado.
Por ejemplo, quiero analizar la investigación educativa
pero centrada en educación primaria.
Para evitar que la base de datos devuelva estudios de otros niveles,
pues puedo incluir en la ecuación
NOTS educación infantil, NOTS educación superior.
De este modo, lo que hacemos es reducir
los resultados que realmente no nos interesan.
¿Qué ocurre con los términos que están formados por más
de una palabra?
Pues en esos casos utilizamos comillas
para que el buscador los trate como una sola unidad.
Por ejemplo, innovación educativa.
Si no incluyésemos esas comillas, el buscador
lo que hace es interpretar ambos términos por separado.
En nuestra publicación queríamos que se tratara realmente.
Como un todo estas expresiones de innovación educativa,
innovación pedagógica o experimento educacional,
que son términos afines entre sauros como UNESCO o ERIC.
Hay otro aspecto importante a tener en cuenta
y es que la mayor parte de las bases de datos
indesa fundamentalmente la literatura en inglés.
Por tanto, si solo usamos la ecuación de búsqueda en español,
pues los estudios que vamos a recuperar
serán solo una pequeña parte de toda la producción existente.
Por ello es fundamental traducir esa ecuación de búsqueda al inglés,
respetando, por supuesto, los términos claves
y comprobando que los descriptores que hemos utilizado sean equivalentes
en los tesauros correspondientes.
Aquí la verdad que el tesauro de la UNESCO
permite ver esas equivalencias, ya sea en español, inglés,
incluso otro idioma como francés, alemán.
Y bueno, podemos hacer una revisión sistemática
incluyendo también otros idiomas.
No hay ningún tipo de inconveniente.
Siempre que seamos coherentes con los descriptores
y la estrategia de búsqueda.
Hasta aquí hemos visto los términos principales de nuestra ecuación.
Innovación educativa,
innovación pedagógica y experimento educacional,
que son todos términos afines.
A estos se suman otros términos secundarios
que nos permiten profundizar.
En nuestro problema de estudio
y también nos permite reducir el N de publicaciones
que puede arrojar una base de datos tan amplia como Scopus.
La forma de proceder se parece mucho a una ecuación matemática,
es decir, utilizamos paréntesis para agrupar conceptos relacionados.
Esos grupos se combinan con otros mediante conectores boleanos,
que aquí es donde toma protagonismo el AN.
Como decía anteriormente, nuestra ecuación estaba formada
por dos conectores, el OR y el AN.
De este modo, a los términos afines a innovación educativa,
añadimos otros relacionados con los métodos de enseñanza
y aprendizaje, por ejemplo.
Y, si fuese necesario, podemos incluso utilizar corchetes
para poder agrupar distintos paréntesis
y seguir ordenando la ecuación de una manera más lógica.
Es importante saber que no todas las bases de datos
permiten poner la ecuación de búsqueda tal y cual
la estamos mostrando aquí en esta diapositiva.
Pues hay determinadas bases de datos que te exigen
que tú pongas la palabra y selecciones el conector bolea.
Entonces ahí es un poco más restrictiva.
Otras, sin embargo,
sí te permiten incluir toda la ecuación de búsqueda.
Importante también, cuando utilizamos determinadas bases de datos
como Dialnet, es importante que estemos registrados,
porque la extensión de esa ecuación de búsqueda
es mucho más larga que cuando no estamos registrados.
La búsqueda disminuye considerablemente.
Entonces, tenerlo en cuenta a la hora de plantear la ecuación de búsqueda.
Una vez que hemos definido y revisado nuestra ecuación de búsqueda,
nos dirigimos a las bases de datos para ir completando
las fases que aparecen en el diagrama de flujo.
Por ejemplo, en una segunda fase aplicamos filtros por año,
tipo de documento, área, idioma.
Y en una tercera fase
leemos esos resúmenes, esos aptras de los artículos preseleccionados,
pues para valorar su solidez científica,
su validez y su pertinencia para nuestra revisión.
Es fundamental ir registrando
cuidadosamente cada uno de los resultados que van arrojando
las diferentes bases de datos.
Es decir,
cuántos artículos aparecen en cada búsqueda,
cuántos se eliminan por duplicados,
cuántos se excluyen por no cumplir esos criterios
que nos habíamos planteado.
No olvidéis este paso porque realmente es muy importante
que lo vayamos reflejando todo paso a paso dentro de este diagrama.
Y el N final es el número de publicaciones
que finalmente forman parte de nuestra revisión sistemática.
Ahora vamos a profundizar en la sesión de resultados
de una revisión sistemática.
Esta sesión incluye dos tareas fundamentales, que es seleccionar
y citar adecuadamente los estudios que finalmente
forman parte de la revisión y sintetizar los resultados,
es decir, organizar y explicar qué nos aporta esa literatura
que hemos ido recuperando.
Habitualmente utilizamos tablas de síntesis
porque permiten ofrecer una visión más clara y global
de todo lo revisado.
Sin embargo, no basta con presentar una tabla.
La sesión de resultados también debe redactar
y explicar la información que aportan todas esas variables
que hemos analizado.
Siguiendo a Sánchez Meca,
nosotros hablamos de variables metodológicas,
variables sustantivas y también indicadores
que emergen de la literatura y que ayudan a responder
la pregunta de investigación.
Hablamos en términos de indicador porque nuestra revisión la tiramos,
no la llevamos hacia lo cualitativo.
Y, como he dicho, No solo mostramos los datos,
los interpretamos.
Esto es súper importante.
En la siguiente diapositiva
podéis ver el documento base que utilizamos
para la revisión sistemática sobre la que estamos hablando,
esa que trataba de conocer qué se considera
innovación educativa.
Esta tabla es la plantilla en la que se fueron registrando
y sistematizando todos los datos que fuimos extrayendo
de nuestro artículo.
Está estructurada en varias sesiones.
El encabezado superior rojo, la parte amarillita,
la parte verde y también una parte en gris.
Vamos a ver cada una de ellas.
El encabezado superior.
Aquí lo que hacemos es registrar aspectos iniciales del estudio,
es decir, el objetivo y la pregunta de investigación.
Es fundamental tenerlo en consideración
porque es la que nos va a ir permitiendo avanzar a lo largo
de toda la investigación sin olvidar cuál es nuestro foco.
También es importante, y aparece en amarillito,
esas keywords, esas palabras claves que son principales
y aquellas que están asociadas.
Al igual que también es muy importante
reflejar la ecuación de búsqueda,
para que no se nos olvide ningún término,
ni se nos olvide.
Olvide una S final porque queríamos poner un término
y hemos puesto otro.
Entonces, dejamos la ecuación de búsqueda ahí bien registrada
para tenerla clara.
También es bueno ir registrándonos esos filtros que vamos aplicando,
como el idioma, la fecha, el tipo de documento,
porque así en todas las bases de datos que vayamos utilizando,
pues podemos realmente seguir los mismos filtros.
Esta parte roja y amarilla
es todo lo relacionado con la estrategia de búsqueda,
para que no se nos olvide en ningún momento
nuestro propósito del estudio.
Si nos vamos a ese cuerpo central, a lo verde,
aquí lo que hace es recogerse las variables que analizamos
en los artículos seleccionados.
Y están organizados en tres bloques, variables metodológicas,
variables sustantivas e indicadores.
Las variables metodológicas
reflejan cómo se ha llevado a cabo la investigación en cada artículo
e incluyen la tipología de la investigación,
la naturaleza de los datos, el grado de generalización.
Estas variables lo que nos permiten es saber
cómo investigan los autores del trabajo.
Las variables sustantivas
están vinculadas directamente al fenómeno que estamos estudiando.
En este caso, la innovación educativa.
Incluyen año y lugar de publicación, contexto educativo,
protagonismo del término,
si la innovación aparece como un concepto central
o aparece como algo secundario, el tipo de innovación,
la relación que tienes con las TIC,
si está relacionado con alguna metodología específica empleada,
Estas variables ayudan a comprender qué se entiende por innovación
educativa en la literatura.
Y los indicadores recogen aquello que emerge de esa literatura,
esos elementos, esos rasgos, esas dimensiones,
que permiten definir o caracterizar qué se considera innovación educativa
según los estudios revisados.
Por lo tanto,
pueden incluso solaparse con alguna de esas metodologías específicas
empleadas u otros elementos que vayamos destacando del artículo.
Luego también hay una columna del lector donde anotamos
quién realizó la extracción de la información.
Esto es especialmente útil
si el trabajo se realiza por varias personas
porque permite ese mecanismo de control
y también de fiabilidad.
En conjunto, la tabla lo que permite es ordenar,
comparar y sintetizar los estudios de una forma rigurosa
y también transparente facilitando posteriormente la redacción
de los resultados.
¿Y por qué digo facilitando?
Porque cuando nosotros trabajamos en Excel
y además si trabajamos con códigos, nos permite luego hacer filtrado.
Entonces, si tenemos muy claro esos códigos
que vamos estableciendo dentro de nuestras lecturas,
al final es muy fácil localizar todos esos artículos
que tienen un mismo código y poder hablar.
O redactar aquello que queremos relacionado con ese código teniendo
a un simple clic todos los artículos que están relacionados.
Pasemos a ver distintos ejemplos prácticos.
En primer lugar, la publicación de Rivera
y otros colegas sobre estrategia didáctica
de la educación virtual universitaria.
Las autoras, al inicio del método,
explican con claridad cuál es su propósito, que es responder
a la pregunta de investigación
qué estrategias didácticas se aplican en la educación virtual
en países de habla hispana.
Para ello, ¿qué es lo que hace?
Pues seleccionar artículo de acceso libre a texto completo
publicado entre 2016 y 2022,
que estén en inglés, español y portugués.
Y utilizan como bases de datos Redalic,
Eric y Google Scholar.
En su artículo
no describen la ecuación de búsqueda de forma literal,
pero sí explican la estrategia de búsqueda que siguieron.
Prisma recomienda explicitar esta estrategia
y siempre que sea posible presentar la ecuación completa
porque facilita que otros investigadores
puedan replicar el estudio.
Además, hacen uso del diagrama de flujo
Prisma para mostrar ese proceso de selección de estudios.
Este diagrama.
Se puede utilizar tal cual lo propone Prisma
o también adaptarlo según las necesidades del estudio.
Ya visteis que en nuestra investigación
de innovación educativa lo adaptamos y no existe ningún tipo de problema,
es posible.
Siempre y cuando se vayan representando esas fases.
Para presentar los resultados, las autoras emplean dos tablas.
Una tabla más general,
donde se recogen las características de los estudios
sobre una estrategia en educación virtual universitaria,
y también una segunda tabla que detalla las estrategias
didácticas específicas que han sido identificadas en cada una de las
publicaciones.
De este modo,
pues combina una visión global con una descripción más fina,
más detallada de esas estrategias.
Si analizamos ahora el artículo de Canul y López,
vemos otra forma de acotar la revisión.
Ellas deciden centrarse únicamente en artículos empíricos
del ámbito educativo, Este tipo de decisión metodológica
es una buena forma de reducir la amplitud de la búsqueda
y focalizarse en un tipo de evidencia concreta.
Además, si también queremos analizar, por ejemplo, el efecto,
pues tened en cuenta que los artículos que analizaríamos también
serían artículos concretos.
Empíricos, pero más cuantitativos.
Los cualitativos nos permitirían analizar esos efectos.
Además, incorporan diagramas y esquemas
que permiten visualizar tendencias en las investigaciones revisadas.
Este tipo de recursos gráficos
enriquece mucho la forma de presentar los resultados
y hace más accesible la información para el lector.
Si pasamos al artículo de Zamora y otros colegas,
vemos que en este artículo se introduce la estrategia PICO.
La estrategia PICO es una herramienta que es
ampliamente utilizada en investigación,
especialmente en ciencias de la salud,
porque ayuda a formular preguntas de investigación de una manera clara
y estructurada.
El acrónimo PICO reúne cuatro componentes fundamentales.
Población, intervención, comparación y outcome o resultado.
Ahora bien, en el artículo que estamos analizando,
si os fijáis en la tabla,
esta estructura se adapta y se omite la C.
¿Qué se refiere a esa comparación?
Porque los autores no trabajan con un grupo comparativo
claramente definido, de modo que operan con una variante
que se puede denominar PIO.
A partir de esta adaptación, para la población,
los autores se centran en la comunidad educativa formal,
es decir, en los sujetos a quienes se aplica la investigación.
La I. De intervención se refiere a la gestión pedagógica de calidad,
entendida como el conjunto de prácticas pedagógicas
que están destinadas a mejorar los resultados educativos.
La O de resultado alude a esos efectos positivos
que estas intervenciones pueden generar
en la formación del alumnado en contextos formales.
La tabla realmente lo que muestra es cómo estos elementos
se utilizan para construir preguntas de investigación específicas.
Por ejemplo, las preguntas 1 y 2 están orientadas a identificar
los criterios que permiten conceptualizar la gestión pedagógica
de calidad y a examinar si dicha gestión tiene efectos positivos
en la formación estudiantil.
Además, también se presentan palabras claves
como training, educational quality, formal education, entre otras,
que sirven para realizar búsquedas más precisas en bases de datos
como ERIC, Cielo o Web of Science.
Utilizando esta estrategia PICO
como marco para poder orientar la investigación.
Por último, otro ejemplo es un artículo que fue
publicado por Silvia Sánchez y por mí,
en el que analizamos las publicaciones ingresadas
en WebOSA y en Ecopus con el fin de evitar la literatura fugitiva
y centrarnos en estudios de mayor impacto.
En este trabajo mostramos además la posibilidad
de plantear unas hipótesis descriptivas que nos ayuden
a dar respuesta a la pregunta de investigación formulada,
siempre alineadas con esos resultados de la revisión.
Me gustaría animaros a que reviséis otras revisiones sistemáticas
sobre el tema que elijáis
y que tratéis de identificar en cada una de ellas esos elementos
que hemos ido comentando a lo largo de la sesión.
Porque la verdad que os ayudará muchísimo a ver
cuáles son esas buenas prácticas que se desarrollan
y qué aspectos incluso podrían mejorarse.
Pasemos al punto 6.
Cuando llevamos a cabo una revisión sistemática, es fundamental
contar con herramientas adecuadas para buscar,
gestionar y analizar la información.
En esta diapositiva vamos a revisar cuatro grandes tipos de recursos
que desempeñan un papel clave en el proceso.
Por un lado, las bases de datos para la búsqueda
y localización de referencias, los gestores de referencia
para organizar y manejar bibliografía,
las herramientas de análisis y síntesis de datos para trabajar
con la información recopilada y cada vez más distintas herramientas
que están basadas en inteligencia artificial
y que apoyan tareas como el cribado,
la síntesis o la exploración de la literatura.
El primer grupo son las bases de datos
que utilizamos para realizar una búsqueda amplia y sistemática
de esa literatura científica.
Se plantean distintas bases de datos.
Por ejemplo, Web of Science,
que es una de las bases de datos más reconocidas,
con una amplia cobertura en ciencias sociales,
humanidades y ciencias naturales.
También Scopus, que es otra base de datos de carácter general,
que abarca numerosas disciplinas.
ERIC, que es más especializada en educación
y que resulta esencial para revisiones sistemáticas
dentro de este ámbito.
DIALNET, LATINDET, ESCIELO, REDINET, que son bases de datos
que facilitan el acceso a literatura en español y en portugués,
especialmente valiosas en contextos de investigación iberoamericana.
Y PROCES y Google Académico,
que también son muy relevantes.
ProQuest ofrece contenidos multidisciplinares y Google Académico
permite localizar documentos que a veces
no aparecen en bases más especializadas,
como por ejemplo esa literatura gris
o incluso alguna tesis que puede ser de interés.
Además de estas bases de datos,
también conviene tener en cuenta otros repositorios institucionales
o temáticos, por ejemplo, de tesis, de informes, de proyectos,
que pueden aportar estudios y documentos
que no siempre están indexados en las bases de datos más conocidas.
Por regla general, se suelen utilizar WOS
y Scopus dentro del ámbito educativo,
también se incluye ERIC,
Google Académico simplemente se suele utilizar
como para añadir aquello que se ha podido escapar,
pero no suele ser muy utilizado.
Y, bueno, os animo a que la exploreis para ver también
qué es lo que proporciona cada una de ellas.
Una vez que hemos recopilado todos los estudios relevantes,
el siguiente paso es organizar y gestionar toda esa información.
Pues aquí es donde juega un papel muy importante
esos gestores de referencias, que son herramientas fundamentales
para mantener el material bibliográfico
realmente bajo control.
Y no solo almacenan los artículos,
sino que también permiten generar citas de forma automática
y clasificar los estudios en carpetas, etiquetas
o incluso categorías temáticas.
Tenéis aquí diferentes, Mendeley, el Not,
Redwood, Sotero, todos ellos son igual de válidos,
así que animaros con cualquiera.
El tercer grupo, hemos dicho que es el que utilizamos para analizar
y sintetizar los datos.
Y bueno, aquí depende también del tipo de revisión sistemática
que vayamos a realizar, pues podemos utilizar un programa
u otro.
Excel es verdad que un poco versátil,
es una herramienta bastante básica.
Ya habéis visto cómo nosotros la utilizamos
dentro de nuestra investigación.
Y bueno, es muy útil pues para organizar,
para limpiar datos, para tabular resultados
y también incluso para elaborar gráficos que sean sencillos.
Luego están Redman, está R, está Stata,
que va más dirigido a esas investigaciones cuantitativas
y a LACTI, Envivo, Macudea, para el caso
de las revisiones que incorporan análisis cualitativo.
En conjunto, esta herramienta no solo ayuda a analizar los datos,
sino también a presentar los resultados
de una manera clara y visual.
Y el cuarto grupo de herramientas que está formado
por esas aplicaciones basadas en la inteligencia artificial,
pues cada vez
es verdad que desempeñan un papel más relevante.
Estas herramientas no sustituyen el trabajo del investigador,
eso es importante que lo sepáis y que lo tengáis en cuenta,
pero si es verdad, pues que agilizan algunas tareas que son laboriosas,
como por ejemplo el cribado inicial de los estudios,
la identificación de patrones o la exploración incluso
de nuevas líneas de búsqueda.
Entre las más utilizadas y aquellas que podría decir
que recomiendo está Ryan, que es muy popular
para el cribado de los títulos y los resúmenes.
Además, permite compartir y permite clasificar rápidamente
los estudios como incluidos,
excluidos o dudosos.
Facilitando esa revisión en equipo.
Luego, Consensu,
que genera síntesis automáticas a partir de múltiples artículos
y ayuda a identificar la evidencia más sólida disponible
sobre preguntas concretas.
El ITIC,
que actúa también como un asistente de búsqueda,
que sugiere artículos relevantes, resume documentos.
Notebook LM, seguro que muchos de vosotros los conocéis,
que permite cargar documentos, conjuntos de artículos
y obtener resúmenes, conexiones temáticas,
incluso explicaciones guiadas por IA.
Y LeadMap, que es una excelente vía para mapas de literatura.
Permiten mostrar cómo se relacionan los estudios entre sí,
detectando trabajos clave o áreas poco exploradas.
Littman yo lo recomiendo mucho, sobre todo para las revisiones
bibliográficas o para encontrar esa literatura fugitiva
dentro de la literatura y dentro de las revisiones sistemáticas,
porque permite cómo encontrar otras obras que son afines
a lo que venimos buscando.
Llegamos al fin de la presentación
y es un buen momento para recoger algunas recomendaciones claves
que pueden ayudar a nuestras revisiones sistemáticas
para que sean realmente rigurosas, transparentes y útiles.
He agrupado varios aspectos que conviene tener muy presentes
si queremos llevar a cabo revisiones de alta calidad
y todos ellos realmente son piezas fundamentales
para que el proceso llegue a un buen puerto.
En primer lugar, es importante insistir
en que una revisión sistemática no es un trabajo menor.
A veces se percibe como algo más sencillo
que otros diseños de investigación,
pues porque no implica recoger datos originales.
Sin embargo, el nivel de exhaustividad,
de lectura crítica y de organización que exige es igual
de alto o incluso más que en otros estudios.
¿Qué es lo que significa esto?
Pues que es necesario planificar bien cada etapa,
desde la localización y el análisis de los estudios hasta la redacción
y el pulido de ese informe final.
La gestión del tiempo aquí es clave, debemos prever plazos realistas
porque a veces pensamos que.
Las lecturas las podemos hacer antes de lo que creemos y bueno,
dedicar a cada fase el tiempo que necesita
para que los resultados sean sólidos y bien estructurados.
Otra recomendación tiene que ver con el uso adecuado de los tesauros,
como los de ERIC o UNESCO.
Estos tesauros permiten localizar palabras claves,
términos normalizados,
evitando que dejemos fuera trabajos relevantes,
simplemente porque usan palabras distintas
a las que habíamos pensado.
A ello se suma también el dominio de los operadores boleanos, el AND,
el OR, el NOT,
que nos permiten combinar o excluir términos
de una manera estratégica.
Una buena combinación de los tesauros y de los operadores boleanos
se traduce en una búsqueda mucho más precisa
y más ajustada a nuestras preguntas de investigación.
También es importante manejarse con soltura
en las diversas bases de datos y en los software.
Para esto hay que practicar,
practicar mucho, ver, meterse en una base de datos,
ver qué ofrece y no solo depender de una única fuente de información,
porque cada base de datos de ese tipo de documentos y revistas distintas
y limitarse a una sola,
pues, implica casi siempre dejar fuera parte de esa evidencia.
Además, es muy recomendable conocer las posibilidades que ofrecen
los diferentes gestores de referencia,
ya lo hemos mencionado, y todos esos software estadísticos
o de análisis cualitativo para organizar,
analizar y presentar los datos de una manera más clara
y también profesional.
Un aspecto que conviene subrayar es el carácter colaborativo
de este tipo de trabajo.
Es verdad que las revisiones sistemáticas
cuando se realizan en equipo,
pues, se enriquecen mucho más porque se permite compartir
decisiones, contrastar criterios de inclusión e exclusión.
Si nos elegimos como un trabajo fin de máster,
tenemos también a nuestro director, a nuestro tutor,
que nos va a ir guiando durante todo el proceso.
Así que también es una manera de colaborar con él.
Luego, otro pilar fundamental
es el cumplimiento de los principios éticos.
Las revisiones sistemáticas deben realizarse
con esa máxima transparencia y honestidad académica.
Ya hemos dicho que esto implica ser muy objetivos
en la selección de los estudios,
declarar posibles conflictos de interés
y presentar los resultados de una manera fiel
y registrando todo lo que nos vamos encontrando sin exagerar
ni ocultar nada de lo que no encaje con nuestras expectativas.
Ligado con lo anterior,
pues resulta imprescindible documentar cada paso del proceso.
La reproductividad es una de las grandes fortalezas
de las revisiones sistemáticas.
Dejar constancia de las estrategias de búsqueda,
las bases de datos que han sido utilizadas,
los criterios de inclusión y exclusión,
las decisiones que se han tomado en cada una de las fases,
porque eso es lo que permite que luego otros investigadores
o incluso uno mismo pueda replicar y actualizar el estudio.
Otra recomendación importante,
actualizar periódicamente la revisión.
El conocimiento científico avanza con rapidez y en muchos casos
la evidencia disponible cambia en muy poquito tiempo,
en muy poquitos años.
Por lo tanto,
una revisión sistemática no debería entenderse
como un producto cerrado para siempre,
sino que debe incorporar nuevos estudios
con sucesivas actualizaciones.
Y permitir que las conclusiones sigan siendo pertinentes y acordes
con la realidad más reciente.
Y por último, pues es deseable
difundir los resultados en plataformas de acceso abierto.
Si queremos que la evidencia tenga impacto,
pues debe ser accesible.
Publicar en revistas, en repositorios de acceso abierto,
pues siempre contribuye a esa transparencia
y también a que otros investigadores profesionales y responsables
puedan consultar y utilizar esos hallazgos.
En definitiva, realizar una revisión sistemática
supone un esfuerzo considerable de planificación,
de rigor, de coordinación,
pero si cuidamos estos aspectos y mantenemos en todo momento
ese enfoque ético y transparente, realmente podremos ofrecer
resultados fiables, reproducibles y también valiosos
para la comunidad científica.
Así que aquí dejamos la presentación.
Queda atenta a cualquier duda, pregunta que tengáis
y muchas gracias por vuestra atención.
Muy bien.
Muchas gracias, Inmaculada.
A mí me ha parecido especialmente interesante
y te plantearía algunos elementos, sobre todo con el fin
de que queden clarificados para todas las personas
que quieran aplicar la metodología.
Una duda, por ejemplo, habitual que tienen los estudiantes.
Cuando les explicamos.
Quizá puedes dejar de compartir, si quieres, la pantalla,
así te podemos ver muy bien.
Como decía, una duda habitual que tienen los estudiantes
es, comparativamente con otras metodologías
que pueden aplicar bien en un TFM, bien en una tesis doctoral,
insistimos mucho que cualquier trabajo
de investigación tiene que pasar o partir de una fundamentación
con diversos aspectos.
¿Hasta qué punto?
Una revisión de este estilo, un trabajo de este estilo,
también precisa de una fundamentación teórica,
digamos, metodológica o incluso de esta cuestión, etcétera, previa,
al igual que lo hacemos con otro tipo de metodologías.
Pues sí, totalmente de acuerdo
en que debe de tener esa fundamentación.
Y aquí es verdad que solemos confundirnos, ¿no?
Y solemos ver cómo los estudiantes incluso a la hora
de fundamentar utilizan las mismas referencias
que luego aparecen en su revisión sistemática.
¿Esto es algo erróneo?
Pues no siempre, porque a veces puede servirnos
una de las publicaciones que utilizamos dentro de nuestra revisión
para fundamentar la revisión que estamos haciendo.
Pero es verdad que deben de ser referencias diferentes,
es decir, la mayor parte no deben de coincidir,
porque el foco es diferente.
Nosotros en la revisión sistemática nos planteamos una pregunta
a la que damos respuesta.
Pero esa pregunta surge de una necesidad.
Y esa necesidad, ese problema,
es el que tenemos que plantear dentro de nuestra introducción,
marco teórico o estado de la cuestión.
Ahí es donde tenemos que mostrar por qué es importante hacer
esa revisión sistemática.
No consiste en mostrar los mismos datos
que luego nos proporciona la respuesta a esa pregunta,
porque entonces estamos replicando la misma información.
Sí es verdad que hay veces
que un artículo que hemos utilizado dentro de nuestra revisión
permite justificar la importancia de esa revisión.
Pues ahí quizás sí lo podemos citar, no existiría ningún problema.
Pero son dos cosas diferentes.
Una cosa es la fundamentación de por qué hacer
nuestra revisión sistemática y otra cosa es toda esa literatura
que permite dar respuesta a nuestra pregunta de investigación,
que es la propia revisión sistemática.
Muy bien.
Otro aspecto crítico,
digamos, cuando te presentan trabajos de esta naturaleza,
bien en una revista, bien en un máster,
bien incluso para otro tipo de trabajos,
de proyectos o eso que tengamos,
uno de los aspectos críticos es el tema de la reducción.
Es decir,
que en las búsquedas iniciales tenemos cientos de referencias,
incluso pueden ser miles, claro, todo depende.
De cómo de amplio son los términos de búsqueda, claro,
y eso al final se ve que queda reducido a 15, a 20, a 30,
pero a un número muy reducido, ¿no?
¿Hay alguna forma de controlar si esa reducción
realmente se hizo con criterio o fue, digamos, de varita mágica,
por decir algo, no?
Es decir, y me quedo con 15
porque no quiero leer más y ya está.
Llego como evaluador, ¿no?
En este caso, quedaría igual si es en una revista,
te pasan un artículo de este estilo,
o en un TFM, o en un proyecto,
supongamos que estás evaluando un proyecto, ¿no?
Tú como evaluadora, ¿en qué te fijarías, digamos,
para asegurarte de que el salto no es un salto mágico,
vamos a decir, sino que realmente tiene criterio riguroso?
Realmente, muchas veces también preguntan que cuál es el N correcto
para realizar una revisión sistemática.
Y no hay un N correcto, es decir,
va a depender de la pregunta de investigación que se formule.
Y cuando nosotros formulamos la pregunta de investigación,
esa pregunta de investigación realmente contiene
todos los elementos.
Que luego forman parte de nuestras palabras claves,
incluso de nuestros conectores para formar esa ecuación
y esa estrategia de búsqueda.
Nosotros, cuando planteamos la pregunta,
debemos ir incluso dentro de la propia pregunta
y detallando cuáles son esas palabras claves
para ver si están recogidas luego dentro de nuestra ecuación
de búsqueda.
A la pregunta.
¿Qué es lo que sucede?
Que no es tanto la ecuación de búsqueda que yo utilice
lo que debería de servir para reducir el N de artículos,
sino también los filtros que se incluyen.
Porque claro, muchas veces lo limitamos a español,
lo limitamos a los últimos cinco años,
lo limitamos a solo una base de datos,
Claro, esto hace que la búsqueda se reduzca mucho,
pero es que aquí estamos dejando mucha literatura fugitiva fuera,
mucha literatura gris.
Y esa la deberíamos de incluir también.
Entonces, yo como recomendación, como evaluadora,
en lo que me suelo fijar es que la ecuación de búsqueda
incluya realmente esas palabras que componen la pregunta,
que esas estén incluidas sí o sí.
Que a ella se añadan algunas otras variables
para poder fundamentar también la investigación
y poder darle sentido a lo que se está haciendo.
Y después considero súper importante no solo utilizar una base de datos,
porque una base de datos única es muy sesgada.
O sea, es muy, muy sesgada
y nos podemos estar dejando mucha literatura ahí olvidada.
Es verdad que muchas veces dicen los estudiantes,
pero es que ahora utilizo WOS y utilizo Scopus
y hay muchísimos artículos que están duplicados.
Pues mira, suerte que tienes que tienes que leer menos
porque están en la base de datos.
Pero seguro que va a haber muchos otros artículos que estén
en la otra base de datos que no estabas teniendo en consideración.
Igual, también dejamos atrás muchas veces otras bases de datos
como Dialnet, ProQuest, por no ampliar demasiado, ¿no?
No es lo correcto.
O sea, lo correcto es, si yo utilizo una ecuación de búsqueda
para formular una pregunta y el n es inmenso,
quizá es porque la pregunta que estoy haciendo
no es la más acertada.
Quizá de lo que estoy investigando hay mucho y por lo tanto tendría
que leer mucho para llegar a comprender toda la magnitud
o si no, tendría que ir reduciendo no solo mi ecuación de búsqueda,
sino también mi pregunta de investigación, mi foco,
para poder conseguir un N que pueda ser abarcable también
en este tipo de trabajo.
Porque es verdad que también
muchas veces tenemos el limitante del tiempo, ¿no?
O sea, los estudiantes están realizando un trabajo
fin de máster, fin de grado, y dicen,
es que no puedo leer 200 artículos en un par de meses,
también es comprensible.
Bueno, pues tu tarea también es aprender a poner el foco
en lo que quieres localizar,
en lo que quieres buscar para realmente
que tu revisión esté bien,
o sea, que no estés dejando literatura ahí atrás.
Muy bien.
En tu respuesta ahora aludías a la lectura de los artículos.
Esa es otra confusión que a veces se genera en los estudiantes.
En este tipo de revisiones,
¿leemos solo los resúmenes para entendernos
o es necesario leerse.
Sobre todo en la fase final, los artículos completos?
Pues mira, hay diferentes fases a la hora de hacer ese cribado.
Realmente, hay incluso quienes dicen que se leen solo los títulos
y a partir de los títulos ya dicen si uno sirve o no.
Para mí eso es un error, porque en un título
no se ve todo lo que se considera y luego lo que aparece en el resumen
y mucho menos lo que luego recoge el propio artículo.
Yo mínimo recomendaría leer el resumen,
pero leer el resumen en esa fase de cribado inicial,
es decir, cuando realmente yo tengo 500,
600 artículos que me pueden ser útiles.
Ahí es cuando yo digo, vale, pues voy a leer el resumen
y voy a ver exactamente.
Si el artículo me interesa o no.
Yo leo primero el resumen.
Si lo tengo dudoso, no lo descarto.
Lo leo completo.
Pero los que los tengo claros, esos me los tengo que leer sí o sí.
Me los tengo que leer y tengo que hacer una lectura detallada.
No vale solo con lo que ponga en el resumen.
Porque entonces no estamos profundizando
en lo que hace realmente la revisión.
Claro.
Eso es importante, ¿no?
Por tanto, digamos que la fase final sí es estrictamente necesario
leerse el artículo a fondo para poder realmente extraer,
por ejemplo, las conclusiones o los resultados, ¿no?
Sí.
Claro, porque la utilidad realmente,
lo que es útil, ¿no?
, luego para los que leemos este tipo de trabajos,
es precisamente hacernos como un mapa, ¿no?
, de lo que se está analizando, ¿no?
Y ahí, claro, veo dos cuestiones.
Una es la parte, digamos,
de las conclusiones de los propios trabajos,
en efecto.
De alguna forma, te pregunto, los revisores o revisoras
de este tipo, cuando hacen este tipo de trabajos,
lo que estáis haciendo es una especie de integración,
quiere decir que.
No es simplemente una adición de conclusiones,
porque si no, no habría realmente síntesis.
Y en eso has insistido mucho, ¿no?
Que hay que hacer síntesis.
Claro, si hacemos síntesis, de alguna forma tienes que integrar,
relacionar esas conclusiones.
No es simplemente añadir unas conclusiones a otras, ¿no es?
Sí, totalmente de acuerdo.
Es más, ahí también se demuestra cuando es una buena revisión
y cuando no lo es.
Aquellos trabajos en los que simplemente se genera
una tabla donde aparece fulanito, aporta esto, penanito,
aporta lo otro.
Y todo es una tabla sin esa interpretación,
sin esa conexión, es lo que hace que realmente la revisión sistemática
continúe.
Pierda su encanto, pierda su interés,
pierda la necesidad con la que surge.
Entonces, es importante que no solo leamos
y tratemos de resumir o de encontrar esas conclusiones,
esas interpretaciones que nos aporta cada uno de los estudios,
sino también generar.
Esa discusión entre los diferentes autores
para poder llegar a nuestras propias conclusiones.
Esto es importantísimo.
Y aquí es verdad que muchas veces el uso,
también lo mencionaba, el uso de códigos
cuando estamos trabajando con esta síntesis,
el uso de código ayuda mucho.
Porque si yo, por ejemplo, añado un código, me lo imagino,
que sea chicas.
Simplemente yo sé que cuando pincho en chicas
tengo todo lo relacionado con el sexo femenino,
con el género y me puedo ir a debatir
lo que dicen los artículos que hablan de chicas y tengo de manera
muy resumida lo que mencionan cada uno de esos artículos.
Esta es una manera muy fácil de conseguir esa discusión.
Tienes cuatro,
pues, tratas de debatir entre esas cuatro, ¿no?
Qué es lo que aporta cada una de ellas
y qué es lo que le puedes dar, ¿no?
Le puede dar sentido para tu propia aportación.
Yo ahí aconsejo ese uso de los códigos
porque es verdad que ayudan muchísimo.
Igual que los gestores de referencias,
si generamos categorías, también ayuda muchísimo
luego a poder.
Sintetizar y poder hacer esa discusión.
Y bueno, es que una cosa son los resultados,
otra cosa son la discusión y otra cosa son las conclusiones.
Y son tres apartados diferentes en cualquier tipo de artículo.
Es decir.
El resultado
tú muestraslo que te proporcionan los artículos que estás publicando,
o sea, que estás leyendo en este caso.
Luego, la discusión, debates esos artículos
y luego tú generas tu propia conclusión,
que es lo que da peso a tu propia revisión.
Entonces, eso no lo podemos olvidar.
En efecto.
En ese sentido veo también muy determinante
lo que serían las variables metodológicas, ¿no?
Porque en función del tipo de diseño, ¿no?
, de investigación que se ha hecho en cada investigación, ¿no?
, que se refleja en cada uno de esos artículos,
pues, claro, podemos, digamos, relacionarlos o no, claro,
porque las conclusiones no se, digamos,
integran porque sí, claro, va a depender también, ¿no?
, de qué tipo de metodología, la población,
etcétera, ¿no?
Y este tipo de cosas no se suelen mirar con detalle,
quizá aparecen, como dices,
en el cuadro, pero luego nos ponemos a sintetizar,
digamos, las conclusiones y a lo mejor no es tan sintetizable,
porque es muy determinante las variables metodológicas.
Sí, sí.
Mira, cuando estamos haciendo
una revisión sistemática cuantitativa son fundamentales,
pero es que cuando estamos realizando una revisión sistemática cualitativa
también.
O sea, no podemos olvidar esas variables aunque nosotros
luego vayamos buscando la respuesta a nuestros indicadores.
O sea, no se nos puede olvidar que esa parte es fundamental
para entender qué es lo que hay, qué es lo que estamos leyendo,
sobre qué estamos basando nuestra.
Argumentación, o sea, nuestro escrito es súper importante.
Y bueno,
aquí es verdad que yo recomiendo mucho a Sánchez Meca,
que tiene varias publicaciones en relación
con las variables metodológicas, especifica también la diferencia
entre variables metodológicas sustantivas,
que a veces,
muchas veces incluso nos cuesta trabajo diferenciar
en función del tipo de trabajo que en el que estemos.
Entonces, yo lo recomiendo porque es verdad que es bastante bueno
de cara a entendernos este tipo de metodologías.
Y importantísimo tenerlas en cuenta, variables metodológicas, sustantivas
y, bueno, como decía, indicadores si nos vamos a lo cualitativo.
Que también es importante tener en consideración
que si estamos en lo cuantitativo,
No es necesario hablar de indicadores,
no deberíamos de hablar de indicadores,
porque el indicador es un término que tira lo cualitativo.
Eso también es importante porque muchas veces
cuando damos talleres y formaciones sobre las revisiones sistemáticas
y empiezan a trabajar los estudiantes con este tipo de variables,
Dicen, ay, pero es que yo quiero hacer una revisión de estudios
cuantitativos solo y exclusivamente y es que no entiendo qué indicadores
tengo que meter.
Es que no es necesario meter indicadores,
es que tu revisión sistemática es muy diferente a la revisión
que nosotros planteábamos.
En nuestro artículo y en nuestro capítulo de libro.
Las revisiones sistemáticas
pueden variar mucho en la forma en la que se realizan,
porque depende del foco y depende de la manera
en la que se hagan.
Entonces, yo ahí también recomiendo coger un tema
que sea de interés y leer incluso revisiones sistemáticas
que ya se han hecho y ver la diferencia entre una y otra.
Igual que cuando nos vamos a adentrar en una revisión sistemática,
y planteamos esa revisión sistemática,
lo primero que tenemos que hacer es comprobar
si esa revisión se ha hecho,
porque quizá queremos hacer una revisión que se hizo el año
pasado.
¿Tiene interés esa revisión?
O mejor hacer una actualización, pero ¿en un año
ha podido actualizarse mucho?
No.
Entonces, eso también hay que revisarlo.
Y para esto también.
Es importante tener en consideración pues no solo mirar
en una única base de datos cuando revisamos,
sino mirar en muchas.
Mirar.
No solo en Google Académico, que es lo que suele hacer la gente,
la gente más cómodo, ¿no?
Me meto en Google Académico
y miro revisiones sistemáticas sobre innovación educativa.
¿Me aparece alguna?
Ah, no, no me aparece.
Perfecto, la puedo hacer.
No, es que claro, si te vas a Google Académico
y utilizas los términos, la búsqueda en español.
Quizás te estás dejando atrás una que se ha hecho en inglés justo
el mes pasado.
Entonces, eso es importante también tenerlo en cuenta
de no me baso solo en un buscador a la hora de buscar,
sino que utilizo muchos y comparo en los diferentes buscadores
para ver si realmente me vale la pena hacerla o no.
Muchas veces ves que, a lo mejor inducido
por las propias revistas, ¿no?
, que se presentan trabajos con un sesgo claramente,
digamos que se quedan con índices muy selectivos,
como Vos o como Scopus,
que claro, que dejan un montón de publicaciones,
que sería el concepto que denominabas de literatura fugitiva, ¿no?
Porque, claro, hay muchas cosas que se publican,
no sé, en congresos, que no llegan, digamos,
a ese tipo de revistas, ¿no?
Como las que están en libros, ¿no?
Y que no están en Scopus, claro, en Scopus
todo eso no va a quedar reflejado.
Claro, eso es dejar fuera de tu análisis
un montón de trabajos que pueden ser muy interesantes
para el propósito, precisamente en una revisión sistemática,
Pero que no van a estar nunca en Scopus, claro,
porque ni son artículos, ni cumplen esos estándares, etc. Sí,
totalmente.
Y depende de lo que quieras investigar,
te tienes que ir a un sector o a otro.
Es decir, si tú quieres investigar a un autor,
por ejemplo, Canna, te tienes que ir a libros.
O sea, puedes encontrar cosas en artículos, sí,
pero es que la mayor parte de la literatura está en libros.
Entonces, ahí quizá la revisión sistemática
se complica un poco más.
Entonces, claro, eso también hay que tenerlo en cuenta.
Y la mayor parte de las revisiones que nos encontramos
es revistas en abierto, open access, con el texto completo.
Oye, que es que si no, ¿cómo lo hago?
O sea, ¿tengo que pagar 20, 30 euros por cada artículo
que me quiera leer?
O. ¿Cómo lo hago para localizar esas referencias que no están?
Y ahí sí nos lo encontramos muchas veces, que incluso puedes recurrir,
bueno, pues, a algunos, por ejemplo, ResearchGate, ¿no?
Es una buena manera de contactar con los autores
y pedirle la publicación.
Las bibliotecas también ayudan, ¿no?
, a localizar algunos artículos que son interesantes
y los pueden solicitar y te puedes hacer con ellos, ¿no?
Entonces, no dejar de lado esas opciones,
porque también estamos dejando mucha literatura ahí, olvidada,
cuando solo nos centramos en OPEASES.
En efecto, hablabas también
de una cosa que me pareció muy interesante, que es poder
actualizar.
Estudios previos,
lo cual aquí tiene mucho sentido.
Tendría también sentido el concepto, digamos, metodológico de réplica.
Es decir, veo un estudio, no me convence.
Por el tipo de fuentes, por el tipo de idiomas seleccionados,
por el tipo de bases seleccionados,
o porque veo que se han saltado algunos aspectos, por ejemplo,
a la hora de hacer la síntesis,
que se han omitido estas cosas que comentábamos
sobre las metodologías del estudio original.
¿Tendría sentido plantearse una réplica como contraste,
como contrapunto?
Totalmente.
Es más, si nos vamos a Prisma y nos vamos a su diagrama de flujo,
vais a poder ver cómo hay una nueva columna,
que esa no se contemplaba al inicio de Prisma,
donde aparece justo cuando queremos hacer una revisión
sobre una revisión ya hecha.
Para ir anotando exactamente
las diferencias que se van encontrando en cada una de esas fases
por las que pasamos a la hora de realizar la revisión.
¿Qué es lo que sucede?
Y aquí por eso es importante, y remarcaba mucho antes,
no solo mostrar la estrategia de búsqueda,
sino también la ecuación.
Porque cuando nosotros leemos revisiones sistemáticas,
nos damos cuenta que la mayor parte de esas revisiones sistemáticas
muestran la estrategia que han seguido,
pero no la ecuación concreta.
¿Esto qué implica?
Implica que es muy difícil replicar exactamente el mismo tipo
de revisión que han hecho.
Porque claro, como yo sé
dónde pusieron el paréntesis, como yo sé dónde pusieron el or,
dónde pusieron el an, dónde pusieron el not,
si primero pusieron el no o primero pusieron el an,
entonces ahí es cuando se complica la cosa.
Entonces, es verdad que también puede ser un motivo de decir,
bueno, yo interpreto que se utilizó esta ecuación de búsqueda,
voy a seguirla, voy a mejorarla, voy a perfeccionarla
y voy a ver qué resultado me ofrece la nueva ecuación
que yo estoy generando.
Es otra manera de hacer una revisión sistemática
y es totalmente válida.
Pero yo sí recomiendo, precisamente para ayudar a esas.
Réplica, a volver a hacer revisiones sistemáticas ya realizadas,
el dejar claro cómo se hacen.
Porque cuando no somos transparentes en el proceso,
es muy difícil que una persona que venga detrás replique
y haga exactamente lo mismo que nosotros hicimos.
Es realmente complicado.
Además, yo creo que las publicaciones.
Cada vez van a pedir que lo que presentamos
sea replicable.
Es decir, que bien,
por lo que usted me presenta me parece serio tal,
si lo voy a publicar, pero ponga los datos,
explique bien todo por si hay otra persona
u otros equipos que lo quieren replicar y usted se arriesga
que pasado mañana, en efecto,
le salte una liebre y le digan, no, es que usted se ha equivocado
en este o en aquello o esto se lo ha saltado.
Es que ese concepto de réplica, sobre todo en ciencias sociales,
yo creo que cada vez.
Ya se hablaba mucho de ello, sobre todo en cualitativa,
de dejar el material, las entrevistas a disposición
por si alguien lo quiere volver a analizar,
pero yo creo que esto se va a generalizar, ¿no te parece?
Sí, sí, yo también lo creo.
Y la verdad que creo que es necesario.
O sea, creo que es necesario para realmente.
Mostrar las cosas como se hacen
y ver que las cosas se hacen bien.
O sea, ¿por qué no mostrarlo?
Si lo estamos haciendo bien,
¿por qué no mostrar lo que lo estamos haciendo bien?
Sí, sobre todo porque estamos organizando
un material que está en abierto, disponible.
Por lo tanto, de hecho, cualquier persona podría replicar.
Si tú no explicas bien cómo lo has hecho,
pues te pueden decir que usted lo ha hecho mal.
No, es que en realidad.
Usted ha hecho otra revisión con otros burleanos,
etc. Claro, entonces para que realmente sea una réplica
tiene que quedar claro cómo es el primer trabajo,
está claro.
Y una cuestión también
que me ha surgido alguna vez en los artículos,
en los trabajos que digamos que se incluyen
en esa N final para realmente hacer esa síntesis,
es si podemos mezclar trabajos, digamos, primarios,
con trabajo de campo primario,
también con otras revisiones sistemáticas,
porque cuando haces la búsqueda también te van a aparecer.
Con esa pregunta,
con esos buscadores, te van a aparecer también mezclados,
trabajos primarios con revisiones sistemáticas.
¿Se pueden mezclar trabajos primarios con revisiones sistemáticas
o sería conveniente manejar solo trabajos originales.
Primarios, digamos, con trabajo de campo directo.
Se puede mezclar, o sea,
no hay nada que diga que no se puede mezclar.
Se puede mezclar.
Yo creo que aquí depende mucho de lo que quieras conseguir
y de donde pongas tu foco a la hora de realizar tu revisión.
Yo creo que ahí es lo realmente importante.
Si vas a hacer una revisión de revisiones, una meta-revisión,
pues mete solo revisiones.
Si quieres analizar efectos, vete a cuantitativa.
O sea, no te vayas a cuantitativa porque es
que no lo vas a poder hacer.
Entonces.
Ahí va a depender mucho de lo que quieras hacer.
Y teniendo claro siempre por qué estás haciendo esto,
de qué manera y especificándolo, por qué lo haces,
para eso está precisamente el indicar esos criterios de elegibilidad,
de por qué incluyo esto, por qué excluyo lo otro.
Es más, muchas veces,
esto lo comentaba con otros compañeros, muchas veces
cuando tratamos de publicar hay apartados
como en el método que le damos muy poca importancia y lo reducimos
muchas veces incluso a un párrafo.
El método es importante explicarlo
y si tenemos que dedicar una cuartilla a explicar el método,
pues hagámoslo.
O sea, no podemos reducir el método a tanto para darle importancia
a esa parte de introducción o a esa parte de los resultados.
El método es tan importante.
Como cualquier otro apartado.
¿Por qué lo reducimos tanto?
Quizá eso es un problema, ¿no?
Igual que hablar de variables.
O sea, ¿cuántos artículos, cuántas publicaciones nos encontramos
en las que no definen las variables que se analizan?
Muchísimos.
Y es que es otra parte súper importante en la investigación.
Definir qué tipo de variables estás analizando para ver
qué tipo de resultados vas a encontrar.
Entonces, yo creo que ahí tenemos que darle más importancia
de la que se está dando actualmente.
Y bueno, esto es algo que habrá que revisar.
También digo, creo que el método Prisma
es algo que no va a estar ahí muerto,
o sea, que creo que va a seguir actualizándose
y va a seguir ampliándose, porque ahora mismo,
tal y como está planteado, también tira mucho
a esas revisiones sistemáticas cuantitativas y meta-análisis.
Deja de lado a la revisión sistemática cualitativa.
Hay aspectos de esa revisión sistemática
cualitativa que no lo acoge.
Entonces, ¿estamos incumpliendo el método
Prisma por no cumplir un ítem?
No, es que mi tipo de investigación no me permite cumplir ese ítem.
Por lo tanto, me lo tengo que saltar.
O sea, no me puede juzgar porque no lo estoy haciendo
porque me esté saltando un ítem.
Es que no lo puedo hacer con los datos que tengo.
Muy bien.
Por mi parte ha quedado todo muy clarificado.
No sé si quieres añadir cualquier elemento
que quieras resaltar para finalizar esta interesante sesión.
Pues nada, bueno, yo agradecer en primer lugar,
Tiberio, por esta oportunidad porque creo que es importante
que los estudiantes, incluso los tutores,
conozcan este tipo de diseño metodológico y bueno,
yo animo a que os adentréis al mundo de las revisiones sistemáticas
que es todo un mundo.
O sea, creo que realmente permite localizar el estado
de la cuestión de cualquier tema al que quieras.
Adentrarte, entonces yo creo que es una manera de iniciar
y de hacerlo de manera exhaustiva
y yo os animo a que lo hagáis Pues nada, por mi parte
darte las gracias de nuevo por este tiempo que nos has dedicado
y como va a quedar grabado pues estoy seguro que lo va
a ver en diferido mucha gente y va a ser muy útil
porque creo que has hecho a su vez una buena revisión.
De la metodología y hemos clarificado todos aquellos aspectos
que podían dejar cualquier duda y animo también a todas las personas
que vayan a hacer revisiones sistemáticas en el futuro
pues a eso, que intenten profundizar y que realmente hagan de ello también
una fuente de aprendizaje que yo creo que con este tipo de trabajo
se puede aprender mucho además de contribuir a.
A divulgar y realmente a encontrar buenas evidencias,
que es lo que también en la escuela, en los institutos,
en las universidades necesitamos, ¿no?
Para también tomar decisiones después, ¿no?
Y eso nos afecta a todos desde.
Un maestro o maestra de infantil, a los docentes universitarios,
pero también a los gestores políticos, administrativos,
necesitan tener evidencias precisamente para tomar
buenas decisiones.
Y por lo tanto yo creo que este tipo de estudios contribuye,
pero hay que hacerlos bien.
Así que nada, muchísimas gracias de nuevo.
Gracias a ti, Tiberio.
Buena tarde.
Hasta luego.