Hola de nuevo, me presento otra vez, soy Concepción Castillo,
soy la docente también de esta asignatura,
de la asignatura de evaluación de los programas sociales
y quería empezar brevemente con una reflexión sobre el sentido
que tiene esta asignatura en el conjunto del máster.
Digamos que aquí tenéis algunas asignaturas
que ayudan a comprender un poco cómo un problema social
se convierte en tal, es decir, cómo un asunto,
cómo un tema público emerge como problema social, que es el caso
de la asignatura al descontento en las sociedades complejas.
Tenéis otra serie de asignaturas que os dan las herramientas teóricas
y metodológicas para comprender los problemas sociales.
Por ejemplo, el caso de la asignatura de Celia Fernández
que has puesto en primer lugar.
Y luego tenéis otra serie de asignaturas que abordan
cuál es la respuesta institucional a los problemas sociales.
En ese caso estaría,
por ejemplo, la asignatura del estado de bienestar
y esta asignatura de evaluación de los problemas sociales.
Bueno, esta asignatura tiene dos partes,
se divide en dos bloques,
un primer bloque de análisis de las políticas públicas
y un segundo bloque de evaluación de los programas sociales.
¿Y esto por qué?
Porque los programas sociales,
los programas y proyectos de intervención social,
digamos que son unidades más básicas de intervención social,
pero que cuelgan, digamos que se desprenden,
que dependen del paraguas más amplio
que sería el de las políticas públicas,
en este caso de políticas sociales.
Tanto las políticas sociales
como los proyectos responden a un ciclo que es político,
que consiste en la definición del problema, en el diseño
y la formulación de una política para dar respuesta a ese problema,
en la implementación y en el monitoreo
o la evaluación de esas políticas y finalmente en la rendición
de cuentas para que todo vuelva a comenzar,
con la definición del problema, el diseño y de nuevo todo el ciclo.
Bueno, en este máster nos aproximamos a los problemas sociales
desde dos perspectivas.
Por un lado, como científicos sociales que analizan
y que evalúan los problemas sociales y las políticas públicas
que dan respuesta a esos problemas sociales,
pero también como técnicos y como profesionales
que intervienen, que están ya en la implementación
de los proyectos.
Esto responde un poco a las dos partes
de la asignatura que os acabo de contar y responde también
un poco a los perfiles que tenemos en este máster,
que hay gente que viene de las ciencias sociales,
de la ciencia política, de la sociología,
pero también hay gente que viene del trabajo social y que está ya
trabajando en el tercer sector.
Entonces, un poco esta asignatura,
digamos que se puede enfocar desde ambos perfiles.
Como decía, hay dos bloques en la asignatura
y en el primer bloque nos vamos a encargar
de las políticas públicas, de qué son las políticas públicas,
cómo se estudian, cómo se analizan.
Entonces, en esa primera parte de análisis de políticas públicas
nos interesa.
Fundamentalmente, o uno de los primeros pasos iniciales
para un análisis de las políticas públicas es
la definición de un problema como raíz de una política pública.
Aquí estamos en lo que a diferentes autores
han llamado los marcos interpretativos de un problema
que, digamos, la forma en que esos marcos interpretativos
se abordan o se construyen más bien desde la política pública.
Pensad, por ejemplo, en la violencia de género.
Lo diferente que es pensar en violencia doméstica
que en violencia machista.
O abordar la violencia de género
como un problema que sucede en la pareja
o abordarlo como un fenómeno más estructural que se da
en diferentes espacios de la sociedad.
Es decir cómo se defina un problema,
cuál sea el marco interpretativo que se le da a un problema,
incide necesariamente en la intervención que se va a hacer
sobre ese problema.
Otro elemento fundamental
en el análisis de las políticas públicas son
los actores que intervienen en esas políticas.
Y aquí tenemos diferentes enfoques que vais a ver en la literatura,
digamos en la bibliografía de la asignatura,
en el enfoque litista, pluralista, tecnocrático, marxista.
Otro elemento serían los recursos.
¿Qué recursos se despliegan?
Que no son solo recursos económicos, son recursos humanos,
recursos cognitivos, recursos jurídicos
y, por supuesto, el proceso de puesta en agenda
de esas políticas públicas.
También hay un elemento.
Bueno, la segunda parte de la asignatura,
como os decía, va a un nivel de intervención
más básico que es el de los proyectos sociales.
En este caso, bueno, digamos que el proyecto
sería la unidad de intervención más básica,
mientras que los programas es un conjunto de proyectos
coherentes entre sí que tienen unos objetivos comunes
y que, digamos, son el segundo nivel.
Estarían las políticas públicas como nivel más general,
los programas y luego los proyectos.
Entonces, aquí vamos a abordar algo que a los estudiantes,
sobre todo los que proceden del ámbito del trabajo social,
les suele interesar,
que es la evaluación de los programas sociales.
Y les interesa porque forma parte del trabajo cotidiano
en intervención social y en el tercer sector,
la evaluación de aquellas intervenciones que se hacen.
Entonces, como habréis visto en el temario de la asignatura,
en función de diferentes criterios
se pueden hacer diferentes clasificaciones
de los tipos de evaluación.
Es decir, si lo hacemos en función de un criterio temporal,
pues hablamos de evaluaciones ex ante,
es decir, antes de la intervención
y ni tínere durante la intervención o posteriores a la intervención.
Sí hablamos del tipo de evaluación que se lleva a cabo
y esto es la idea que os quería dejar clara,
porque no me voy aquí a detener en todos los tipos de evaluación,
pero sí que os quería dejar claro que cuando hablamos de evaluación
no hablamos solo de evaluación de impacto,
de resultados, que es lo que normalmente tenemos en mente
cuando pensamos en las evaluaciones,
sino también del diseño y de la implementación.
Cuando hablamos de la evaluación del diseño típicamente
tiene en cuenta cuestiones como la coherencia de un proyecto concreto
con la política pública a la que responde
o por ejemplo la evaluación de las necesidades previa
a la intervención que se ha llevado a cabo
si ha sido una evaluación completa se ha tenido en cuenta
todos los actores implicados después la evaluación de la implementación.
Tienen en cuenta cuestiones relacionadas con el funcionamiento
de un programa.
Por ejemplo, un análisis coste-beneficio
o si existen mecanismos de coordinación interna suficientes
para que las actividades no se solapen entre sí.
Este tipo de cuestiones más de funcionamiento,
de que el programa funcione correctamente.
Y la evaluación de resultados
o de impacto lo que evalúa es, como su propio nombre indica,
las consecuencias que ha tenido un programa, los impactos.
Por ejemplo, el nivel de cobertura.
Si tú tenías una población diana que era tal,
¿a qué porcentaje de esa población diana has conseguido llegar?
¿O cuál ha sido la satisfacción,
aunque esto suena un poco empresarial,
de aquellos beneficiarios del programa?
¿Cuáles han sido los impactos y los resultados?
Luego, en las evaluaciones de proyectos
se utiliza una variedad de técnicas, tanto cuantitativas
como cualitativas.
Pensad, por ejemplo, que para la evaluación de diseño,
que os decía antes, de analizar los marcos interpretativos
o de analizar la coherencia de un programa
con una política pública, Típicamente
hacemos un análisis documental de todos los documentos del programa
para comprender cuál es la filosofía que hay detrás de esa intervención
o cuáles han sido, como decía antes,
las evaluaciones de necesidades previas.
Pero también utilizamos, sobre todo en las fases de implementación
y de resultados, la entrevista en profundidad
o los grupos de discusión con personal técnico
que haya implementado el programa, con personal político
que haya diseñado el programa o con aquellas personas que hayan
sido usuarias o beneficiarias del programa.
Y finalmente, además de una variedad de técnicas,
normalmente las evaluaciones
las llevan a cabo equipos multidisciplinares con personas
que tienen diferentes perfiles dentro de las ciencias sociales.
De lo que se trata con la evaluación de programas sociales
es de analizar las fortalezas y las debilidades de la intervención
para cumplir un poco con lo que son las funciones básicas
de la evaluación, que serían la garantía de calidad,
es decir, el improvement, el perfeccionamiento,
la mejora de los programas, la rendición de cuentas,
es decir, las cuestiones que tienen que ver con la responsabilidad
en la gestión pública,
lo que normalmente se conoce como accountability,
y la construcción de conocimiento,
la ejemplificación, la orientación para acciones futuras.
Bueno, os he contado hasta aquí un poquito.
Algunas ideas básicas del programa de la asignatura,
básicamente que comprendierais los dos bloques,
el sentido que tienen ambos bloques en el conjunto de la asignatura
y un poco qué tratamos en cada uno de ellos.
Y ahora quería detenerme un poquito en la SPEC,
porque sé y de hecho ahora algunas estudiantes me han comentado
que creen que les iba a resultar un poco problemático o desafiante
el tema de la SPEC de esta asignatura,
entonces me voy a detener para que comprendáis bien
qué es lo que se os pide.
Bueno, sabéis que las PEC
de esta asignatura no son obligatorias,
pero sí que permiten obtener hasta dos puntos de la nota final,
es decir, que quien no haga las PEC no puede llegar al sobresaliente.
Se va a evaluar fundamentalmente la adecuación a lo que se pide.
Por supuesto, el rigor, la originalidad,
el grado en que se muestra que se ha comprendido el temario
de la asignatura y, por supuesto, la cuestión formal de la gramática,
el lenguaje, etcétera, etcétera,
y desde luego que.
Como os decía antes, la directora del máster en relación al TFM,
todo uso de inteligencia artificial o de plagio,
por supuesto que lo pasamos por el programa
y que sabéis que no es válido y que esos trabajos
serán suspensos.
La fecha de entrega es el 25 de mayo
y bueno, os digo que las PEC no son obligatorias,
pero sí recomendables, yo creo que muy recomendables
por varios motivos.
En primer lugar,
porque os van a permitir poner a trabajar los conceptos.
Es una asignatura en la que hay mucho concepto
y mucha teoría y las PEC os van a permitir aterrizar todo eso
y ver su aplicabilidad.
Luego, también creo que os va a servir de cara a entrenaros tanto
al examen,
porque al final vais a tener que poner a trabajar cuestiones
del temario de la asignatura que van a ser similares
a lo que podáis encontrar en el examen
y también de cara al TFM
porque os va a dar competencias para el análisis
y para comenzar un poco un proceso de investigación.
Y luego, por supuesto, tanto para aquellos perfiles
que se quieran dedicar a la investigación
como para aquellos perfiles que os estáis dedicando ya
o que os queráis dedicar a la intervención social,
con ambas opciones,
eligiendo una u otra, vais a poder trabajar ambas cuestiones.
Entonces yo os animo a que las hagáis.
Hay dos PEC, una que tiene que ver con la primera parte de la asignatura
y una que tiene que ver con la segunda.
La primera PEC.
Es la propuesta de análisis de la formulación de una política
pública en la que tenéis que elegir libremente el área.
Aquí se trata de que diseñéis
cómo analizaríais, que hagáis un proyecto de investigación
y no la investigación en sí misma, sino el proyecto de investigación
de cómo analizaríais la formulación de una política pública.
Y la política pública a elegir es de libre elección,
es decir, podéis elegir una política de regulación
de la inteligencia artificial, de transición energética,
de contraste a la violencia de género,
de contraste al fracaso escolar, de contraste al sinogarismo,
lo que queráis hacer.
Tenéis que elegir un área y una política de esa área.
Para ello tenéis que estar familiarizados
con la primera parte del temario, como decía.
Entonces, lo que tenéis que hacer es una propuesta de análisis
de la formulación.
Es decir, como decía antes, la política pública
tiene diferentes fases.
No tenéis que analizar o no tenéis que hacer
una propuesta de investigación de todo el ciclo de la política,
sino de la primera parte, de la parte de la formulación.
Y esto implica cómo se ha definido el problema en esa política pública,
cuáles son los marcos interpretativos sobre el problema,
en base a qué evidencias se ha construido el diagnóstico
para diseñar esa política pública, cuáles han sido los actores
implicados y cuál es la solución que se propone al problema.
Tenéis unos materiales de referencia que os van a ayudar
a entender todo esto.
Están en la propia descripción de la PEC enlazados,
si no me equivoco.
Y entonces ahí tenéis un texto clásico
sobre la formulación de las ideas en la política,
sobre la circulación de las ideas en la política,
y luego una serie de textos que son precisamente intentos
de hacer ese análisis de formulación de políticas públicas.
Y lo que tenéis que entregar es un proyecto de investigación que,
como os decía, pues tiene una serie de O sea,
tenéis el índice ya explicado de lo que tenéis que entregar y ya,
como os decía, no tenéis que hacer la investigación en sí misma.
Tenéis que hacer un proyecto de investigación
con un estado de la cuestión, unos objetivos,
una metodología y una serie de fases de vuestra investigación.
Lo tenéis detallado en las instrucciones.
Y la segunda P es una P que tiene que ver,
perdonad que veo como voy de tiempo, con la segunda parte del programa,
de la asignatura.
En este caso se trata de proponer un proyecto
en el que tenéis que evaluar un programa social.
Tenéis que hacer una propuesta de evaluación de un programa social.
En este caso tenéis que estar sobre todo familiarizados
con la segunda parte del temario, que es toda la que acabamos
de mencionar en relación a los proyectos sociales,
su formulación y su evaluación.
Aquí tendríais que emular un concurso público,
es decir, tenéis que hacer como si sois un equipo consultor
que os vais a presentar a una licitación
que un organismo público ha sacado para evaluar un programa social
que ha puesto en marcha.
Y en este caso sí que os damos el programa en cuestión,
que es el primer plan del Gobierno vasco contra la violencia
de género.
Ese plan tiene una serie de ejes y no tenéis que, digamos,
la propuesta de evaluación no tendría que abarcar todo el plan,
porque sería un poco excesivo, creo que sería un poco inabarcable,
sino que tenéis que dedicaros al primer eje, que es el eje
de sensibilización y prevención de la violencia de género.
Entonces tenéis que coger el plan,
ir al eje y hacer una propuesta de evaluación de ese eje.
Para ello, los documentos fundamentales,
aparte por supuesto del temario de la asignatura,
sobre todo de la segunda parte,
y de otros documentos que podáis encontrar, son el propio plan
y una guía de evaluación del plan estratégico del tercer sector,
que lo tenéis también enlazado en la descripción de la PEC,
Y que es un documento, creo, muy interesante independientemente
de que hagáis la PEC o no,
porque explica de forma muy clara, muy sencilla,
las fases de la evaluación, los tipos de evaluación,
los instrumentos, las metodologías, qué metodologías cualitativas,
qué metodologías cuantitativas nos sirven para la evaluación.
Entonces, ese documento os recomiendo que lo leáis
todo el mundo independientemente de que hagáis la PEC.
Entonces,
una vez que hayáis trabajado sobre el propio plan
y sobre el documento de guía de evaluación,
tenéis que hacer una propuesta,
como decía, del diseño de evaluación de este programa de prevención
de la violencia de género y el documento
o el producto que tenéis que entregar tiene dos partes.
Primero tenéis que explicar la estrategia de evaluación
que vais a seguir y después tenéis que hacer el índice,
me explico.
Esto es así, digamos, en los propios concursos
en los que tú te presentas para hacer una evaluación
y esto espero que sea un ejercicio que os sirva de utilidad
a muchos de vosotros y a muchas para vuestro trabajo,
realmente esto es el producto que se entrega,
primero le explicas al cliente.
¿Cuál es la estrategia que vas a seguir de una forma más narrativa?
Yo voy a hacer una evaluación de este tipo, con estas fases,
con este presupuesto, etc. Y después un índice del producto final
que le entregaríais a ese cliente.
Entonces, aquí, al contrario que en el.
En la PEC anterior no os vamos a dar el índice
porque una parte fundamental de la PEC
es que sepáis identificar cuáles son los elementos fundamentales
que tiene que tener una propuesta de evaluación que presentáis
a un concurso público.
Por lo tanto, primero la estrategia de una forma más narrativa,
explicando lo que vais a hacer, etc. Y después el índice
con todos los elementos que va a contener vuestra evaluación.
Y como digo y os he explicado antes también,
no se trata de hacer la evaluación,
se trata de hacer el proyecto de la evaluación.
Esto que quede claro,
porque si no, evidentemente sería un trabajo ingente.
Bueno, como decía, no os voy a dar el índice
de lo que tenéis que hacer en el trabajo,
pero sí que os voy a dar una serie de ideas básicas,
guía, para hacerlo.
Primero, que cualquier evaluación tiene que tener un contexto
sobre el problema social que se va a evaluar,
es decir, información y datos sobre en qué momento se encuentra
ese problema social en el contexto concreto
en el que se va a llevar la evaluación.
Después, como os decía antes,
que tenéis que tener en cuenta que una evaluación completa
no es solo una evaluación de resultados y de impacto,
sino que evalúa también el diseño, como recordad,
los marcos interpretativos, cómo se entiende el problema,
cómo se ha pensado, qué diagnóstico de necesidades se ha hecho,
etc. Luego, una evaluación de implementación,
es decir, cómo está funcionando el programa,
¿Tiene mecanismos de coordinación interna?
¿Cuál es el presupuesto y los recursos que se le ha otorgado
al programa?
¿Tiene mecanismos para autoevaluarse?
Porque también los propios programas,
aparte de la evaluación externa que piden a otros organismos,
a otros consultores,
también tienen una propia mecanismos de seguimiento,
que no es una evaluación en profundidad,
pero sí de seguimiento de las acciones del programa.
Entonces, eso formaría también parte de la implementación.
Y luego, como decía, una evaluación de resultados,
qué cobertura ha tenido,
qué beneficios se han logrado, qué resultados no esperados,
qué consecuencias no pensadas ha podido tener el programa,
porque eso también sucede,
y qué posibles impactos negativos ha podido tener.
Y aparte de, os decía entonces, vamos a recapitular,
la información de contexto, evaluación de diseño,
implementación y resultados y una propuesta metodológica rigurosa
que tenéis que imaginaros que sois un equipo consultor
que tenéis acceso a todo tipo de fuentes,
no estáis limitados en absoluto,
entonces podéis acceder a todos los documentos del programa,
también podéis acceder a los políticos que han diseñado
el programa, podéis acceder al personal técnico
que lo ha implementado
y también a las personas beneficiarias del programa.
Por lo tanto, podéis pensar e imaginaros
una metodología exhaustiva, porque además no vais a tener
que hacerla, entonces tenéis que ser realistas,
tiene que ser un programa que pueda realizarse,
pero podéis ser ambiciosos, porque no tenéis la limitación
de luego tener que hacer la investigación.
Entonces, pensad que tenéis acceso a todo tipo de fuentes,
Y que tenéis un equipo de gente formada en ciencias sociales,
de sociólogas, trabajadoras sociales.
No os voy a pedir temas económicos, porque suele también haber
economistas que hacen análisis de costo-beneficio y tal,
pero eso lógicamente no lo voy a pedir.
Vale, y.
Yo presupuesto dispongo para presentarme a esa licitación.
Por supuesto tienes.
Claro.
Por supuesto tienes que tener una A ver, por un lado,
en cuenta el presupuesto que tiene la evaluación
para hacer la evaluación,
porque de eso dependen las entrevistas
que vas a poder hacer, los grupos de discusión
que vas a poder hacer, la encuesta eventualmente que vas a poder hacer.
Y también, en principio,
tienes que tener, aunque sea un mínimo análisis,
del presupuesto que el programa ha gastado y en qué conceptos.
Otra cosa es que yo no os voy a pedir que os metáis en análisis
de coste-beneficio que típicamente hacen los economistas,
porque yo tampoco tengo la formación para ello.
Yo he formado parte de evaluaciones,
pero yo no he hecho análisis de coste-beneficio,
porque yo vengo de la sociología.
He hecho análisis de marcos interpretativos,
etcétera.
Entonces eso sería todo lo que yo os quería contar.
Está en la descripción
de la, no recuerdo ahora mismo la extensión,
pero en la PEC hay como una descripción
bastante exhaustiva de lo que se pide y ahí está.
Luego si no te lo busco en un momento.
¿Alguna duda, alguna cuestión, alguna inquietud?
No, no, no, tenéis que elegir una.
Vale dos puntos y hay que elegir una de las dos.
Es optativa, pero como os digo, la evaluación sin la APEX
llega hasta ocho puntos.
Hay que hacer una de las dos, sí, sí, sí,
eso que quede claro.
Y tres cosas.
Se pueden hacer ninguna.
Exacto.
Lo que pasa es que lo máximo A lo que puedes llegar.
Es el 8, efectivamente.
Y has de elegir una de las dos.
Exacto.
Tres opciones.
Tengo una pregunta en la red.
Uno, cuando se habla de.
Es muy concreta,
pero cuando se habla del marco interpretativo,
¿te refieres a como la teoría que.
Sí, los marcos interpretativos se refieren a cómo se marca,
cómo se define un problema social.
En la PEC 1,
cuando os digo que hay una serie de documentos de referencia,
hay un artículo de unas autoras que han trabajado extensamente el tema
de los marcos interpretativos, María Bustelo y Emanuela Lombardo,
donde se explica muy bien en qué consisten los marcos interpretativos
y con ejemplos prácticos se ve muy claro.
Por ejemplo.
Una política de conciliación de la vida familiar
o de corresponsabilidad.
Si hablas de conciliación.
Estás situando el problema en las mujeres,
son las mujeres las que tienen que conciliar
la vida laboral y familiar
y es una cuestión de tiempo y si hablas de corresponsabilidad
estás hablando de cómo repartir socialmente los cuidados,
de forma que son políticas típicamente dirigidas
no solo a las mujeres
sino fundamentalmente a los hombres o a otros actores sociales
que se tienen que cargar de los cuidados.
Entonces, hablar de conciliación o hablar de corresponsabilidad
implica políticas públicas muy diferentes para abordar un tema.
Iba a decir el mismo tema,
pero en realidad no es el mismo tema,
porque ya desde la definición estás construyendo el problema social.
¿Alguien más?
Bueno, pues nada, estaremos por aquí, encantada de,
como os decía antes, de ponernos caras y mucha suerte.