¿Que es una evaluación del impacto?
La evaluación de impacto permite medir los cambios que se han producido en la sociedad como consecuencia de una política pública o cualquier otro tipo de intervención. El impacto (u outcome) son todos los cambios, directos o indirectos, intencionados o no intencionados, que se producen como consecuencia de la implementación del programa, iniciativa o actividad.
Puesto que los problemas sociales pueden ser consecuencia de muchos factores, el interés de la evaluación de impacto no es sólo en medir cambios en la magnitud del problema, sino conseguir atribuir la causalidad de estos cambios al programa o política evaluada.
En términos más específicos, el impacto de una intervención o programa es la diferencia entre lo que realmente acontece a las personas participantes y el llamado contrafactual: lo que les hubiera sucedido si no hubieran participado. Sin embargo, dado que es imposible que los propios sujetos participen y no participen en un determinado programa, el contrafactual no es observable.
El principal reto de la evaluación de impacto, por tanto, consiste en proponer una estrategia que permita obtener una medida creíble de este contrafactual. La medida del impacto real del programa se obtiene cuando del outcome observado se resta la estimación del outcome contrafactual.
Las preguntas que se desean resolver a través de evaluaciones de impacto son:
- ¿Ha logrado el programa corregir la problemática? ¿En qué medida?
- ¿Qué componentes de la intervención son más efectivos?
- ¿Ha tenido los mismos efectos sobre los distintos colectivos atendidos?
Guía práctica 5 – Evaluación de impacto ESP
La evaluación de impacto se centra en analizar si la intervención efectivamente mitiga el problema o situación inicial por el que se ha diseñado la intervención. Por tanto, se valora el grado de consecución de los objetivos estratégicos del programa o política.
Este tipo de evaluación es adecuado en programas maduros y estables, con una teoría del
cambio claro y un período de operación suficiente para que los impactos hayan empezado a ocurrir. También es un tipo de evaluación utilizada para programas que operan bajo variantes, estrategias o componentes diferentes y en los que el interés se centra en determinar qué variante o qué componente se asocia a un mayor nivel de impacto.
La evaluación de impacto requiere de forma indispensable, por un lado, haber establecido un mecanismo de selección de las personas participantes y, por otro, datos sobre las variables de resultado correspondientes a las personas participantes y al grupo de comparación cuando se haya implementado el programa. Asimismo, es útil contar con la información de las variables de resultado antes de que se implemente el programa, así como de otras características sociodemográficas de ambos grupos. Por último, es relevante contar con la información de no participación de las personas que finalmente no lo han hecho.
El gran reto metodológico que plantea la evaluación de impacto es cómo definir a un grupo de individuos que, además de no participar o no beneficiarse del programa o política, constituya un contrafactual creíble, es decir, que su nivel de outcome pueda considerarse equivalente a lo que habríamos observado para los beneficiarios de la política si ésta no les hubiera sido aplicada.
Los métodos que se emplean en la evaluación de impacto difieren entre sí según el procedimiento utilizado para definir el grupo de individuos que actúan como contrafactual:
Los llamados diseños experimentales son aquellos en los que, partiendo de una población de potenciales beneficiarios del programa o política, los individuos acaban participando o no de acuerdo a un mecanismo de asignación puramente aleatorio. Los individuos que no participan, el llamado grupo de control, constituyen el contrafactual en este tipo de diseño.
El resto de los métodos disponibles, que reciben el nombre de diseños cuasiexperimentales, comparten la característica de que la participación en el programa por parte de los individuos no viene definida por un procedimiento aleatorio. En los diseños cuasiexperimentales, el contrafactual se define a partir de los individuos que no participan en el programa, que constituyen lo que se llama grupo de comparación. Los métodos de carácter cuasiexperimental más utilizados son: el modelo de dobles diferencias, la técnica de maching, el de diseño de regresión discontinua y el de variables instrumentales.
Para profundizar en las metodologías de impacto, se recomienda consultar los siguientes recursos:
Las evaluaciones de impacto son expost. Son raras las intervenciones públicas que producen impactos inmediatos, por lo que es necesario que transcurra cierto tiempo desde la implementación de la intervención antes de poder detectar su impacto.
Sin embargo, se recomienda empezar a definir la estrategia de impacto desde la fase de diseño de la política pública. De esta forma, se podrá maximizar las posibilidades de que la evaluación sea útil, adaptando la evaluación a las preguntas que se quieren resolver, planificando la recogida de datos necesarios e, incluso, pudiendo forzar que haya un buen grupo de comparación (aleatorizando la participación en el programa, no ofreciendo el programa a toda la población diana, etc.).
B-Mincome
El B-Mincome es un proyecto piloto del Ayuntamiento de Barcelona que consiste en una transferencia monetaria complementada con políticas de activación con el objetivo de encontrar formas innovadoras de sacar a 1.000 familias desfavorecidas de los barrios del Eix Besós de la ciudad de Barcelona de la situación de exclusión socioeconómica. Durante 2019 se analizó en qué medida el B-Mincome contribuyó a conseguir generar modificaciones en la situación de privación y bienestar de las familias, la exclusión residencial, el uso del tiempo, la salud y el uso de servicios sanitarios, el uso de servicios sociales, la situación financiera y la participación comunitaria.
Èxit Estiu
Programa dirigido al alumnado de ESO para evitar la repetición de curso y prevenir el abandono prematuro. Se evalúa el impacto de Èxit Estiu (Éxito Verano) sobre el número de asignaturas recuperadas, la probabilidad de pasar de curso y la probabilidad de graduarse.
Èxit Curs
El programa Èxit Curs (Éxito Curso), iniciado en 2001, es un programa preventivo de refuerzo escolar que se despliega en horario extraescolar a lo largo del curso escolar. La evaluación del programa realizada por Ivàlua buscaba establecer si el programa era efectivo para mejorar el rendimiento educativo de los estudiantes de la ESO.
Talleres de capacitación digital para personas mayores de 55 años de la Red de Bibliotecas Municipales
Los talleres de capacitación digital constan de una serie de módulos formativos en los que se enseña a utilizar tabletas electrónicas y teléfonos inteligentes a personas de más de 55 años, por iniciativa de la Xarxa de Biblioteques Locals (Red de Bibliotecas Municipales) de la Diputación de Barcelona. La evaluación analiza el impacto de los talleres sobre el uso de Internet y sobre la calidad y la cantidad de relaciones sociales de las personas participantes en el programa.
También se pueden consultar evaluaciones mixtas realizadas por Ivàlua:
Dispositivos de seguridad para la prevención de incendios en el Servicio de Teleasistencia Domiciliaria (Implementación e Impacto)
Pla de Barris (Implementación e Impacto)
Programa Actívate por la Salud Mental (Implementación e Impacto)
Programa La maleta de las familias (Implementación e Impacto)
Programa Movilízate Mobile de Barcelona Activa (Implementación e Impacto)
Servicios de Orientación e Investigación de Empleo de Barcelona Activa (Diseño e Impacto)
Programas de Cualificación Profesional Inicial (PQPI) (Implementación e Impacto)
Programas Suma’t y Nuevas Casas para Nuevos Oficios (Diseño, Implementación e Impacto)
Barcelona crea empleo y Barcelona se compromete (Diseño e Impacto)
Modelo de Atención a Emprendedores de Barcelona Activa (Diseño, Implementación e Impacto)
Prestación económica universal por niño a cargo (Diseño e Impacto)
Planes Educativos de Entorno (Diseño, Implementación e Impacto)
Planes de Empleo (Diseño, Implementación e Impacto)