GP 5 - Avaluació d’impacte

Què és una avaluació d’impacte?

L’avaluació d’impacte permet mesurar els canvis que s’han produït a la societat com a conseqüència d’una política pública o qualsevol altre tipus d’intervenció. L’impacte (o outcome) són tots els canvis, directes o indirectes, intencionats o no intencionats, que es produeixen com a conseqüència de la implementació del programa, iniciativa o activitat.

Com que els problemes socials poden ser conseqüència de molts factors, l’interès de l’avaluació d’impacte no és només en mesurar canvis en la magnitud del problema, sinó aconseguir atribuir la causalitat d’aquests canvis al programa o a la política que s’avalua.

En termes més específics, l'impacte d'una intervenció o programa és la diferència entre allò que realment esdevé a les persones participants i l'anomenat contrafactual: allò que els hagués succeït si no haguessin participat. Tanmateix, atès que és impossible que els mateixos subjectes participin i no participin en un determinat programa, el contrafactual no és observable.

El principal repte de l’avaluació d’impacte, per tant, consisteix a proposar una estratègia que permeti obtenir una mesura creïble d’aquest contrafactual. La mesura de l’impacte real del programa s’obté quan de l’outcome observat es resta l’estimació de l’outcome contrafactual.

GP5

Les preguntes que es volen resoldre a través d’avaluacions d’impacte són:

Ha aconseguit el programa corregir la problemàtica? En quina mesura?
Quins components de la intervenció són més efectius?
Ha tingut els mateixos efectes sobre els diferents col·lectius atesos?

Els recursos d’Ivàlua per aprofundir en l’avaluació d’impacte són els següents:

GP 5 - Avaluació d’impacte CAT

GP 5 - Evaluación del Impacto ESP

Per què serveix una avaluació d’impacte?

L’avaluació d’impacte es centra en analitzar si la intervenció efectivament mitiga el problema o situació inicial pel qual s’ha dissenyat la intervenció. Per tant, es valora el grau de consecució dels objectius estratègics del programa o política.

Aquest tipus d’avaluació és adequat en programes madurs i estables, amb una teoria del
canvi clara i un període d’operació suficient perquè els impactes s’hagin començat a esdevenir. També és un tipus d’avaluació utilitzada per a programes que operen sota variants, estratègies o components diferents i en els quals l’interès se centra a determinar quina variant o quin component s’associa a un nivell d’impacte més alt.

Com es realitza una avaluació d’impacte?

L’avaluació d’impacte requereix de manera indispensable, d’una banda, haver establert un mecanisme de selecció de les persones participants i, d’altra banda, dades sobre les variables de resultat corresponents a les persones participants i al grup de comparació un cop s’hagi implementat el programa. Així mateix, és útil comptar amb la informació de les variables de resultat abans que s’implementi el programa, així com d’altres característiques sociodemogràfics d’ambdós grups. Per últim, és rellevant comptar amb la informació de no participació de les persones que finalment no ho han fet.

El gran repte metodològic que planteja l’avaluació d’impacte és com definir un grup d’individus que, a més de no participar o no beneficiar-se del programa o política, constitueixi un contrafactual creïble, és a dir, que el seu nivell d’outcome pugui considerar-se equivalent al que hauríem observat per als beneficiaris de la política si aquesta no els hagués estat aplicada.

Els mètodes que s’empren en l’avaluació d’impacte difereixen entre si segons el procediment utilitzat per definir el grup d’individus que actuen com a contrafactual:

Els anomenats dissenys experimentals són aquells en què, partint d’una població de potencials beneficiaris del programa o política, els individus hi acaben participant o no d’acord a un mecanisme d’assignació purament aleatori. Els individus que no hi participen, l’anomenat grup de control, constitueixen el contrafactual en aquest tipus de disseny.
La resta de mètodes disponibles, que reben el nom de dissenys quasiexperimentals, comparteixen la característica que la participació en el programa per part dels individus no ve definida per un procediment aleatori. En els dissenys quasiexperimentals, el contrafactual es defineix a partir dels individus que no participen en el programa, que constitueixen el que s’anomena grup de comparació. Els mètodes de caràcter quasiexperimental més utilitzats són: el model de dobles diferències, la tècnica de matching, el de disseny de regressió discontínua i el de variables instrumentals.

Per aprofundir en les metodologies d’impacte, es recomana consultar els següents recursos:

Quan realitzar una avaluació d’impacte?

Les avaluacions d’impacte són ex-post. Són rares les intervencions públiques que produeixen impactes immediats, per la qual cosa és necessari que transcorri un cert temps des de la implementació de la intervenció abans de poder-ne detectar l’impacte.

No obstant això, es recomana començar a definir l’estratègia d’impacte des de la fase de disseny de la política pública. D'aquesta manera, es podrà maximitzar les possibilitats que l’avaluació sigui útil, adaptant l’avaluació a les preguntes que es volen resoldre, planificant la recollida de dades necessàries i, fins i tot, podent forçar que hi hagi un bon grup de comparació (aleatoritzant la participació al programa, no oferint el programa a tota la població diana, etc.).

Exemples d’avaluació d’impacte

B-Mincome
El projecte B-Mincome és un projecte pilot de l’Ajuntament de Barcelona que consisteix en una transferència monetària complementada amb polítiques d’activació amb l’objectiu de trobar formes innovadores de treure a 1.000 famílies desafavorides dels barris de l’Eix Besós de la ciutat de Barcelona de la situació l’exclusió socioeconòmica. Durant el 2019 es va analitzar en quina mesura el B-Mincome va contribuir a aconseguir generar modificacions en la situació de privació i benestar de les famílies, l’exclusió residencial, l’ús del temps, la salut i l’ús de serveis sanitaris, l’ús de serveis socials, la situació financera i la participació comunitària.

Èxit Estiu
Programa adreçat a l’alumnat d’ESO per evitar la repetició de curs i prevenir l’abandonament prematur. S’avalua l'impacte de l'Èxit Estiu sobre el nombre d'assignatures recuperades, la probabilitat de passar de curs i la probabilitat de graduar-se.

Èxit Curs
L'Èxit Curs, iniciat l'any 2001, és un programa preventiu de reforç escolar que es desplega en horari extraescolar al llarg del curs escolar. L'avaluació del programa feta per Ivàlua buscava establir si el programa era efectiu per millorar el rendiment educatiu dels estudiants de l'ESO.

Tallers de capacitació digital per a persones de més de 55 anys de la Xarxa de Biblioteques Municipals
Els tallers de capacitació digital consten d'una sèrie de mòduls formatius on s'ensenya a utilitzar tauletes electròniques i telèfons intel·ligents a persones de més de 55 anys. L’avaluació analitza l'impacte dels tallers sobre l'ús d'Internet i sobre la qualitat i quantitat de relacions socials de les persones participants en el programa.