Avaluacions

Aquesta guia presenta conceptes, criteris i recursos per valorar l’oportunitat i la viabilitat de l’avaluació d’una intervenció pública, en funció d’una anàlisi dels seus condicionants, requeriments i utilitat prevista, i també per guiar el primer pas en el disseny d’una avaluació: la formulació de les preguntes d’avaluació.

La raó de ser de qualsevol política pública és mirar de donar resposta a una determinada problemàtica o necessitat social. Realitzar un bon diagnòstic d’aquesta problemàtica és un requisit fonamental per tal de dissenyar polítiques efectives. El propòsit general d’aquesta guia és descriure els conceptes i les tècniques de l’avaluació de necessitats.

És el tipus d’avaluació que se centra en analitzar si la política pública o programa en qüestió estan ben dissenyats. Per realitzar aquesta anàlisi de l’avaluació del disseny es basa en la teoria del canvi. Aquesta no sempre és explícita ni unívoca, però sinó està prèviament formulada, construir-la serà una de les tasques a realitzar per tal de poder respondre les següents preguntes: 

• Quines hipòtesis hi ha darrera la teoria del programa/política? 
• Com són de raonables, factibles i apropiades aquestes hipòtesis? 
• Quina hipòtesis és la més feble? 

Aquestes preguntes són oportunes com a pas previ per a qualsevol avaluació, per entendre i valorar els fonaments lògics de la intervenció pública abans d’avaluar-la.

Guia pràctica 3 - Avaluació del disseny CAT

Guía práctica 3 - Evaluación del diseño ESP

Es el tipo de evaluación que se centra en analizar si la política pública o el programa en cuestión están bien diseñados. Para realizar este análisis de la evaluación del diseño se basa en la teoría del canon. Esta no siempre es explícita ni unívoca, pero sin embargo está previamente formulada, construirla será una de las tareas a realizar para poder responder a las siguientes preguntas:

• ¿Qué hipótesis ha dado la teoría del programa/política?
• ¿Cómo son de razonables, factibles y apropiadas estas hipótesis?
• ¿Qué hipótesis es la más feble?

Estas preguntas son oportunas como paso previo para una valoración cualitativa, para entender y valorar los fundamentos lógicos de la intervención pública antes de valorarla.

Guia pràctica 3 - Avaluació del disseny CAT

Guía práctica 3 - Evaluación del diseño ESP

Un cop decidida una intervenció pública per donar resposta a una necessitat social, el següent pas consisteix a passar a l’acció i assegurar que la intervenció s’executa de forma adequada. L’execució pràctica del programa és el que s’anomena implementació. Aquesta guia ressegueix els diferents passos necessaris per avaluar la implementació de les polítiques públiques.

L’avaluació d’impacte permet mesurar els canvis que s’han produït a la societat com a conseqüència d’una política pública o qualsevol altre tipus d’intervenció. L’impacte (o outcome) són tots els canvis, directes o indirectes, intencionats o no intencionats, que es produeixen com a conseqüència de la implementació del programa, iniciativa o activitat.

Com que els problemes socials poden ser conseqüència de molts factors, l’interès de l’avaluació d’impacte no és només en mesurar canvis en la magnitud del problema, sinó aconseguir atribuir la causalitat d’aquests canvis al programa o a la política que s’avalua.

En termes més específics, l'impacte d'una intervenció o programa és la diferència entre allò que realment esdevé a les persones participants i l'anomenat contrafactual: allò que els hagués succeït si no haguessin participat. Tanmateix, atès que és impossible que els mateixos subjectes participin i no participin en un determinat programa, el contrafactual no és observable.

El principal repte de l’avaluació d’impacte, per tant, consisteix a proposar una estratègia que permeti obtenir una mesura creïble d’aquest contrafactual. La mesura de l’impacte real del programa s’obté quan de l’outcome observat es resta l’estimació de l’outcome contrafactual.

Les preguntes que es volen resoldre a través d’avaluacions d’impacte són:

• Ha aconseguit el programa corregir la problemàtica? En quina mesura?
• Quins components de la intervenció són més efectius?
• Ha tingut els mateixos efectes sobre els diferents col·lectius atesos?

Els recursos d’Ivàlua per aprofundir en l’avaluació d’impacte són els següents:

• Guia pràctica 5 – Avaluació d’impacte
• Guia pràctica 10 – Avaluar l’impacte de les polítiques actives d’ocupació
• Guia pràctica 11 – Com avaluar l’impacte de les polítiques educatives

La evaluación de impacto permite medir los cambios que se han producido en la sociedad como consecuencia de una política pública o cualquier otro tipo de intervención. El impacto (u outcome) son todos los cambios, directos o indirectos, intencionados o no intencionados, que se producen como consecuencia de la implementación del programa, iniciativa o actividad.
 
Puesto que los problemas sociales pueden ser consecuencia de muchos factores, el interés de la evaluación de impacto no es sólo en medir cambios en la magnitud del problema, sino conseguir atribuir la causalidad de estos cambios al programa o política evaluada.
 
En términos más específicos, el impacto de una intervención o programa es la diferencia entre lo que realmente acontece a las personas participantes y el llamado contrafactual: lo que les hubiera sucedido si no hubieran participado. Sin embargo, dado que es imposible que los propios sujetos participen y no participen en un determinado programa, el contrafactual no es observable.
 
El principal reto de la evaluación de impacto, por tanto, consiste en proponer una estrategia que permita obtener una medida creíble de este contrafactual. La medida del impacto real del programa se obtiene cuando del outcome observado se resta la estimación del outcome contrafactual.

Las preguntas que se desean resolver a través de evaluaciones de impacto son:

• ¿Ha logrado el programa corregir la problemática? ¿En qué medida?
• ¿Qué componentes de la intervención son más efectivos?
• ¿Ha tenido los mismos efectos sobre los distintos colectivos atendidos?

Guía práctica 5 – Evaluación de impacto CAT

Guía práctica 5 – Evaluación de impacto ESP

Aquesta guia presenta els elements bàsics per entendre i dur a terme una avaluació econòmica. Introdueix els conceptes específics d’aquest tipus d’avaluació, exposa els diferents mètodes disponibles i detalla els principals aspectes a tenir en compte a l’hora de valorar els resultats i costos d’una intervenció pública.

Una avaluació ex ante consisteix a fer projeccions sobre els efectes d’una política pública abans d’implementar-la, basant-les en el coneixement previ d’altres avaluacions i/o en l’aplicació de tècniques estadístiques. Aquesta guia explica els passos metodològics necessaris per dur a terme una avaluació ex ante de qualitat, així com els aspectes pràctics a tenir en compte en la seva preparació.

Aquesta guia és una introducció als fonaments de la metodologia qualitativa aplicada a l’avaluació de polítiques públiques. En presenta una definició conceptual i metodològica, tot fent èmfasi en la seva aplicació pràctica i usabilitat en l’àmbit específic de l’avaluació de polítiques públiques.

L’objectiu d’aquesta guia és introduir els conceptes i les metodologies de l’avaluació econòmica com a una part de l’avaluació de polítiques públiques fent especial èmfasi en les anàlisis cost-efectivitat i cost-benefici. Més enllà de mesurar el grau d’efectivitat amb què s’estan gastant els recursos públics, l’objectiu de l’avaluació econòmica és reproduir a nivell de la societat el comportament de les persones quan sospesen de forma individual els avantatges i inconvenients d’una intervenció.

L’aplicació de l’avaluació econòmica aspira a que les intervencions avaluades aconsegueixin modificar realment la situació de partida que es considera insatisfactòria (efectivitat) i, també, que la consecució d’aquest objectiu es realitzi tenint en compte el consum de recursos econòmics (eficiència). Aquesta guia aplica específicament l’avaluació econòmica a l’àmbit dels serveis socials.