Les polítiques públiques són intervencions o programes impulsats per una administració pública o entitat social orientats a millorar el benestar de la ciutadania. Les intervencions estan motivades per l’existència d’un problema, necessitat o situació social insatisfactòria i s’implementen amb la voluntat de donar resposta a aquesta situació. L’objectiu de les polítiques públiques és el de mitigar el problema o millorar una determinada situació, però per a que això passi cal que els programes es dissenyin i s’implementin adequadament, i això passa perquè incorporin el coneixement i l’evidència disponible.
Avaluar és l’acció d’analitzar una determinada política, programa o intervenció públics per respondre a una pregunta relacionada amb la problemàtica a la que el programa pretén resoldre. En funció de la/les pregunta/es d’avaluació que es vulgui respondre caldrà adoptar un o altre tipus d’avaluació. A través de les avaluacions el decisor públic pot tenir major coneixement sobre els diferents aspectes de la política pública i aquest coneixement ha de poder permetre millorar la política.
L’avaluació permet conèixer com es desenvolupen les polítiques públiques i quin valor aporten a la societat. Per tant, és una eina molt valuosa que permet:
- Generar coneixement útil per a la presa de decisions sobre el funcionament i resultats de les polítiques públiques i els programes socials.
- Millorar l’eficàcia de les intervencions dels poders públics, promovent dissenys de polítiques i programes de més qualitat i el seguiment sistemàtic dels seus resultats i impactes
- Augmentar l’eficiència de l’acció dels governs>, mitjançant la mesura sistemàtica de la relació recursos / resultats de polítiques i programes.
- Facilitar el rendiment de comptes del sector públic i del tercer sector envers la ciutadania.
L’avaluació permet millorar la qualitat de polítiques i programes perquè posa a disposició dels seus responsables informació rigorosa sobre:
- els problemes socials que fan necessària una intervenció
- les diferents alternatives que es poden prendre en consideració a l’hora d’abordar els problemes socials
- la bondat del disseny estratègic i operatiu de les actuacions que es posen en marxa
- el funcionament, resultats i possibles desviacions en la provisió de serveis o l’execució de les actuacions en curs
- el grau de cobertura amb relació a la població diana prevista
- els efectes o impactes atribuïbles a la política o programa
- la relació entre els efectes o impactes assolits i els recursos emprats
A més d’una millora en l’assignació dels recursos públics, la millora del coneixement sobre les intervencions públiques i el fet de posar-la a disposició de la ciutadania, possibilita la transparència en l’acció de govern i una major responsabilització i rendiment de comptes per part dels poders públics davant la ciutadania i per tant una participació informada de la ciutadania en els afers públics.
Les intervencions públiques tenen associada una teoria, més o menys explícita, sobre com se suposa que han d’induir els canvis que mitiguin el problema o millorin la situació que donen raó de ser a la intervenció. La teoria del canvi (també anomenada teoria de la intervenció o teoria del programa) és la cadena d’hipòtesis sobre com s’espera que els recursos assignats a la intervenció permetin desenvolupar unes activitats que produeixin determinats productes (outputs), els quals, al seu torn, generen beneficis de curta, mitjana i llarga durada sobre la societat en el seu conjunt o en la població objectiu de la política o el programa (impactes o outcomes).
L’essència de l’avaluació és donar respostes a preguntes sobre el funcionament i el rendiment dels programes i les polítiques públiques. Abans d’avaluar, Ivàlua i els responsables de les organitzacions que emprenen una avaluació han de concretar les preguntes d’avaluació, que són el nucli sobre el qual gira tota l’avaluació, tant en la fase de planificació com en la d’anàlisi, interpretació de resultats i redacció de l’informe. Seleccionar i concretar les preguntes d’avaluació és un moment crucial en el qual cal ser especialment selectiu i curós: només obtindrem les respostes que ens interessen si abans ens plantegem les preguntes que creiem més rellevants en relació amb la problemàtica que volem resoldre. Les preguntes d’avaluació es deriven del propòsit pel qual fem l’avaluació. Un cop definides es dissenya una avaluació a mida, tenint en compte un seguit d’aspectes com són la informació disponible, la maduresa de la política pública i la capacitat de l’entitat per fer ús de l’evidència que en resulti.
Existeixen diferents tipus d’avaluacions segons els propòsit que ens haguem plantejat:
- si una política dona resposta a un problema: avaluació de necessitats
- si està ben dissenyada: avaluació del disseny
- si es posa en marxa tal i com es va concebre: avaluació de la implementació
- si té un impacte concret sobre els seus participants i sobre el conjunt de la ciutadania: avaluació de l’impacte
- si els beneficis per a la societat associats a una política en compensen o no els seus costos: avaluació econòmica
És el tipus d’avaluació que analitza si la naturalesa, la magnitud i la distribució del problema o de la situació social justifica l’existència del programa i si el disseny del programa té en compte aquestes característiques: Quanta gent pateix una problemàtica específica? Quanta gent es preveu que la tingui en el futur? On són? Quins altres problemes tenen? Quin tipus i freqüència de servei necessiten? L’avaluació de necessitats és especialment oportuna com a primer pas per a la planificació d’un programa nou o en la reforma d’un de madur.
És el tipus d’avaluació que se centra en analitzar si la política pública o programa en qüestió estan ben dissenyats més enllà de la teoria del canvi formulada que no sempre és explícita ni unívoca; arribar a desxifrar-la també és el repte de l’avaluació del disseny: Quines hipòtesis constitueixen la teoria? Com són de raonables, factibles i apropiades aquestes hipòtesis? Quina hipòtesis és la més feble? Aquestes preguntes són oportunes com a pas previ per a qualsevol avaluació, per entendre i valorar els fonaments lògics de la intervenció pública abans d’avaluar-la. En la planificació d’un programa nou, aquest tipus d’avaluació permet valorar una proposta de disseny o determinar quin és el millor disseny possible entre diverses alternatives.
En el moment de la seva posada en pràctica, les polítiques i els programes s’ajusten a factors imprevistos, especificitats contextuals o criteris i preferències de les institucions i les persones que els han de dur a terme. La funció de l’avaluació de la implementació (o de procés) és determinar allò que el programa realment fa en comparació a les previsions del disseny: Els beneficiaris es corresponen amb la població objectiu? El personal és suficient i té la formació adequada? Les funcions administratives, organitzatives i de personal es gestionen adequadament? L’avaluació de la implementació permet valorar la consecució dels objectius operatius del programa i detectar si hi ha aspectes de l’operació que són especialment problemàtics. Aquest enfocament és molt adequat en programes recents, ja que en permet detectar problemes en els primers estadis de la posada en marxa i suggerir-ne mesures correctives. També és adequat en combinació amb l’avaluació de l’impacte, ja que, en cas que s’hi detectin impactes positius, permet corroborar que es deuen a terme al programa i, si no se’n troben, permet discernir si es deu a errors en la implementació o bé al fet que la teoria del canvi no era realista.
L’avaluació de l’impacte se centra a esbrinar si la intervenció efectivament mitiga el problema que li dona raó de ser: Un augment dels impostos sobre les begudes ensucrades envasades fa que la gent les consumeixi menys? La posada en marxa d’un programa de reforç escolar a l’estiu millora els resultats educatius de l’alumnat?
L’avaluació de l’impacte valora el grau de consecució dels objectius estratègics del programa. Com que l’evolució dels problemes socials és conseqüència de molts factors i l’objecte de diverses polítiques, l’interès de l’avaluació de l’impacte no és només mesurar canvis en la magnitud del problema, sinó aconseguir atribuir la causalitat d’aquests canvis al programa o a la política que s’avalua i identificar les raons plausibles d’allò que s’ha aconseguit i d’allò que pugui haver fallat. Aquest tipus d’avaluació és adequat en programes madurs i estables, amb una teoria del canvi clara i un període d’operació suficient perquè els impactes s’hagin començat a esdevenir. També és un tipus d’avaluació utilitzada per a programes que operen en llocs diferents, sota variants, estratègies o components diferents i en els quals l’interès se centra a determinar quina variant o quin component s’associa a un nivell d’impacte més alt.
El fet d’operar amb pressupostos limitats provoca que els decisors i els gestors públics es facin preguntes sobre l’eficiència de les intervencions que s’analitzen a través de l’avaluació econòmica: els impactes justifiquen els costos? Hi ha polítiques o formes de gestió alternatives que puguin tenir uns nivells de resultats similars amb un cost més baix? Les avaluacions econòmiques són adients per a programes madurs i ben establerts, dels quals hi hagi informació relativa als impactes amb la qual poder ponderar els costos. També poden servir per ponderar diferents alternatives de disseny en el moment de planificar una intervenció.
Per avaluar cal complir una sèrie de requisits que faran que l’avaluació i el resultat que se’n desprengui siguin útils per a la millora d’una determinada política pública. Per facilitar aquesta tasca, Ivàlua ha desenvolupat, en col·laboració amb el Departament de la Vicepresidència i d’Economia i Hisenda de la Generalitat de Catalunya el protocol d’avaluabilitat, una eina dirigida a professionals que tenen responsabilitat en les polítiques públiques i del tercer sector social útil a l’hora d’emprendre una avaluació. Aquest protocol serveix per garantir que una avaluació podrà generar coneixement de qualitat i útil per a la millora de la presa de decisions. El seu objectiu és contribuir a conèixer millor les condicions d’avaluabilitat d’una determinada política, així com ajudar a prioritzar i planificar les avaluacions que tindran una major utilitat.
El coneixement general sobre el món de l’avaluació, la seva pràctica i l’ús de l’evidència que se’n desprèn en un context concret que s’aconsegueix a través del foment i la realització d’avaluacions de polítiques públiques, la capacitació en matèria d’avaluació dels responsables i tècnics decisors de les polítiques públiques i la conscienciació de la societat en relació a la necessitat d’avaluar. En els entorns en què hi ha una cultura de l’avaluació consolidada l’avaluació és una fase més del cicle de generació de política pública.
El cos disponible de coneixement que ens ajuda a saber si una creença que tenim és certa. En el cas de les polítiques públiques, és el conjunt de resultats que es deriva de respondre a les preguntes d’avaluació plantejades sobre intervencions concretes. Per poder parlar d’evidència, cal però que aquesta s’hagi generat amb mètodes rigorosos i sota criteris d’independència.
Es tracta de polítiques públiques que han estat creades o bé modificades tenint en compte l’evidència disponible en relació a la mateixa política pública o similar del mateix o d’altres entorns equiparables amb l’objectiu d’ajudar a millorar-ne el disseny, la implementació, l’eficàcia o l’eficiència.
A més de crear evidència amb la realització de les nostres pròpies avaluacions, a Ivàlua sintetitzem l’evidència generada a casa nostra com arreu per aportar coneixement sobre temàtiques concretes i elaborem materials de difusió útils per als tècnics i decisors públics.
Ivàlua realitza revisions d’evidència en diferents àmbits rellevants en el món de les polítiques públiques per recollir i sintetitzar les evidències existents en el nostre i altres entorns amb l’objectiu que informin la pràctica professional i la presa de decisions sobre problemàtiques concretes. Les síntesis de l’evidència permeten aprendre d’experiències que ja han estat avaluades prèviament en diferents contextos i aporten informació rellevant sobre quin tipus d’intervencions existeixen per donar resposta a una problemàtica concreta, quines d’elles s’han demostrat efectives i quines podrien ser-ho en el nostre context.
Els projectes Què funciona?, inspirats en els What Works del context anglosaxó, són iniciatives que es dediquen a l’obtenció i difusió d’evidència sobre determinades àrees de polítiques públiques. A partir de la realització de revisions sistemàtiques de les avaluacions de programes i polítiques s'identifiquen aquelles intervencions que han estat més efectives en determinades temàtiques i aquelles que, per contra, no aporten valor. L’objectiu d’aquestes iniciatives és posar aquest coneixement a disposició dels professionals i decisors públics.
Ivàlua té en marxa aquests projectes temàtics:
- Què funciona en educació? / Iniciativa conjunta d’Ivàlua en col·laboració amb la Fundació Jaume Bofill
A Ivàlua oferim un servei d’assessorament tècnic a les administracions públiques i a les entitats sense ànim de lucre interessades en avaluar o a millorar l’avaluabilitat dels seus programes i polítiques que no compten amb l’expertesa per fer-ho de manera autònoma. Aquests assessoraments poden prendre la forma de sessions amb els tècnics de l’entitat, reunions regulars per detectar finestres d’oportunitat per fer avaluacions o millorar l’avaluabilitat de la política, seminaris temàtics enfocats a plantejar avaluacions sobre una política concreta o el desenvolupament d’eines i materials de suport per facilitar la incorporació de l’avaluació en el si de l’organització
A Ivàlua realitzem activitats formatives pròpies sobre avaluació i avaluabilitat de polítiques públiques, així com també participem en programes de formació d’altres organismes sobre avaluació de polítiques públiques.
També generem coneixement, informació i materials formatius que permetin a les administracions públiques, a les entitats sense ànim de lucre i a la societat en general familiaritzar-se amb l’anàlisi i l’avaluació de polítiques públiques.
L'orientació que donem a la nostra formació és eminentment pràctica, amb l’interès que les persones que la reben puguin transferir aquest coneixement al seu lloc de treball, de la millor manera possible i amb el major grau d’eficàcia. Volem que el retorn de la formació adquirida en avaluació de polítiques públiques sigui visible i pràctic. A més, desenvolupem guies, manuals i documentació de referència per a donar suport a les nostres activitats de formació.
Ivàlua és la primera i única institució pública dedicada exclusivament a l’avaluació de polítiques públiques a Catalunya des de qualsevol àmbit temàtic i es per caracteritza per tenir:
- Equip multidisciplinari d’experts en metodologies d’avaluació de polítiques públiques.
- Relació directa amb les administracions.
- Ampli coneixement del context local i les polítiques públiques que es duen a terme a Catalunya.
- Ús de mètodes qualitatius i quantitatius.
- Suport d’experts procedents del món universitari i professionals independents
La Teoria del canvi d’Ivàlua parteix de la següent constatació:
- Es dediquen cada any molts recursos en la posada en marxa de polítiques públiques.
- S’esmercen en canvi molts pocs esforços a conèixer quines d’aquestes polítiques responen a una necessitat, es dissenyen o es posen en marxa correctament i si aquestes funcionen.
Així doncs, l’avaluació és la millor forma de generar coneixement per a una presa de decisions més informada i de conèixer diferents aspectes sobre una política pública. Per aquest motiu Ivàlua:
- Realitza avaluacions per aportar noves evidències que ajudin a millorar l’eficàcia i eficiència de les polítiques i programes.
- Contribueix a situar l’evidència com a element rellevant en la seva presa de decisions de les administracions públiques i el tercer sector social.
- Fa difusió dels coneixements i recursos existents per capacitar les organitzacions i facilitar la incorporació de l’avaluació en el seu funcionament.