Vés al contingut

Els usos de les avaluacions d’Ivàlua per part de les administracions públiques han augmentat i tenen més impacte en la presa de decisions

Jornada Avaluació Balaguer

  • L'anàlisi de l’ús de les avaluacions realitzades per Ivàlua entre 2008 i 2020 constata que des de 2016 pràcticament la totalitat de les avaluacions incideixen en modificar aspectes concrets de la implementació de la política.

  • Ivàlua cada cop avalua més intervencions de la Generalitat de Catalunya que representen un major pressupost en relació a la despesa total de l'administració catalana (+5% al 2021) i que beneficia a més persones usuàries (+ 2 M al 2021-22).

  • Els informes d’Ivàlua a través dels seus resultats i recomanacions permeten modificar aspectes relacionats amb el disseny de la política, la seva implementació i també afavorir la cultura de l'avaluació dins l'organització.

 

Ivàlua ha analitzat l’ús de les avaluacions realitzades al llarg del període 2008-2020 per conèixer l’evolució que ha experimentat en la millora de les polítiques públiques avaluades i en la incorporació de la cultura de l’avaluació a les organitzacions. Des del 2016 ha augmentat més l’ús instrumental de les avaluacions, és a dir quan serveixen per modificar les intervencions, i l’ús conceptual, que es dona quan implica millorar la comprensió de la política sense modificació i informar el debat públic, en relació amb els usos simbòlics cada cop menys representatius. El 40% de les avaluacions realitzades entre 2016 i 2020 tenen usos instrumentals, un 16% més que en les avaluacions analitzades en el període 2008-2015.

D’altra banda, també s’ha estudiat el pes econòmic de les avaluacions realitzades per Ivàlua d’intervencions de la Generalitat de Catalunya relacionant el pressupost de les intervencions avaluades en relació al pressupost total de la Generalitat. Ivàlua avalua cada cop més avaluacions d’intervencions més grans i que econòmicament suposen més recursos públics. En el període 2019-2023, Ivàlua va avaluar polítiques públiques amb un pressupost superior al 3% dels total de la Generalitat; més del 5% l’any 2021 a causa de la magnitud dels ajuts COVID.

Aquesta anàlisi va ser presentada pel director executiu d’Ivàlua, Marc Balaguer, a la Jornada L’avaluació com a eina de millora de les polítiques públiques organitzada pel Departament d’Economia i Hisenda el passat 22 de setembre.

 

Augment de l’ús de les avaluacions

L’anàlisi realitzat entre els anys 2008-2023 permet veure una evolució favorable dels usos de les avaluacions en el darrer període 1016-23 en què s’incrementa la identificació dels usos instrumentals de les avaluacions fins al 40% (25% entre 2008-15) i es redueixen al 16% les avaluacions amb un ús molt limitat (21% entre 2008-15) i a un 7% els mals usos o usos simbòlics (24% entre 2008-15).

Pel que fa als usos instrumentals, que es donen en les avaluacions que impliquen modificació de les intervencions, des del 2016 han servit per reproduir o expandir la política (20%), reduir o tancar la política (15%), generar una nova política (5%) o modificar la política existent (15%).

D’altra banda, pràcticament la totalitat de les avaluacions incideixen en modificar aspectes concrets de la implementació de la política, en molts casos derivats de les recomanacions de l’avaluació, a través d’usos conceptuals, els que impliquen millorar la comprensió de la política sense modificació i informar el debat públic com: informar pel redisseny de la intervenció, legitimar la política, impulsar noves avaluacions, introduir millores en els sistemes d’informació o contribuir a l’aprenentatge organitzacional.

Finalment, els usos simbòlics, que corresponen a avaluacions fetes per imperatiu normatiu o intencions justificatives, són cada vegada menys representatius.

Aspectes de la institucionalització de l’avaluació com l’assessorament a les organitzacions i l’establiment de relacions a llarg termini per part d’Ivàlua contribueixen a incorporar millor l’avaluació al cicle de les polítiques públiques. També ho afavoreix que els informes d’avaluació, i especialment les seves recomanacions, estiguin cada cop més orientades a modificar aspectes de la implementació de la política i a afavorir la cultura de l'avaluació dins l'organització.

 

Importància econòmica de les polítiques de la Generalitat avaluades

També s'ha analitzat específicament les avaluacions realitzades per Ivàlua de polítiques públiques de la Generalitat de Catalunya en el període 2008-23. De les 44 avaluacions realitzades de 33 polítiques públiques diferents, 30 corresponen a polítiques redistributives (de les quals 25 polítiques de despesa amb un pressupost de 12.630 M d’euros i 5 polítiques d’ingressos per valor de 787 M d’euros) i 3 a polítiques reguladores. Entre les polítiques més destacades a nivell pressupostari dels darrers anys que s’han avaluat cal destacar intervencions com els Ajuts COVID (1.038 M €) i la Renda Garantida de Ciutadania (526 M €).

S’evidencia una evolució cap a avaluar cada cop polítiques públiques de la Generalitat de Catalunya més rellevants a nivell pressupostari i que suposen en termes agregats un percentatge cada cop més gran respecte el pressupost total d’aquesta administració. Des del 2019 les polítiques de despesa avaluades representen més 3% del total del pressupost (per sobre del 5% al 2021 per l’avaluació dels ajuts COVID). D’altra banda, Ivàlua avalua cada cop més polítiques d’ingressos, referents a diferents polítiques d’impostos com els que graven els grans establiments comercials (IGEC); els habitatges buits (IHB); les estades en establiments turístics (IEET), i l’emissió d’òxids de nitrogen a l’atmosfera produïda per l’aviació comercial. Es preveu que en els propers 10 anys la totalitat dels tributs propis de la Generalitat de Catalunya estiguin avaluats.

Relacionant la dimensió pressupostària de les polítiques avaluades en termes de pressupost amb el seu ús es pot observar que entre el 2008 i el 2020 les avaluacions realitzades han generat modificacions en polítiques públiques que suposen un pressupost total de 4.184 M € i han millorat la comprensió de polítiques que suposen un pressupost total acumulat de 11.041 M €. En global, el nombre dels usuaris acumulats de les intervencions avaluades per Ivàlua van superar els 1,5 M l’any 2020 i els 2 M els anys 2021 i 2022. També s’han dimensionat les persones usuàries de les polítiques de despesa avaluades (universals i focalitzades) que han beneficiat a 9885 persones adultes, 453.581 infants i joves, 609.982 famílies, llars i habitatges i 37.428 empreses i autònoms.

 

Conclusions

De l’anàlisi se n’extreuen les següents conclusions pel que fa a la institucionalització i ús de l’avaluació:

  • Importància de conèixer els usos de les avaluacions: Cal conèixer els usos de les avaluacions per avaluar a qui avalua i per millorar l’avaluació i en aquesta tasca és important seguir sistematitzant-ne el seguiment de l'ús.

  • Factors que determinen els usos: La formació, l’organització de jornades o la comunicació de l'avaluació milloren el seu ús. També hi contribueix estrènyer els vincles amb el món de la recerca i posar de relleu la rellevància de la gestió.

  • Els usos milloren amb marcs institucionals adequats: Els resultats mostren relació positiva entre iniciatives d’institucionalització i usos. Iniciatives de la Generalitat de Catalunya com el COAVA, el CIAVA i el PROAVA ajuden a arrelar la cultura de l’avaluació i milloren els seus usos. És important seguir avançant en el desplegament d’iniciatives d’institucionalització i potser amb reformes legals com fan altres CCAA i a nivell estatal.

  • Cap a un sistema català d’avaluació? L’articulació de les iniciatives existents i el seu vincle amb la recerca i la societat és crucial per avançar cap a un sistema d’avaluació a Catalunya. Això permetria avançar cap a unes millors polítiques, unes administracions més eficients i un major benestar social.

 

Enllaços: