FF 2023 www.fedlex.admin.ch La versione elettronica firmata è quella determinante
Misurazione dell'efficacia nel contesto della cooperazione internazionale Rapporto della Commissione della gestione del Consiglio degli Stati del 14 novembre 2023
2023-3465
FF 2023 2893
FF 2023 2893
L'essenziale in breve Riunitesi il 25 gennaio 2022 le Commissioni della gestione delle Camere federali (CdG) hanno deciso di condurre un'ispezione sulla misurazione dell'efficacia nel contesto della cooperazione internazionale (CI) e incaricato il Controllo parlamentare dell'amministrazione (CPA) di effettuare un'indagine in merito, limitando l'oggetto di quest'ultima allo strumento della valutazione. Nell'ambito delle valutazioni è opportuno distinguere tra le valutazioni cosiddette «esterne», che vengono utilizzate principalmente a livello di progetto per gestire i progetti valutati, e quelle «indipendenti», che servono ai quadri come base per le loro decisioni strategiche.
Sulla base dei lavori del CPA, la Commissione della gestione del Consiglio degli Stati (CdG-S) è giunta in particolare alle conclusioni positive seguenti: i costi delle valutazioni sono allestiti in modo trasparente e sono contenuti; le valutazioni indipendenti sono di buona qualità e vengono utilizzate al livello appropriato; gli strumenti e i processi interni per gestire le valutazioni sono in parte appropriati e l'Amministrazione per un certo verso ne fa uso in maniera adeguata.
Secondo la CdG-S questo non significa tuttavia che non si debbano apportare alcune correzioni sostanziali nella misurazione dell'efficacia nel contesto della CI. In primo luogo, così come sono attualmente concepite, le valutazioni esterne si prestano solo parzialmente alla misurazione dell'efficacia e alla gestione a livello di progetto, dato che nei rapporti di valutazione esterna la presentazione della metodologia e dei risultati nonché la formulazione delle raccomandazioni non sono ottimali. Inoltre, l'attuazione delle raccomandazioni non è oggetto di un'elaborazione successiva sistematica. In secondo luogo, così come sono attualmente concepite, le valutazioni esterne non consentono di stabilire se il progetto valutato contribuisce al raggiungimento degli obiettivi sovraordinati della CI. In terzo luogo, l'utilizzo delle valutazioni per riferire al Parlamento e all'opinione pubblica è inadeguato e i tassi di riuscita cui fa riferimento il Consiglio federale nei rapporti finali sull'attuazione della strategia CI per dimostrare l'efficacia di quest'ultima non sono né trasparenti, né rappresentativi, né affidabili.
La CdG-S trae dunque le seguenti
conclusioni: occorre uniformare gli strumenti e i processi utilizzati per gestire le valutazioni sfruttando le sinergie tra le unità amministrative esaminate. Inoltre, è necessario adottare misure per migliorare la qualità delle valutazioni esterne così da poterle impiegare per la gestione a livello di progetto. Infine, il Consiglio federale deve adeguare il suo modo di rendere conto al Parlamento e all'opinione pubblica mediante tassi di riuscita, informandoli in futuro in modo trasparente e rappresentativo sull'efficacia della CI.
Il Consiglio federale è invitato a esprimere un parere sulle sei raccomandazioni della CdG-S entro il 21 febbraio 2024.
2 / 18
FF 2023 2893
Rapporto 1
Introduzione
1.1
Situazione iniziale
La CI della Svizzera persegue lo scopo sancito nella Costituzione di contribuire ad aiutare le popolazioni nel bisogno e a lottare contro la povertà nel mondo, a far rispettare i diritti umani e a promuovere la democrazia, ad assicurare la convivenza pacifica dei popoli nonché a salvaguardare le basi naturali della vita (art. 54 cpv. 2 Cost.1).
La strategia CI del Consiglio federale copre tre ambiti2 disciplinati da diverse leggi federali3: la cooperazione allo sviluppo, l'aiuto umanitario e la promozione della pace e della sicurezza umana. La sua attuazione compete a tre unità amministrative di due dipartimenti:
la cooperazione allo sviluppo compete alla Direzione dello sviluppo e della cooperazione (DSC) del Dipartimento federale degli affari esteri (DFAE) nonché alla Segreteria di Stato dell'economia (SECO) del Dipartimento federale dell'economia, della formazione e della ricerca (DEFR);
l'aiuto umanitario è di pertinenza della DSC; e
la promozione della pace e della sicurezza umana spetta alla Divisione Pace e diritti umani (DPDU)4 del DFAE.
Queste unità sostengono numerosi progetti della CI.
Il Consiglio federale è tenuto per legge a vigilare sull'utilizzazione efficace dei mezzi finanziari stanziati per la CI, a effettuare valutazioni periodiche e a riferire all'Assemblea federale su ogni periodo di credito5. Ogni quattro anni presenta al Parlamento un messaggio6 che illustra la strategia CI della Svizzera, insieme alla richiesta dei relativi crediti quadro. La strategia CI 20212024 prevede un budget di 11,25 miliardi di franchi, suddivisi tra i tre settori e le unità amministrative. Per garantire che queste risorse siano impiegate in modo mirato, è essenziale misurare l'impatto dei progetti finanziati. La misurazione dell'efficacia della CI non è quindi soltanto un modo per migliorare i progetti e la gestione della CI, è anche un modo per rendere conto al Parlamento e all'opinione pubblica.
1 2 3
4 5 6
Costituzione federale del 18 apr. 1999 (Cost.; RS 101).
Strategia CI 20212024 (FF 2020 2313).
Legge federale del 19 mar. 1976 sulla cooperazione allo sviluppo e l'aiuto umanitario internazionali (RS 974.0; di seguito «legge CaS-AU»); legge federale del 30 sett. 2016 sulla cooperazione con gli Stati dell'Europa dell'Est (RS 974.1; di seguito «legge Est»); legge federale del 19 dic. 2003 su misure di promozione civile della pace e di rafforzamento dei diritti dell'uomo (RS 193.9; di seguito «legge Sicurezza umana»).
Già Divisione Sicurezza umana (DSU).
Art. 9 cpv. 3 «legge CaS-AU», art. 17 «legge Est», art. 5 «legge Sicurezza umana».
Messaggio del 19 feb. 2020 concernente la strategia di cooperazione internazionale 20212024 (Strategia CI 20212024; FF 2020 2313).
3 / 18
FF 2023 2893
Nei rapporti finali7 sull'attuazione del messaggio concernente la strategia CI il Consiglio federale presenta tassi di riuscita superiori alla media internazionale. Essi sono calcolati sulla base di valutazioni. È essenziale che la qualità di queste valutazioni sia sufficiente per trarre conclusioni affidabili sul raggiungimento degli obiettivi. Secondo il CPA, la qualità delle valutazioni esterne è stata criticata in diverse occasioni e il loro utilizzo nel gestire i progetti e la CI nel suo complesso e nel riferire al Parlamento e all'opinione pubblica è stato messo in discussione8.
In considerazione di quanto sopra, il 25 gennaio 2022 le CdG hanno deciso di avviare un'ispezione e di incaricare il CPA di valutare la misurazione dell'efficacia nel contesto della cooperazione allo sviluppo.
1.2
Oggetto dell'indagine
La sottocommissione DFAE/DDPS della CdG-S è stata incaricata di svolgere l'ispezione. Riunitasi il 23 maggio 2022, ha deciso che il CPA avrebbe dovuto chiarire le questioni seguenti:
Le valutazioni nel contesto della CI sono qualitativamente buone?
Le valutazioni sono utilizzate in modo appropriato per gestire la CI e riferire al Parlamento e all'opinione pubblica?
I costi delle valutazioni sono appropriati?
La sottocommissione ha pertanto incaricato il CPA di esaminare non l'efficacia della CI ma il modo in cui le unità amministrative interessate, i dipartimenti o il Consiglio federale misurano l'efficacia della CI e ne rendono conto per il tramite di valutazioni.
Nel contesto della CI, l'efficacia esprime la «misura in cui gli obiettivi di un intervento di sviluppo sono stati raggiunti o si prevede che possano essere raggiunti»9.
Così facendo, la sottocommissione ha limitato il mandato conferito al CPA a un unico strumento di misurazione dell'efficacia della CI, ossia la valutazione. Quest'ultima, in quanto strumento, è un'analisi approfondita riguardo a un determinato periodo di tempo e basata su metodi scientifici. È il principale strumento di misurazione dell'efficacia, poiché consente di stabilire un rapporto di causa-effetto tra un progetto e gli effetti osservati10. Altri strumenti di misurazione dell'efficacia della CI, come il monitoraggio11 o il controlling12, non consentono di stabilire tale nesso causale13. Per questo motivo la sottocommissione ha limitato il mandato conferito al CPA alle valutazioni e non ha quindi esaminato né il monitoraggio né il controlling. Né sono state 7 8 9 10 11 12 13
DSC, SECO, DSU (2020), La cooperazione internazionale della Svizzera è efficace.
Rapporto finale sull'attuazione del messaggio 20172020 (Rapporto finale 2020).
Rapporto del CPA del 27 apr. 2023, n. 1.3, pag. 10 e n. 4.4, pag. 38.
Rapporto del CPA del 27 apr. 2023, n. 2.2, pag. 13.
Rapporto del CPA del 27 apr. 2023, n. 2.2, pag. 13.
Strumento di osservazione che consiste nella raccolta di dati comparabili su base permanente, sistematica e di routine.
Strumento di direzione che consente di incidere continuativamente sui processi di conseguimento degli obiettivi.
Rapporto del CPA del 27 apr. 2023, n. 1.3, pag. 10.
4 / 18
FF 2023 2893
studiate le valutazioni d'impatto, che si basano su metodi sperimentali. Il CPA ha esaminato le valutazioni delle tre unità amministrative interessate per il periodo 2018 202014.
Per quanto riguarda le valutazioni condotte nell'ambito della CI svizzera, occorre distinguere tra valutazioni cosiddette «esterne» e «indipendenti» (terminologia dell'Amministrazione federale); va notato che le unità amministrative non effettuano direttamente questi due tipi di valutazione, ma li commissionano a specialisti esterni15.
Il CPA ha esaminato i due tipi di valutazione:
le valutazioni esterne sono commissionate dai responsabili di progetto. Vengono utilizzate innanzitutto a livello di progetto, per gestire i progetti valutati;
le valutazioni indipendenti sono commissionate dalle unità di valutazione della DSC, della SECO e della DPDU, che sono indipendenti dai responsabili di progetto. Le valutazioni indipendenti servono come base per le decisioni strategiche dei quadri16.
Nel presente rapporto si distingue tra valutazioni esterne e valutazioni indipendenti.
Quando si parla di «valutazioni», si intendono entrambe.
Riunitasi il 9 maggio 2023, la sottocommissione ha esaminato il rapporto finale del CPA e deciso di elaborare il presente rapporto all'attenzione della CdG-S.
Il 14 novembre 2023 la CdG-S ha adottato il presente rapporto, unitamente alle raccomandazioni ivi contenute, e lo ha sottoposto per parere al Consiglio federale. La CdG-S ha inoltre deciso di pubblicare il presente rapporto insieme a quello del CPA e ai relativi allegati. Qui di seguito la CdG-S valuta le principali constatazioni espresse dal CPA e, basandosi su di esse, formula sei raccomandazioni all'attenzione del Consiglio federale.
2
Constatazioni e raccomandazioni
Il presente capitolo contiene le constatazioni e le raccomandazioni della CdG-S, che si basano sulle conclusioni del CPA.
2.1
Constatazioni generali del CPA
Nel suo rapporto, il CPA giunge alla conclusione che il ricorso alle valutazioni per misurare l'efficacia della CI è utile solo in parte. I costi delle valutazioni sono trasparenti e relativamente contenuti. La qualità delle valutazioni esterne presenta punti di forza e di debolezza. Gli strumenti per gestire le valutazioni e garantirne la qualità sono per lo più adeguati, ma disponibili in numero variabile a dipendenza dell'unità considerata. Nel complesso, le valutazioni sono utilizzate in modo appropriato per la gestione ai vari livelli e i responsabili di progetto apprezzano le valutazioni esterne 14 15 16
Sull'esatto procedere del CPA cfr. rapporto del CPA del 27 apr. 2023, n. 1.2, pag. 8 seg.
Rapporto del CPA del 27 apr. 2023, n. 2.2, pag. 13 seg.
Rapporto del CPA del 27 apr. 2023, n. 2.2, pag. 13 seg.
5 / 18
FF 2023 2893
per gestire i loro progetti. Tuttavia, l'elaborazione successiva delle raccomandazioni formulate nelle valutazioni esterne presenta delle lacune. Inoltre, le valutazioni esterne non tengono sufficientemente conto di quanto il progetto valutato contribuisca al raggiungimento degli obiettivi della CI. Infine, l'utilizzo delle valutazioni per riferire al Parlamento e all'opinione pubblica è inadeguato, in particolare per quanto riguarda i tassi di riuscita pubblicati17.
2.2
Costi delle valutazioni
Il CPA ha esaminato i costi di tutte le valutazioni esterne e indipendenti condotte dalle tre unità DSC, SECO e DPDU dal 2018 al 2020. Va sottolineato tuttavia che essi rappresentano le spese sostenute per l'esternalizzazione delle valutazioni, dunque non tengono conto dei costi interni all'Amministrazione, né di benefici correlati all'utilizzo delle valutazioni, come i risparmi realizzati grazie a incrementi dell'efficienza in seguito a una valutazione18.
Una valutazione indipendente, che costa tra i 22 500 e 333 200 franchi (costo medio = 138 000 fr.), è più cara di una valutazione esterna, che richiede tra i 4700 e i 114 700 franchi (costo medio = 34 000 fr.). Nelle tre unità in esame, i costi delle valutazioni esterne rappresentano tra lo 0,8 e il 2,5 per cento dei costi dei progetti valutati19.
Il CPA giunge alla conclusione che i costi delle valutazioni sono generalmente contenuti e indicati in modo trasparente20. La CdG-S se ne compiace.
2.3
Utilizzo delle valutazioni indipendenti per la gestione strategica
Il CPA ha osservato che le valutazioni indipendenti al pari di quelle esterne (cfr.
n. 2.5.1) sono state generalmente utilizzate al livello appropriato, ossia a quello strategico. Inoltre, i quadri delle tre unità amministrative in esame intervistati dalla CPA ritengono che, anche se i risultati delle valutazioni indipendenti raramente forniscono loro nuove informazioni, il loro valore aggiunto è innegabile. A loro avviso, questa forma di perizia esterna consente di sostenere importanti decisioni strategiche e rafforza l'apprendimento istituzionale. Inoltre, il CPA ha rilevato che l'Amministrazione ha sistematicamente elaborato un parere sulle raccomandazioni contenute nelle valutazioni indipendenti e che le unità di valutazione hanno effettuato un controllo successivo sistematico dell'attuazione di tali raccomandazioni. Per questi motivi il CPA giunge alla conclusione che l'utilizzo delle valutazioni indipendenti per la gestione strategica è adeguato, soprattutto per quanto riguarda l'adattamento dei programmi e l'organizzazione della CI21.
17 18 19 20 21
Rapporto del CPA del 27 apr. 2023, n. 6, pag. 3134.
Rapporto del CPA del 27 apr. 2023, n. 5.1, pag. 29.
Rapporto del CPA del 27 apr. 2023, n. 5.1 e 5.2 pag. 2931. Non è possibile calcolare questa percentuale per le valutazioni indipendenti, poiché non sono legate ai progetti.
Rapporto del CPA del 27 apr. 2023, n. 5, pag. 2931.
Rapporto del CPA del 27 apr. 2023, n. 4.2, pag. 24 seg.
6 / 18
FF 2023 2893
La CdG-S si allinea al parere del CPA. Accoglie con favore la qualità e l'utilizzo appropriato delle valutazioni indipendenti, che consentono di gestire la CI a livello strategico.
2.4
Qualità delle valutazioni esterne. Capitolati d'oneri per l'assegnazione delle valutazioni; strumenti e processi per la gestione delle valutazioni e l'assicurazione della qualità
Il capitolato d'oneri utilizzato per assegnare le valutazioni rappresenta il documento di base del contratto con i mandatari esterni. Per questa ragione deve essere redatto con precisione e in particolare indicare i criteri di valutazione dell'efficacia del progetto considerato, gli obiettivi e le domande di valutazione, la metodologia prevista nonché le realizzazioni attese e il calendario. Diversi studi e interviste condotte dal CPA confermano il legame tra la qualità dei capitolati d'oneri e quella delle valutazioni22.
Inoltre, dal momento che non realizza direttamente le valutazioni esterne né quelle indipendenti, l'Amministrazione utilizza strumenti (ad es. linee guida, manuali, istruzioni) per gestire le valutazioni e assicurarne la qualità. La qualità e l'utilizzo appropriato di tali strumenti sono quindi altrettanto importanti.
2.4.1
I risultati del CPA
Il CPA ha concluso che la qualità dei capitolati d'oneri dei tre servizi federali esaminati era ampiamente soddisfacente. Anche se la qualità delle diverse parti dei capitolati d'oneri variava a seconda dell'unità amministrativa esaminata, il CPA ha riscontrato che l'Amministrazione dispone in generale delle competenze necessarie per adempiere il compito essenziale: di redigere i capitolati d'oneri.
Per quanto riguarda gli strumenti e i processi dell'Amministrazione per la gestione delle valutazioni e l'assicurazione della qualità, il CPA giunge a conclusioni diverse a seconda del servizio federale esaminato. Fra le tre unità amministrative prese in esame, la DSC è quella che dispone del maggior numero di documenti relativi all'assicurazione della qualità e alla gestione delle valutazioni. Questi strumenti sono inoltre formulati in modo chiaro e di facile utilizzo; tuttavia, affrontano solo superficialmente il tema del rapporto tra un progetto e le strategie e gli obiettivi sovraordinati della CI. Inoltre, non sono sufficientemente diffusi tra i collaboratori e i responsabili di progetto non hanno le competenze necessarie per assicurare la qualità delle valutazioni esterne. Anche se queste carenze sono in parte compensate dal supporto fornito dalle unità di valutazione, l'uso degli strumenti all'interno della DSC è generalmente inadeguato23.
22 23
Rapporto del CPA del 27 apr. 2023, n. 3.1, pag. 15 seg.
Rapporto del CPA del 27 apr. 2023, n. 3.4, pag. 20 seg.
7 / 18
FF 2023 2893
I documenti della SECO concernenti l'esecuzione delle valutazioni e l'assicurazione della loro qualità sono chiari e di facile utilizzo; il numero di strumenti disponibili sembra appropriato. Come nel caso della DSC, però, anche gli strumenti della SECO affrontano solo superficialmente la questione del collegamento tra i progetti valutati e gli obiettivi della CI. Nella gestione delle valutazioni emergono inoltre determinate sovrapposizioni e parallelamente i responsabili di progetto sono limitati in questo compito per la mancanza di tempo24.
La DPDU ha a disposizione un numero di strumenti notevolmente inferiore rispetto alle altre due unità. Inoltre, i documenti non sono molto dettagliati. Tuttavia, alcuni documenti della DPDU fanno riferimento, in modo più esplicito rispetto a quelli delle altre due unità, al collegamento tra un progetto e gli obiettivi e le strategie della CI. Il CPA ritiene che gli strumenti della DPDU siano insufficienti, pur riconoscendo che l'unità rappresenta un caso particolare in quanto dispone di un budget e di risorse umane molto inferiori rispetto alla DSC e alla SECO e il suo personale ha poca esperienza nella gestione dei progetti25.
2.4.2
Valutazione da parte della CdG-S
La CdG-S osserva che la situazione è molto diversa nelle tre unità amministrative in esame a livello di capitolati d'oneri per l'assegnazione delle valutazioni nonché a livello di strumenti e processi per la gestione delle valutazioni e l'assicurazione della qualità. Sebbene il CPA abbia rilevato aspetti positivi in tutte e tre le unità, la Commissione ritiene che i capitolati d'oneri, gli strumenti e i processi relativi alle valutazioni nel contesto della CI della Svizzera possano essere migliorati. Inoltre, la CdG-S conclude che le tre unità amministrative in esame, nonostante le loro differenze, si trovano ad affrontare problemi e questioni simili per quanto riguarda la gestione e l'assicurazione della qualità delle valutazioni. Per questo motivo, ritiene che vi sia un grande potenziale di sinergie, scambi reciproci di conoscenze ed esperienze, e quindi di risultati in materia di apprendimento, non soltanto tra i responsabili di progetto all'interno di ciascuna unità, ma anche e soprattutto tra i responsabili di progetto e tra le unità di valutazione delle varie unità amministrative in esame. Questo aspetto dovrebbe riguardare in particolare la DSC e la DPDU, che fanno parte dello stesso dipartimento. Secondo la Commissione, le unità amministrative interessate dovrebbero disporre di standard comuni per la gestione delle valutazioni. La CdG-S formula pertanto la seguente raccomandazione al Consiglio federale:
24 25
Rapporto del CPA del 27 apr. 2023, n. 3.4, pag. 21 seg.
Rapporto del CPA del 27 apr. 2023, n. 3.4, pag. 22.
8 / 18
FF 2023 2893
Raccomandazione 1
Rafforzare la cooperazione e le sinergie nella gestione delle valutazioni nel contesto della CI
Il Consiglio federale è invitato a migliorare, sfruttando le sinergie tra la DSC, la SECO e la DPDU, la qualità dei capitolati d'oneri per l'assegnazione delle valutazioni, nonché i processi e gli strumenti per la gestione delle valutazioni e l'assicurazione della qualità, e a stabilire standard minimi comuni. Inoltre, il Consiglio federale è invitato a rafforzare e istituzionalizzare la collaborazione e lo scambio di conoscenze ed esperienze tra le suddette unità amministrative in questi settori.
2.5
Qualità delle valutazioni esterne utilizzo delle valutazioni esterne per la gestione a livello di progetto
La decisione di utilizzare, e se sì in che modo, un rapporto di valutazione esterna per gestire e migliorare l'efficacia del progetto valutato dipende tra l'altro dalla qualità con cui sono formulati sintesi e parte introduttiva del rapporto stesso nonché i capitoli dedicati alla situazione iniziale, alle conclusioni e alle raccomandazioni26.
Inoltre la presentazione della metodologia e dei risultati di un rapporto di valutazione è essenziale per riferire in modo attendibile sull'efficacia dei progetti27.
2.5.1
I risultati del CPA
Il CPA ha innanzitutto rilevato che le valutazioni esterne come pure quelle indipendenti (cfr. n. 2.3) vengono fondamentalmente utilizzate al livello appropriato e dunque in modo appropriato. Questo significa che le valutazioni esterne sono utilizzate quasi esclusivamente per la gestione dei progetti valutati e non per prendere decisioni a livello strategico28. Inoltre i collaboratori interpellati delle tre unità amministrative considerate hanno dichiarato di apprezzare l'utilizzo di valutazioni esterne per la gestione dei loro progetti29.
Per quanto riguarda le singole parti dei rapporti di valutazione esterna, il CPA ha constatato che le sintesi, le parti introduttive e l'analisi della situazione iniziale e infine le conclusioni e le raccomandazioni contenuti nei rapporti di valutazione sono perlopiù soddisfacenti se non molto soddisfacenti. Pertanto, i rapporti sono nel complesso comprensibili. Tuttavia, le raccomandazioni formulate nei rapporti di valutazione esterna appaiono troppo astratte. Raramente sono rivolte a destinatari specifici, non fissano priorità e non indicano i tempi di attuazione30.
26 27 28 29 30
Rapporto del CPA del 27 apr. 2023, n. 3.2, pag. 16.
Rapporto del CPA del 27 apr. 2023, n. 3.3, pag. 18.
Rapporto del CPA del 27 apr. 2023, n. 4.1, pag. 23.
Rapporto del CPA del 27 apr. 2023, n. 4.1, pag. 23.
Rapporto del CPA del 27 apr. 2023, n. 3.2, pag. 1618.
9 / 18
FF 2023 2893
Il CPA è inoltre giunto alla conclusione che l'attuazione delle raccomandazioni formulate sulla base delle valutazioni esterne non viene monitorata in modo sufficiente.
L'Amministrazione non elabora sistematicamente un parere in merito alle raccomandazioni e la loro attuazione non è regolarmente oggetto di un controllo successivo31.
Per questi motivi e dato che la formulazione delle raccomandazioni è insufficiente (cfr. sopra) non è chiaro in che misura le valutazioni esterne contribuiscano a migliorare i progetti della CI32.
Inoltre, nei rapporti di valutazione esterna la presentazione della metodologia è insufficiente al punto tale da non permettere di valutarne la qualità e l'affidabilità. A ciò si aggiunge che i rapporti che descrivono in modo insufficiente la metodologia mostrano anche una presentazione dei risultati insoddisfacente. Nel complesso non si presta abbastanza attenzione all'impatto e alla sostenibilità dei progetti a lungo termine, che costituiscono due dei criteri di valutazione (gli altri criteri considerati dal CPA sono rilevanza, efficacia ed efficienza dei progetti)33 del Comitato di aiuto allo sviluppo (CAS) dell'Organizzazione per la cooperazione e lo sviluppo economico (OCSE).
Questo ha anche a che fare con il fatto che la maggior parte delle valutazioni viene realizzata mentre il progetto è in corso. Per questo motivo, gli autori delle valutazioni non sono ancora in grado di apprezzare l'efficacia dei progetti nel tempo o al di là degli eventuali beneficiari diretti. I collaboratori delle unità di valutazione sono consapevoli di questi limiti e auspicano di poter effettuare un maggior numero di valutazioni dopo la conclusione del progetto (valutazioni ex post).
Il CPA non ha escluso che le spiegazioni sulla metodologia siano state volutamente poco dettagliate perché a volte è prevista la possibilità di redigere un rapporto separato che specifichi i metodi di valutazione prima di effettuare una valutazione esterna.
Inoltre, i capitoli sulla metodologia contenuti nei rapporti di valutazione sono spesso percepiti dal personale dell'Amministrazione intervistato dal CPA come molto accademici e senza un'utilità diretta per la gestione dei progetti. Sulla base di questi elementi il CPA ritiene che la scarsa qualità della presentazione della metodologia nei rapporti di
valutazione esterna renda estremamente difficile valutare l'affidabilità dei risultati delle valutazioni, motivo per cui le valutazioni esterne non permettono un rendiconto fondato dell'efficacia dei progetti34.
31 32 33
34
Rapporto del CPA del 27 apr. 2023, n. 4.2, pag. 24.
Rapporto del CPA del 27 apr. 2023, n. 6.3, pag. 32.
Alla fine del 2019 ai criteri del CAS-OCSE è stato aggiunto quello della coerenza: tale criterio non è stato oggetto dell'inchiesta del CPA dato che alcune delle valutazioni analizzate erano state commissionate prima della sua introduzione.
Rapporto del CPA del 27 apr. 2023, n. 3.3, pag. 18 e seg.
10 / 18
FF 2023 2893
2.5.2
Valutazione da parte della CdG-S
La CdG-S constata che le valutazioni esterne sono utilizzate al livello appropriato e che fondamentalmente i responsabili dei progetti le apprezzano come strumenti per la gestione dei loro progetti.
La CdG-S giunge tuttavia alla conclusione che la presentazione della metodologia e dei risultati, la formulazione delle raccomandazioni nei rapporti di valutazione esterna nonché l'elaborazione successiva di queste raccomandazioni sono talmente carenti da rendere le valutazioni esterne inappropriate per la gestione a livello di progetto, a meno che non interverranno miglioramenti.
Ovviamente una presentazione insufficiente della metodologia di una valutazione non significa che la metodologia stessa sia carente. Tuttavia, i risultati di una valutazione sono semplicemente inutilizzabili se il rapporto di valutazione non fornisce sufficienti informazioni sulla metodologia impiegata. Sulla base delle conclusioni cui è giunto il CPA, la CdG-S ha altresì l'impressione che alcuni responsabili di progetto non siano consapevoli dell'importanza della metodologia con cui è svolta una valutazione.
Per quanto riguarda la presentazione dei risultati nella maggior parte dei rapporti di valutazione esterna, la Commissione accoglie con favore che i collaboratori delle unità di valutazione siano consapevoli del problema e desiderino effettuare un numero maggiore di valutazioni ex post. Ma al di là della questione temporale, la Commissione ritiene che sia necessario intervenire sulla presentazione dei risultati nei rapporti di valutazione esterna.
Infine, dato il modo lacunoso con cui vengono formulate le raccomandazioni nei rapporti di valutazione esterna e data la mancanza di un'elaborazione successiva di tali raccomandazioni non è al momento possibile valutare in che misura le valutazioni esterne contribuiscano a migliorare i progetti della CI.
Per questi motivi, la CdG-S formula le seguenti raccomandazioni all'attenzione del Consiglio federale in merito alla presentazione della metodologia e dei risultati e al trattamento delle raccomandazioni contenute nei rapporti di valutazione esterna: Raccomandazione 2
Migliorare la presentazione della metodologia e dei risultati delle valutazioni esterne nonché rafforzare le conoscenze sulla metodologia di valutazione
Il Consiglio federale è invitato a definire e ad applicare standard minimi per la presentazione della metodologia nei rapporti di valutazione esterna, che permettano effettivamente di analizzare i risultati di una valutazione e l'efficacia dei progetti della CI. È inoltre invitato a stabilire i criteri per la presentazione dei risultati nei rapporti di valutazione esterna in modo tale che la presentazione dei risultati tenga sempre conto di tutti i criteri di valutazione del CAS. Il Consiglio federale è infine invitato a sensibilizzare i collaboratori coinvolti, per esempio mediante corsi di formazione, sull'importanza della metodologia di una valutazione.
11 / 18
FF 2023 2893
Raccomandazione 3
Formulazione delle raccomandazioni nei rapporti di valutazione esterna e monitoraggio dell'attuazione delle raccomandazioni
Il Consiglio federale è invitato a fare in modo che le raccomandazioni contenute nei rapporti di valutazione esterna si rivolgano sempre a destinatari chiaramente specificati, che gli autori delle valutazioni esterne propongano un ordine di priorità di tali raccomandazioni e che definiscano sempre le tempistiche per la loro attuazione. Il Consiglio federale è inoltre invitato a fare in modo che i servizi competenti registrino sistematicamente le misure e le decisioni che prendono sulla base delle raccomandazioni, facendone così uno strumento di gestione, e che l'attuazione delle raccomandazioni sia sistematicamente oggetto di un controllo successivo.
2.6
Utilizzo delle valutazioni per misurare il raggiungimento degli obiettivi della CI
Le valutazioni esterne possono essere utilizzate per misurare il raggiungimento degli obiettivi del progetto valutato. Questo aspetto è stato approfondito al numero 2.5.
Il seguente paragrafo esamina come le valutazioni esterne e indipendenti fungano da base per misurare il raggiungimento degli obiettivi della CI.
2.6.1
I risultati del CPA
Come illustrato al numero 2.4.1, il CPA ha constatato che gli strumenti di gestione e di assicurazione della qualità delle valutazioni non prevedono esplicitamente che nei rapporti di valutazione si debba indicare in che modo i progetti valutati contribuiscano al raggiungimento degli obiettivi della CI.
Il CPA ha inoltre constatato che le valutazioni esterne menzionano talvolta di essere inserite in una strategia tematica o regionale, che può quindi essere collegata agli obiettivi della CI o ai crediti quadro riguardanti la CI. Tuttavia, i rapporti di valutazione esterna non comprendono sistematicamente un collegamento esplicito con gli obiettivi della strategia CI35.
Il CPA sottolinea inoltre che per poter riferire al Parlamento e all'opinione pubblica, è necessario che i risultati delle valutazioni siano conosciuti. Ciononostante, soprattutto i rapporti di valutazione sulle valutazioni esterne della SECO e della DPDU non sono pubblicati36.
35 36
Rapporto del CPA del 27 apr. 2023, n. 4.3, pag. 25.
Rapporto del CPA del 27 apr. 2023, n. 4.3, pag. 25.
12 / 18
FF 2023 2893
Il CPA è giunto alla conclusione che le valutazioni esterne trattano in modo troppo poco esplicito il contributo del progetto valutato al raggiungimento degli obiettivi della CI e che i rapporti di valutazione sono pubblicati in misura troppo limitata. Di conseguenza l'utilizzo delle valutazioni nei rapporti finali del Consiglio federale all'attenzione del Parlamento non è soddisfacente, poiché l'efficacia della CI viene dimostrata principalmente attraverso esempi o casi di studio tratti da valutazioni indipendenti37.
2.6.2
Valutazione da parte della CdG-S
In base ai risultati dei lavori del CPA, la CdG-S giunge alla conclusione che le valutazioni esterne non tengono sufficientemente in considerazione il grado di raggiungimento degli obiettivi della CI da parte del progetto valutato. Anche se le valutazioni esterne servono in primo luogo alla gestione a livello di progetto, la Commissione ritiene che debbano stabilire un collegamento esplicito con gli obiettivi sovraordinati della CI. Per finire i singoli progetti s'inseriscono nella strategia CI e in ultima analisi devono contribuire alla realizzazione degli obiettivi della CI definiti nella strategia e nei crediti quadro.
Raccomandazione 4
Riferimento esplicito agli obiettivi della CI in tutte le valutazioni
Il Consiglio federale è invitato a fare in modo che le valutazioni esterne e le valutazioni indipendenti tengano conto del raggiungimento degli obiettivi della CI.
Per potere misurare il raggiungimento degli obiettivi della CI, la CdG-S ritiene inoltre che sia necessaria una trasparenza maggiore di quella consentita dall'attuale prassi dell'Amministrazione. Soltanto quando i rapporti di valutazione esterna e quelli di valutazione indipendente saranno sistematicamente pubblicati, l'opinione pubblica potrà capire le dichiarazioni formulate dal Consiglio federale sulla base delle valutazioni nei suoi rapporti finali sull'attuazione della strategia CI.
Raccomandazione 5
Prassi in materia di pubblicazione delle valutazioni
Il Consiglio federale è invitato a mettere a disposizione del pubblico in modo completo, tempestivo e chiaro tutti i rapporti relativi a valutazioni esterne e indipendenti delle tre unità amministrative esaminate.
37
Rapporto del CPA del 27 apr. 2023, n. 4.3, pag. 26.
13 / 18
FF 2023 2893
2.7
Utilizzo delle valutazioni ai fini di rendiconto al Parlamento e all'opinione pubblica
L'efficacia della CI è dimostrata da cifre chiave come i tassi di riuscita pubblicati integralmente nel rapporto finale sull'attuazione del messaggio e in parte nella strategia CI, entrambi all'attenzione del Parlamento. Solo la DSC e la SECO calcolano e pubblicano questi tassi di riuscita, non la DPDU. Lo scopo dei tassi di riuscita è riflettere le prestazioni dei progetti e dei programmi di cooperazione. Nel rapporto finale figurano un tasso di riuscita complessivo nonché quelli di determinati criteri del CAS.
I tassi di riuscita complessivi della DSC e della SECO sono entrambi superiori all'80 per cento. Essi sono calcolati sulla base dei rapporti di valutazione esterna38.
Il presente rapporto ha già evidenziato ai numeri 2.5 e 2.6 le lacune dei rapporti di valutazione esterna per quanto riguarda il loro utilizzo per la gestione a livello di progetto e la misurazione del raggiungimento degli obiettivi nella CI. Questi aspetti hanno anche conseguenze sul calcolo dei tassi di riuscita per il rendiconto al Parlamento e all'opinione pubblica.
2.7.1
I risultati del CPA
Nel suo rapporto il CPA sottolinea quattro aspetti in relazione ai tassi di riuscita contenuti nei rapporti finali del Consiglio federale:
38
1.
I tassi di riuscita sono calcolati sulla base delle valutazioni esterne dei progetti, ma queste ultime soddisfano solo in parte i requisiti di qualità. Il punteggio attribuito al progetto è discutibile, poiché si basa su informazioni poco attendibili, soprattutto per la scarsa qualità della presentazione della metodologia e dei risultati. Inoltre, una parte significativa delle valutazioni esterne è realizzata in corso di progetto e non al termine di quest'ultimo, per cui la valutazione non può fornire alcun giudizio risolutivo sulla riuscita del progetto, soprattutto a lungo termine, e ancor meno sulla sua sostenibilità. In assenza di tali informazioni, è problematico cercare di quantificare la presunta riuscita del progetto.
2.
In passato sono stati oggetto di discussione i metodi di calcolo e la rappresentatività delle valutazioni esterne. Per tutta risposta il calcolo dei tassi di riuscita della DSC e della SECO è stato armonizzato e per le prossime versioni del rapporto finale è previsto di presentare «tassi di riuscita comuni».
3.
La rappresentatività dei progetti presi in considerazione nel calcolo dei tassi di riuscita è discutibile. Secondo le analisi del CPA per il periodo 20182020, la quota di progetti valutati dalla DSC per calcolare i propri tassi di riuscita rappresenta meno del 5 per cento di tutti i suoi progetti, per la SECO tale cifra sale al 20 per cento. La selezione dei progetti valutati non è quindi rappresentativa, il che non garantisce che i tassi calcolati riflettano fedelmente in particolare gli insuccessi della CI.
Rapporto del CPA del 27 apr. 2023, n. 4.4, pag. 26 e seg.
14 / 18
FF 2023 2893
4.
I valori elevati dei tassi di riuscita suscitano un certo scetticismo anche tra le persone sentite dal CPA, dato che tassi di riuscita complessivi superiori all'80 per cento non corrispondono necessariamente alle loro reali esperienze.
Inoltre, visti i tassi di riuscita così elevati il potenziale di miglioramento della CI sembra essere pressoché inesistente.
Il CPA è dunque giunto alla conclusione che la pubblicazione dei tassi di riuscita è inopportuna, in quanto questi ultimi poggiano su basi problematiche e possono essere mal interpretati39.
2.7.2
Valutazione da parte della CdG-S
La CdG-S parte fondamentalmente dal principio che la Svizzera raggiunge molti dei suoi obiettivi nella CI e svolge progetti utili che contribuiscono ad aiutare le popolazioni nel bisogno, a lottare contro la povertà nel mondo, a far rispettare i diritti umani, a promuovere la democrazia, ad assicurare la convivenza pacifica dei popoli nonché a salvaguardare le basi naturali della vita. La Commissione è inoltre consapevole che l'indagine del CPA si è concentrata esclusivamente su uno degli strumenti di misurazione dell'efficacia. Tuttavia, anche tenendo conto di queste considerazioni, la Commissione critica l'attuale prassi del Consiglio federale di riferire sull'efficacia della CI al Parlamento e all'opinione pubblica mediante tassi di riuscita discutibili. La Commissione è consapevole che i tassi di riuscita non sono l'unica componente dei rapporti finali e del messaggio sulla strategia CI del Consiglio federale. Tuttavia, proprio per l'impressione di chiarezza che trasmettono, i tassi di riuscita possono avere un effetto sproporzionato sull'opinione pubblica. Ciò che secondo la Commissione è ancor più preoccupante è il fatto che i tassi di riuscita si basano su una selezione non trasparente e non rappresentativa di valutazioni esterne che, nella loro forma attuale, non sono adatte a valutare né l'efficacia dei progetti della CI né gli obiettivi e le strategie superiori della CI. La Commissione si chiede inoltre se la prevista armonizzazione dei tassi di riuscita della DSC e della SECO possa ovviare a queste carenze. La CdG-S formula pertanto la seguente raccomandazione al Consiglio federale: Raccomandazione 6
Rendiconto dell'efficacia della CI al Parlamento e all'opinione pubblica
Il Consiglio federale è invitato a comunicare in futuro l'efficacia della CI in modo trasparente, rappresentativo e comprensibile al pubblico e a non pubblicare più tassi di riuscita finché non saranno colmate le lacune delle basi su cui essi poggiano.
39
Rapporto del CPA del 27 apr. 2023, n. 4.4, pag. 27 e seg.
15 / 18
FF 2023 2893
3
Conclusioni e ulteriore procedura
La misurazione dell'efficacia nella CI è di fondamentale importanza per una gestione trasparente ed efficiente della CI. I lavori del CPA e la valutazione da parte della CdG-S hanno mostrato che in teoria lo strumento delle valutazioni si presta a misurare l'efficacia nella CI e che è apprezzato dai vari attori coinvolti. È tuttavia evidente il bisogno di adottare determinate misure sull'attuale prassi in materia di valutazione della CI svizzera, e questo anche se i costi sono presentati in modo trasparente e rimangono bassi, le valutazioni indipendenti sono utilizzate al livello appropriato e la qualità delle valutazioni esterne non è sempre scarsa. Per questo motivo la CdG-S formula nel presente rapporto in totale sei raccomandazioni all'attenzione del Consiglio federale. Riguardano i capitolati d'oneri, gli strumenti e i processi per la gestione delle valutazioni e l'assicurazione della qualità (raccomandazione 1), la qualità delle valutazioni esterne utilizzate per la gestione a livello di progetto (raccomandazioni 2 e 3), l'utilizzo delle valutazioni per la misurazione del raggiungimento degli obiettivi della CI (raccomandazioni 4 e 5) e l'utilizzo delle valutazioni per il rendiconto al Parlamento e all'opinione pubblica (raccomandazione 6).
Secondo la CdG-S due aspetti rivestono una particolare importanza. Innanzitutto occorre adottare le misure necessarie affinché le valutazioni esterne possano effettivamente raggiungere il loro obiettivo, ossia fornire informazioni sul raggiungimento degli obiettivi a livello di progetto e possano essere utilizzate in modo adeguato dai collaboratori delle tre unità amministrative esaminate. L'accento va in particolare posto sulla presentazione della metodologia e dei risultati nonché sulla formulazione e l'elaborazione successiva delle raccomandazioni nei rapporti di valutazione esterna (raccomandazioni 2 e 3). In secondo luogo la CdG-S riconosce una certa urgenza nel porre su solide basi il modo in cui il Consiglio federale riferisce al Parlamento e all'opinione pubblica in merito alla misurazione del raggiungimento degli obiettivi della CI. Oltre alle misure citate per migliorare la qualità delle valutazioni esterne ciò presuppone da un lato che queste ultime facciano riferimento al raggiungimento non soltanto degli obiettivi del progetto ma anche di
quelli della CI in generale e dall'altro, e soprattutto, che il calcolo dei tassi di riuscita dell'efficacia nella CI sia trasparente, rappresentativo e comprensibile per il pubblico (raccomandazioni 46).
16 / 18
FF 2023 2893
La CdG-S invita il Consiglio federale a tenere conto il più possibile delle raccomandazioni contenute nel presente rapporto nell'elaborazione del suo messaggio sulla strategia di cooperazione internazionale 20252028 e di attuarle al più tardi nel momento in cui riferirà sul prossimo quadriennio della strategia. Lo invita inoltre ad esprimere, entro il 21 febbraio 2024, il proprio parere sulle constatazioni e le raccomandazioni contenute nel presente rapporto nonché sul rapporto di valutazione del CPA e a comunicarle con quali misure ed entro quando intende attuare le raccomandazioni.
14 novembre 2023
In nome della Commissione della gestione del Consiglio degli Stati: Il presidente, Matthias Michel La segretaria, Ursina Jud Huwiler Il presidente della sottocommissione DFAE/DDPS, Charles Juillard Il segretario della sottocommissione DFAE/DDPS, Mirdin Gnägi
17 / 18
FF 2023 2893
Elenco delle abbreviazioni art.
articolo
CAS
Comitato di aiuto allo sviluppo dell'Organizzazione per la cooperazione e lo sviluppo economico (OCSE)
CdG
Commissioni della gestione delle Camere federali
CdG-S
Commissione della gestione del Consiglio degli Stati
CI
Cooperazione internazionale
Cost.
Costituzione federale della Confederazione Svizzera del 18 aprile 1999 (RS 101)
CPA
Controllo parlamentare dell'amministrazione
cpv.
capoverso
DDPS
Dipartimento federale della difesa, della protezione della popolazione e dello sport
DEFR
Dipartimento federale dell'economia, della formazione e della ricerca
DFAE
Dipartimento federale degli affari esteri
DPDU
Divisione Pace e diritti umani del DFAE
DSC
Direzione dello sviluppo e della cooperazione del DFAE
DSU
Divisione Sicurezza umana del DFAE
FF
Foglio federale
Legge CaS-AU
Legge federale del 19 marzo 1976 su la cooperazione allo sviluppo e l'aiuto umanitario internazionali (RS 974.0)
Legge Est
Legge federale del 30 settembre 2016 sulla cooperazione con gli Stati dell'Europa dell'Est (RS 974.1)
Legge Sicurezza Legge federale del 19 dicembre 2003 su misure di promozione umana civile della pace e di rafforzamento dei diritti dell'uomo (RS 193.9) n.
numero
OCSE
Organizzazione per la cooperazione e lo sviluppo economico
SECO
Segreteria di Stato dell'economia del DEFR
18 / 18