FF 2023 www.fedlex.admin.ch La versione elettronica firmata è quella determinante
Misurazione dell'efficacia nel contesto della cooperazione internazionale Rapporto del Controllo parlamentare dell'amministrazione all'attenzione della Commissione della gestione del Consiglio degli Stati del 27 aprile 2023
2023-3466
FF 2023 2894
FF 2023 2894
Parole chiave
Strategia di cooperazione internazionale Ogni quattro anni il Consiglio federale sottopone al Parlamento un messaggio che illustra la strategia di cooperazione internazionale (CI) e i relativi crediti quadro, che per il periodo 20212024 ammontano a 11,25 miliardi di franchi.
Attuazione trasversale La strategia CI è attuata dalla Direzione dello sviluppo e della cooperazione (DSC) e dalla Divisione Pace e diritti umani (DPDU) del Dipartimento federale degli affari esteri (DFAE) nonché dalla Segreteria di Stato dell'economia (SECO) del Dipartimento federale dell'economia, della formazione e della ricerca (DEFR).
Valutazioni esterne e indipendenti Nell'ambito della CI, le cosiddette valutazioni «esterne» vertono su progetti o interventi specifici, mentre le valutazioni «indipendenti» si concentrano su temi strategici. Entrambi i tipi di valutazione sono eseguiti da mandatari esterni.
Tassi di riuscita La DSC e la SECO calcolano i tassi di riuscita dei loro interventi all'estero sulla base di valutazioni esterne. I tassi di riuscita sono pubblicati nel rapporto finale sull'attuazione della strategia CI per il rendiconto all'attenzione del Parlamento e dell'opinione pubblica.
2 / 44
FF 2023 2894
L'essenziale in breve Nel complesso le valutazioni sono uno strumento in parte appropriato per misurare l'efficacia della cooperazione internazionale (CI). Vengono utilizzate per gestire la CI a vari livelli e i loro costi sono stabiliti in modo trasparente. I rapporti di valutazione nonché il rendiconto all'attenzione del Parlamento e dell'opinione pubblica presentano tuttavia delle carenze.
Nel gennaio 2022 le Commissioni della gestione delle Camere federali (CdG) hanno incaricato il Controllo parlamentare dell'amministrazione (CPA) di misurare l'efficacia nel contesto della CI.
La competente sottocommissione DFAE/DDPS della Commissione della gestione del Consiglio degli Stati (CdG-S) ha deciso che il CPA avrebbe dovuto concentrarsi su uno strumento di misurazione in particolare, ossia la valutazione. Il CPA non ha quindi analizzato l'efficacia della CI bensì il modo in cui le tre unità responsabili della CI la Direzione dello sviluppo e della cooperazione (DSC), la Segreteria di Stato dell'economia (SECO) e la Divisione Pace e diritti umani (DPDU) misurano e riferiscono sull'efficacia dei loro interventi mediante valutazioni.
Il CPA ha esaminato i documenti utilizzati per effettuare le valutazioni e i relativi costi. Ha avuto colloqui con più di trenta persone dell'Amministrazione federale e con specialisti. Un mandatario esterno ha analizzato la qualità delle valutazioni per il tramite di una metavalutazione. Di seguito si riportano i risultati principali di tali analisi.
Punti di forza e di debolezza delle valutazioni esterne La DSC, la SECO e la DPDU misurano l'efficacia dei loro progetti commissionando in particolare valutazioni esterne. Al riguardo i capitolati d'oneri dell'Amministrazione, che influiscono sulla qualità delle valutazioni, sono generalmente soddisfacenti (n. 3.1). I rapporti di valutazione contengono sintesi chiare, i dati sono presentati in modo trasparente e le conclusioni sono coerenti. Questi elementi sono particolarmente utili per la gestione di progetti (n. 3.2). Al contrario, la presentazione della metodologia e dei risultati è insoddisfacente, il che pregiudica l'affidabilità delle valutazioni esterne e quindi la loro utilità a fini di rendiconto. Nonostante queste carenze, la qualità delle valutazioni resta comunque paragonabile a quella di altri Paesi
(n. 3.3).
Gli strumenti di gestione delle valutazioni sono prevalentemente appropriati, seppure disponibili in numero variabile L'Amministrazione non effettua direttamente le valutazioni, ma deve comunque gestirle e assicurarne la qualità. L'analisi delle direttive e dei processi che descrivono le fasi e le responsabilità fornisce un quadro eterogeneo tra le diverse unità esaminate. Gli strumenti della DSC e della SECO sono chiari e completi, ma i documenti della DSC sono numerosi e poco utilizzati. La DPDU, invece, dispone di pochi strumenti, peraltro relativamente poco dettagliati: nonostante le dimensioni nettamente inferiori rispetto alle altre due unità, gli strumenti della DDPU non sembrano suffi-
3 / 44
FF 2023 2894
cienti a supportare la qualità delle valutazioni. Infine, in tutte e tre le unità, i responsabili di progetto apprezzano le competenze e il sostegno delle rispettive unità di valutazione (n. 3.4).
Utilizzo globalmente adeguato delle valutazioni a fini di gestione Le valutazioni devono servire alla gestione della CI a vari livelli. Le valutazioni esterne sono utilizzate soprattutto per gestire i progetti valutati (n. 4.1), mentre le valutazioni indipendenti sono utilizzate principalmente dai responsabili gerarchici per sostenere le loro decisioni a livello strategico (n. 4.2). Questo utilizzo differenziato delle valutazioni può essere considerato appropriato. Tuttavia, le raccomandazioni delle valutazioni esterne non vengono trattate sistematicamente, per cui il loro valore aggiunto in termini di miglioramento dei progetti della CI non è noto (n. 4.1).
Utilizzo inadeguato delle valutazioni per il rendiconto all'attenzione del Parlamento e dell'opinione pubblica È fondamentale che il Parlamento e l'opinione pubblica siano messi a conoscenza dell'efficacia della CI. Eppure le valutazioni spesso non forniscono indicazioni esplicite su come i rispettivi interventi contribuiscano al raggiungimento degli obiettivi enunciati nel messaggio sulla strategia CI. Il rapporto finale destinato al Parlamento sull'attuazione del messaggio, pur presentando alcuni risultati, non contiene un bilancio sistematico del raggiungimento degli obiettivi (n. 4.3). I tassi di riuscita, inoltre, che dovrebbero riferire sull'efficacia della CI nei rapporti finali, non riflettono tutti gli interventi della CI e non sono affidabili (n. 4.4).
Costi delle valutazioni trasparenti e generalmente contenuti I costi delle valutazioni possono essere stabiliti in modo trasparente per le tre unità (n. 5.1). In genere rappresentano meno del 2,5 per cento del costo degli interventi valutati. Nel confronto internazionale questa percentuale si colloca nella fascia inferiore della spesa destinata alle valutazioni nel settore della cooperazione (n. 5.2).
4 / 44
FF 2023 2894
Indice Parole chiave
2
L'essenziale in breve
3
1
Introduzione 1.1 Contesto e questioni trattate 1.2 Metodologia 1.3 Valore aggiunto e limiti della valutazione del CPA 1.4 Struttura del rapporto
7 7 8 9 10
2
La cooperazione internazionale e la misurazione della sua efficacia 2.1 Ambiti della cooperazione internazionale 2.2 Efficacia misurata mediante valutazioni
11 11 12
3
Qualità delle valutazioni esterne 3.1 I capitolati d'oneri per l'assegnazione delle valutazioni sono in gran parte soddisfacenti 3.2 Le valutazioni sono utili per la gestione, ma le raccomandazioni sono troppo astratte 3.3 Le valutazioni non consentono un rendiconto attendibile 3.4 Gli strumenti utilizzati per gestire le valutazioni e la loro qualità variano da unità a unità
14
Utilizzo delle valutazioni a fini di gestione e di rendiconto 4.1 Le valutazioni esterne sono utilizzate principalmente per la gestione dei progetti valutati 4.2 Le valutazioni indipendenti sono appropriate per la gestione strategica 4.3 Le valutazioni non sono utilizzate a sufficienza per misurare il raggiungimento degli obiettivi 4.4 I tassi di riuscita pubblicati degli interventi della CI non sono attendibili
23
5
Costi delle valutazioni 5.1 I costi dei mandati di valutazione sono trasparenti 5.2 I costi delle valutazioni sono generalmente contenuti
29 29 29
6
Conclusioni 6.1 Punti di forza e di debolezza delle valutazioni esterne 6.2 Gli strumenti di gestione delle valutazioni sono in gran parte appropriati ma disponibili in numero variabile 6.3 Le valutazioni sono utilizzate in modo globalmente adeguato a fini di gestione
31 31
4
15 16 17 20
23 24 25 26
32 32
5 / 44
FF 2023 2894
6.4 6.5
L'utilizzo delle valutazioni ai fini di rendiconto al Parlamento e all'opinione pubblica è inadeguato I costi delle valutazioni sono trasparenti e generalmente contenuti
33 33
Abbreviazioni
35
Bibliografia
36
Elenco delle persone sentite
38
Allegati 1 Approccio di valutazione 2 Criteri di valutazione
40 41
Colophon
43
6 / 44
FF 2023 2894
Rapporto 1
Introduzione
1.1
Contesto e questioni trattate
Poiché la cooperazione internazionale (CI) svolge le sue attività all'estero, è essenziale che i contribuenti svizzeri siano informati in modo trasparente sulla sua efficacia.
La misurazione dell'efficacia contribuisce quindi non solo a gestire la CI e a migliorare gli interventi1, ma ha anche lo scopo di riferire al Parlamento e all'opinione pubblica sui risultati e sul raggiungimento degli obiettivi della CI. Il Consiglio federale presenta i risultati del suo impegno all'estero attraverso tassi di riuscita superiori alla media internazionale2. Poiché queste cifre sono calcolate sulla base di valutazioni, queste ultime devono essere di buona qualità. Si pone inoltre la questione dell'adeguatezza delle risorse finanziarie stanziate per le valutazioni e del modo in cui queste ultime sono utilizzate, in particolare a fini di gestione e di rendicontabilità.
In considerazione di quanto sopra, il 25 gennaio 2022 le CdG hanno incaricato il Controllo parlamentare dell'amministrazione (CPA) di valutare la misurazione dell'efficacia nel contesto della cooperazione allo sviluppo. Sulla base di una bozza di progetto elaborata dal CPA, la competente sottocommissione DFAE/DDPS della CdG-S, riunitasi il 23 maggio 2022, ha deciso che il CPA avrebbe dovuto esaminare la valutazione quale strumento di misurazione dell'efficacia della CI in tutti gli ambiti3. Sono state trattate quindi le questioni riportate qui di seguito, a ciascuna delle quali è dedicato un capitolo specifico:
Le valutazioni nel contesto della CI sono qualitativamente buone? (n. 3)
Le valutazioni sono utilizzate in modo appropriato per gestire la CI e riferire al Parlamento e all'opinione pubblica? (n. 4)
I costi delle valutazioni sono appropriati? (n. 5)
Il CPA non valuta quindi l'efficacia della CI, ma analizza il modo in cui tale efficacia viene misurata mediante valutazioni.
1 2
3
Nel presente rapporto il termine «intervento» descrive genericamente qualsiasi tipo di progetto, programma o strategia nell'ambito della CI.
Messaggio del 19 feb. 2020 concernente la strategia di cooperazione internazionale 2021 2024 (Strategia CI 20212024; FF 2020 2313). Di seguito: «strategia» o «messaggio».
DSC, SECO, DSU (2020), La cooperazione internazionale della Svizzera è efficace.
Rapporto finale sull'attuazione del messaggio 20172020. Di seguito: «rapporto finale 2020».
La bozza di progetto del CPA ha evidenziato che la misurazione dell'efficacia e i problemi correlati sono simili per tutti gli ambiti della CI (cfr. n. 2.1). La portata della valutazione è stata quindi estesa alla CI nel suo insieme e il relativo titolo è stato adattato di conseguenza.
7 / 44
FF 2023 2894
1.2
Metodologia
Per rispondere alle questioni trattate, il CPA ha applicato i metodi di raccolta e di analisi dei dati presentati nella tabella 1. L'allegato 1 a fine rapporto rappresenta in forma schematica l'approccio di valutazione, mentre l'allegato 2 specifica i criteri di valutazione utilizzati dal CPA.
Tabella 1 Panoramica dei metodi Questioni trattate
Qualità delle valutazioni
Metavalutazione (mandato esterno)
*
Utilizzo delle valutazioni Costi delle valutazioni
Analisi di documenti
(*) (*)
(*)
Colloqui bilaterali
Colloqui di gruppo
Analisi dei costi
(*) *
*
(*)
*
Legenda: * = contributo principale all'analisi; (*) = contributo secondario all'analisi
La qualità delle valutazioni è stata misurata sotto forma di metavalutazione4 delle valutazioni esterne delle tre unità incaricate della CI: la DSC, la SECO e la DPDU (cfr.
n. 2.2). Nel 2021 la DSC ha commissionato alla società CEval GmbH un'analisi delle sue valutazioni esterne, conclusa nel 20225. Il CPA ha quindi incaricato lo stesso mandatario esterno di analizzare anche le valutazioni esterne della SECO e della DPDU6.
Al fine di garantire la comparabilità dei risultati delle tre unità, è stata applicata la stessa metodologia. Il mandatario ha esaminato i capitolati d'oneri, ove disponibili, e un totale di 114 rapporti di valutazione7.
Il CPA ha inoltre eseguito un'analisi di documenti per esaminare la qualità di direttive e documenti finalizzati a gestire le valutazioni e assicurarne la qualità, nonché i processi e le responsabilità nelle tre unità interessate. Ha altresì effettuato una breve analisi della letteratura sulla qualità delle valutazioni nel contesto della CI per confrontare la Svizzera con altri Paesi. Il CPA ha poi esaminato la Strategia CI 202120248 e il rapporto finale 20209, vale a dire i due rapporti principali per il rendiconto all'attenzione del Parlamento e dell'opinione pubblica.
4 5 6
7
8 9
La metavalutazione è una valutazione della qualità di una serie di valutazioni e della loro conformità alle buone pratiche di valutazione (standard) stabilite.
CEval (2022): Concept note: Meta-evaluation of 50 decentralized project evaluations of the DEZA. Non pubblicata.
CEval (2023): Valutazione dell'efficacia nel contesto della cooperazione internazionale: metavalutazione DSC/SECO/DPDU. Su incarico del Controllo parlamentare dell'amministrazione.
60 valutazioni della DSC (cfr. CEval 2022), 42 della SECO e 12 della DPDU per il periodo 20182020. Per la DPDU si tratta di tutte le valutazioni effettuate nel periodo in esame. Per la DSC e la SECO si tratta di campioni rappresentativi delle valutazioni utilizzate per calcolare i tassi di riuscita. Oltre al campione della DSC figurano 12 valutazioni che non soddisfacevano i criteri di selezione per i tassi di riuscita, ma la cui qualità non è risultata significativamente differente (cfr. CEval 2022, 2023).
Strategia CI 20212024 (FF 2020 2313).
Rapporto finale 2020.
8 / 44
FF 2023 2894
Per esaminare l'utilizzo delle valutazioni finalizzate alla gestione della CI su vari piani, il CPA ha condotto colloqui bilaterali con il personale che commissiona, gestisce e utilizza le valutazioni ai diversi livelli gerarchici delle tre unità analizzate10. Il CPA ha condotto colloqui anche con alcuni specialisti esterni all'Amministrazione.
L'elenco delle 36 persone sentite è riportato alla fine del rapporto.
Colloqui di gruppo sono stati condotti con il personale delle unità operative della SECO e della DPDU per confrontare le pratiche relative alla gestione e all'utilizzo delle valutazioni. Questo approccio non ha interessato la DSC, in quanto il CPA ha potuto utilizzare i risultati di un'indagine tramite questionario nonché di dieci colloqui con il personale della DSC condotti da CEval11.
Attraverso un'analisi dei costi delle valutazioni il CPA ha infine esaminato se tali costi erano stati stabiliti in modo trasparente e se erano in linea con i costi degli interventi valutati e con la qualità delle valutazioni.
La raccolta e l'analisi dei dati si sono svolte da agosto a novembre 2022. Al termine della valutazione il CPA ha discusso i risultati principali con un membro della direzione di ciascuna delle tre unità (DSC, SECO e DPDU). Inoltre, nel febbraio 2023 i dipartimenti interessati sono stati consultati in merito i progetti di rapporto del CPA e di CEval.
1.3
Valore aggiunto e limiti della valutazione del CPA
L'analisi del CPA non ha riguardato l'efficacia della CI bensì il modo in cui l'Amministrazione misura tale efficacia a fini di rendiconto per il tramite di valutazioni. Nella pratica l'esecutivo informa il Parlamento e l'opinione pubblica mediante il messaggio12 e il rapporto finale13. Quest'ultimo si fonda sulle informazioni provenienti dal monitoraggio interno dei progetti e, specialmente per quanto riguarda i tassi di riuscita, sui risultati di valutazioni esterne: è quindi fondamentale sapere se la qualità di tali valutazioni è sufficiente e se i risultati sono affidabili.
Le valutazioni dovrebbero anche fornire insegnamenti utili per gestire la CI, tanto a livello di progetti che di strategie. La presente analisi esamina quindi la comprensibilità delle valutazioni e l'utilità delle raccomandazioni per migliorare gli interventi della CI.
10
11 12 13
DSC, SECO e DPDU utilizzano denominazioni diverse per il loro personale.
Per coerenza, il CPA utilizza il termine responsabili di progetto per il personale delle unità operative che commissiona e gestisce le valutazioni esterne, mentre con personale delle unità di valutazione intende le unità di valutazione che gestiscono le valutazioni indipendenti (cfr. n. 2.2). Infine, il termine responsabili gerarchici designa le persone che dirigono una sezione, una divisione o i membri della direzione.
CEval (2022).
Strategia CI 20212024 (FF 2020 2313).
Rapporto finale 2020.
9 / 44
FF 2023 2894
Conformemente alla decisione della sottocommissione competente (cfr. n. 1.1), la presente analisi si concentra esclusivamente sulla valutazione quale strumento di misurazione e rendicontazione dell'efficacia. Gli altri strumenti, come il monitoraggio14 o il controlling15, si prestano meno a questo scopo, poiché non permettono di stabilire un collegamento tra un intervento e i suoi effetti (cfr. n. 2.2); per questo motivo non sono analizzati nel presente rapporto. Nemmeno le valutazioni d'impatto, basate su metodi sperimentali, sono state esaminate; solo la DSC ne ha condotte alcune, la SECO e la DPDU non ne realizzano.
Anche la metavalutazione commissionata dal CPA presenta alcuni limiti16, come quello di riguardare solo le valutazioni esterne (fatta eccezione per il campione della DPDU che contiene una valutazione che può essere considerata indipendente). Questo si giustifica con il fatto che è stata messa in discussione soprattutto la qualità delle valutazioni esterne, che tali valutazioni sono molto più numerose di quelle indipendenti e che vengono utilizzate per calcolare i tassi di riuscita (cfr. n. 3.3 e 4.4). La metavalutazione segue inoltre un approccio normativo, basato su standard riconosciuti che definiscono le caratteristiche di un rapporto di valutazione ideale. Nella pratica non ci si aspetta che un rapporto sia conforme a tutti gli standard, l'importante è che la maggior parte dei criteri di valutazione sia considerata soddisfacente (cfr. criteri di valutazione, all. 2). Infine, la misurazione dell'efficacia nel contesto della CI è già stata oggetto di diversi studi, di cui si è tenuto conto nella presente valutazione17.
1.4
Struttura del rapporto
Il capitolo 2 presenta gli ambiti della CI e la valutazione quale strumento di misurazione dell'efficacia. Successivamente, ogni capitolo risponde a una delle tre questioni trattate. Il capitolo 3 è dedicato alla qualità delle valutazioni esterne, mentre il capitolo 4 tratta l'utilizzo delle valutazioni a fini di gestione e di rendiconto. Infine, il capitolo 5 affronta il tema dei costi delle valutazioni e il capitolo 6 presenta le conclusioni.
14 15 16 17
Strumento di osservazione che consiste nella raccolta di dati comparabili su base permanente, sistematica e di routine.
Strumento di direzione che consente di incidere continuativamente sui processi di conseguimento degli obiettivi.
CEval (2023), n. 2.
BSS Economic Consultants (2020), Assessing the performance of the Swiss international cooperation, 8 giu. 2020; CEval (2022), Concept note: Meta-evaluation of 50 decentralized project evaluations of the DEZA; Grasso, Patrick G. (2020), Peer review of four evaluation functions, nov. 2020; OCSE (2019), Examens de l'OCDE sur la coopération pour le développement, Suisse 2019. (disponibile anche in inglese) Controllo federale delle finanze (CDF) (2017); CDF (2019a); CDF (2019b); CDF (2020); CDF (2022); CDF (prevista per il 2023): l'elenco completo delle verifiche del CDF è riportato nella bibliografia.
10 / 44
FF 2023 2894
2
La cooperazione internazionale e la misurazione della sua efficacia
Questo capitolo presenta gli ambiti della CI (n. 2.1) e la valutazione quale strumento di misurazione della sua efficacia (n. 2.2).
2.1
Ambiti della cooperazione internazionale
La CI della Svizzera si basa sulla Costituzione, secondo la quale la Confederazione contribuisce ad aiutare le popolazioni nel bisogno e a lottare contro la povertà nel mondo, a far rispettare i diritti umani e a promuovere la democrazia, ad assicurare la convivenza pacifica dei popoli nonché a salvaguardare le basi naturali della vita (art. 54 cpv. 2 Cost.18).
Ogni quattro anni il Consiglio federale sottopone al Parlamento un messaggio che illustra la strategia CI della Svizzera, unitamente a una richiesta di crediti quadro. La strategia CI copre tre ambiti19, disciplinati da diverse leggi federali20: la cooperazione allo sviluppo, l'aiuto umanitario e la promozione della pace e della sicurezza umana.
L'attuazione compete a tre unità amministrative di due dipartimenti: la Direzione dello sviluppo e della cooperazione (DSC) e la Divisione Pace e diritti umani (DPDU)21, che fanno parte del Dipartimento federale degli affari esteri (DFAE), e la Segreteria di Stato dell'economia (SECO), che fa parte del Dipartimento federale dell'economia, della formazione e della ricerca (DEFR). La Strategia CI 2021202422 prevede un budget totale di 11,25 miliardi di franchi suddivisi tra i tre ambiti e unità amministrative (fig. 1).
18 19
20
21 22
Costituzione federale della Confederazione Svizzera del 18 apr. 1999 (Cost.; RS 101).
La Strategia CI 20212024 (FF 2020 2313) parla di «strumenti», mentre il CPA preferisce il termine «ambiti» per evitare confusione con la valutazione quale strumento di misurazione dell'efficacia.
Legge federale del 19 mar. 1976 sulla cooperazione allo sviluppo e l'aiuto umanitario internazionali (RS 974.0; di seguito «legge CaS-AU»); legge federale del 30 sett. 2016 sulla cooperazione con gli Stati dell'Europa dell'Est (RS 974.1; di seguito «legge Est»); legge federale del 19 dic. 2003 su misure di promozione civile della pace e di rafforzamento dei diritti dell'uomo (RS 193.9; di seguito «legge Sicurezza umana»).
In molti rapporti citati nel presente documento la DPDU è ancora indicata con la sua precedente denominazione, Divisione Sicurezza umana (DSU).
Strategia CI 20212024 (FF 2020 2313).
11 / 44
FF 2023 2894
Figura 1 Ambiti della cooperazione internazionale e unità responsabili
Promozione della pace e della sicurezza umana (DPDU) 2,3%
Aiuto umanitario (DSC) 19.1% allo Cooperazione
Aiuto umanitario, DSC (19,1 %)
sviluppo, DSC +
Cooperazione allo SECO (78,6 %) Cooperazione allo sviluppo - Cooperazionesviluppo bilaterale (DSC) (SECO) - Cooperazione economica allo 65% 13.6% sviluppo -
Programmi globali Organizzazioni multilaterali di sviluppo
Legenda: le percentuali corrispondono alle parti del credito quadro per la Strategia CI 2021 2024.
La cooperazione allo sviluppo è attuata dalla DSC (65 % del credito quadro) e dalla SECO (13,6 %). L'aiuto umanitario è attuato dalla DSC (19,1 %) e la promozione della pace e della sicurezza umana dalla DPDU (2,3 %).
2.2
Efficacia misurata mediante valutazioni
Il Consiglio federale è tenuto per legge a vigilare sull'utilizzazione efficace dei mezzi finanziari stanziati per la CI, a effettuare valutazioni periodiche e a riferire all'Assemblea federale su ogni periodo di credito23. Il rapporto finale sul periodo precedente (20172020)24 riassume in una decina di pagine i risultati della CI con cifre ed esempi e approfondisce tali risultati per ogni unità amministrativa (DSC, SECO e DPDU) in un apposito allegato25. I risultati principali del rapporto finale26 sono ripresi nel messaggio per il periodo successivo27, adottato contestualmente.
23 24 25
26 27
Art. 9 cpv. 3 «legge CaS-AU», art. 17 «legge Est», art. 5 «legge Sicurezza umana».
Le valutazioni sono esplicitamente menzionate nelle ultime due leggi, più recenti.
Rapporto finale 2020.
Il Parlamento aveva inoltre incaricato il Consiglio federale di riferire in un rapporto sul raggiungimento degli obiettivi e sull'efficacia a metà del periodo di credito precedente.
Cfr. DSC, SECO, DSU (2018): La cooperazione internazionale della Svizzera. Rapporto intermedio sull'attuazione del messaggio 20172020. Per il periodo in corso, il Parlamento non ha chiesto alcun rapporto intermedio.
Rapporto finale 2020.
Strategia CI 20212024 (FF 2020 2313).
12 / 44
FF 2023 2894
Nell'ambito della CI il termine «efficacia» è definito dal Comitato di aiuto allo sviluppo (CAS) dell'Organizzazione per la cooperazione e lo sviluppo economico (OCSE): l'efficacia esprime la «misura in cui gli obiettivi di un intervento di sviluppo sono stati raggiunti o si prevede che possano essere raggiunti»28. Secondo la stessa fonte, i risultati, che fanno parte dell'efficacia, sono costituiti da realizzazioni, esiti e impatti29. Nel presente documento la misurazione dell'efficacia è quindi intesa in questo senso lato.
Quale strumento, la valutazione rappresenta un'analisi approfondita condotta in un determinato intervallo di tempo e basata su metodi scientifici. Consente di stabilire una relazione di causa-effetto tra un intervento e gli effetti osservati, il che ne fa lo strumento principale di misurazione dell'efficacia. In confronto, il monitoraggio e il controlling hanno una portata più generale, sono effettuati su base regolare o continua e sono più superficiali30. Secondo la definizione del CAS31, per valutazione si intende l'apprezzamento sistematico e oggettivo di un progetto, un programma o una politica, in corso d'opera o dopo il completamento, della sua concezione, della sua attuazione e dei suoi risultati. In generale le valutazioni sono utilizzate da un lato per la gestione e l'apprendimento a vari livelli (progetti, programmi, strategie dell'unità amministrativa o della CI), dall'altro per la rendicontabilità, ossia per riferire sui risultati ottenuti con le risorse stanziate.
Nell'ambito della CI la Svizzera utilizza due tipi di valutazioni32: quelle esterne e quelle indipendenti33. Esse sono presentate nella tabella sottostante (cfr. tab. 2).
28 29
30
31 32
33
CAS (2021), Des meilleurs critères pour des meilleures évaluations. Définitions adaptées et principes d'utilisation (disponibile in francese e inglese).
Le realizzazioni (output) corrispondono ai prodotti, ai beni capitali e ai servizi derivanti da un intervento di sviluppo. Gli esiti (outcome) corrispondono agli effetti diretti, a breve e medio termine, indotti o inducibili dalle realizzazioni di un intervento sui gruppi bersaglio. Gli impatti (impact) corrispondono agli effetti a lungo termine, previsti o imprevisti, prodotti direttamente o indirettamente da un intervento di sviluppo.
Widmer, Thomas / De Rocchi, Thomas (2012), Evaluation: Grundlagen, Ansätze und Anwendungen, Rüegger Verlag, Zurigo, 1721. Gruppo di lavoro interdipartimentale «Verifiche dell'efficacia» (IDEKOWI) (2004), Définitions des termes «évaluation, controlling et monitoring». La DSC e la SECO stanno introducendo nuovi sistemi di monitoraggio basati su indicatori standardizzati.
CAS (2011), Évaluer la coopération pour le développement. Récapitulatif des normes des standards de référence (2a ed.).
Il presente rapporto non esamina né le valutazioni interne, effettuate direttamente dalle unità operative, in quanto non soggette agli stessi requisiti di qualità, né le poche valutazioni d'impatto esistenti (cfr. n. 1.3).
All'interno della DSC le valutazioni indipendenti comprendono valutazioni di programmi di cooperazione, valutazioni istituzionali e valutazioni tematiche. In seno alla DPDU si sono talvolta anche chiamate valutazioni strategiche.
13 / 44
FF 2023 2894
Tabella 2
Descrizione
Numero (per anno)1 e costo medio di una valutazione2
Mandato di valutazione
Gestione della valutazione
Valutazioni esterne
Eseguite da mandatari esterni.
Riguardano progetti della CI.
Rappresentano la maggior parte delle valutazioni effettuate.
DSC: 80100 SECO: 2530 DPDU: 57 Costo medio: 34 000 franchi
Unità operative
Unità operative (responsabili di progetto)
Valutazioni indipendenti
Caratteristiche delle valutazioni esterne e indipendenti
Eseguite da mandatari esterni.
Riguardano temi strategici a vari livelli: strategie nazionali o regionali, temi trasversali o questioni istituzionali.
DSC: 35 SECO: 12 DPDU: < 1 Costo medio: 138 000 franchi
DSC e DPDU: direzione SECO: comitato di valutazione esterna
Unità di valutazione (e comitato direttivo per la DPDU)
1 2
Il numero di valutazioni effettuate ogni anno varia; si tratta di un ordine di grandezza.
Costo medio delle valutazioni effettuate nel periodo 20182020 per le tre unità (cfr. n. 5).
Fonte: dati forniti da DSC, SECO e DPDU.
Le unità operative, che commissionano e gestiscono le valutazioni esterne, sono responsabili dei progetti della CI, generalmente all'estero. Le unità di valutazione, con sede in Svizzera34, sono indipendenti dalle unità operative. Sono responsabili della qualità di tutte le valutazioni e gestiscono le valutazioni indipendenti.
3
Qualità delle valutazioni esterne
Il CPA utilizza la metavalutazione35 per esaminare la qualità dei capitolati d'oneri e dei rapporti di valutazione esterni nonché le differenze tra le unità analizzate. Sulla base delle proprie analisi di documenti e dei colloqui condotti, esamina l'adeguatezza degli strumenti ritenuti idonei per gestire e assicurare la qualità delle valutazioni (cfr.
criteri di valutazione nell'all. 2).
Sintesi: nel complesso il CPA osserva che la qualità delle valutazioni esterne varia a seconda delle parti considerate. I capitolati d'oneri sono in gran parte soddisfacenti (n. 3.1) mentre i rapporti, seppure comprensibili (n. 3.2), non sono sufficientemente fondati, poiché presentano metodi e risultati in modo insoddisfacente (n. 3.3). Infine, 34
35
Le unità di valutazione hanno strutture e risorse diverse: DSC: l'unità «Valutazione e controllo di gestione» assegna circa 4,4 equivalenti a tempo pieno (ETP) alla valutazione (su un totale di 5,4 ETP). Beneficia occasionalmente del supporto dell'unità «Assicurazione qualità (AQ) e digitalizzazione interna» per questioni legate alla qualità, come l'emanazione di direttive.
SECO: l'unità «Qualità e risorse» assegna 1,2 ETP alla valutazione (su un totale di 2,3 ETP).
DPDU: una sola persona, subordinata allo Stato maggiore, è responsabile della valutazione, cui riserva 0,2 ETP (su un totale di 0,8 ETP).
CEval (2023).
14 / 44
FF 2023 2894
gli strumenti di gestione delle valutazioni sono complessivamente appropriati, ma disponibili in numero variabile (n. 3.4).
3.1
I capitolati d'oneri per l'assegnazione delle valutazioni sono in gran parte soddisfacenti
Il capitolato d'oneri rappresenta la base del contratto con il mandatario esterno, per cui è fondamentale che l'Amministrazione lo rediga con precisione36. Contenuto e formato possono variare, ma deve indicare almeno i criteri di valutazione dell'efficacia del progetto considerato, l'obiettivo e le questioni trattate, il contesto del progetto, la metodologia prevista e le realizzazioni attese, le responsabilità e il calendario37.
Figura 2 Qualità dei capitolati d'oneri per le valutazioni esterne Capitolati d'oneri (n=80)
9%
DSC (n=26) SECO (n=42)
61%
26%
15%
73%
7%
55%
DPDU (n=12)
33%
58%
0%
10%
Molto soddisfacente
20%
30%
4% 8% 4% 5%
42%
40%
Soddisfacente
50%
60%
Insoddisfacente
70%
80%
90%
100%
Molto insoddisfacente
Fonte: dati del rapporto CEval (2023), allestiti dal CPA.
La qualità dei capitolati d'oneri delle tre unità analizzate è in gran parte soddisfacente (cfr. fig. 2). Per quanto riguarda la DSC, quasi il 90 per cento dei capitolati d'oneri è risultato soddisfacente, un risultato che però non è rappresentativo, poiché su 60 rapporti di valutazione analizzati di questa unità, erano disponibili solo 26 capitolati. Per la SECO e la DPDU, che hanno fornito tutti i capitolati d'oneri, il tasso di soddisfazione è intorno al 60 per cento. La perizia esterna evidenzia punti di debolezza nella fattibilità della valutazione, ad esempio quando le realizzazioni attese non sono in linea con il budget o il calendario previsto. Inoltre, non sempre i requisiti metodologici sono descritti con sufficiente precisione.
La DSC formula bene le domande e i criteri di valutazione. La SECO è l'unica a indicare in modo soddisfacente la giustificazione della valutazione e il suo scopo; per contro, le domande, i criteri e la descrizione del contesto non sono adeguatamente formulati. Ad esempio il numero di domande risulta talvolta eccessivo, considerato il calendario della valutazione. La DPDU è l'unità che meglio riesce a definire i contorni della valutazione prevista: le domande, i criteri e le dimensioni organizzative della
36 37
Nel caso di valutazioni congiunte con partner, è possibile che siano questi ultimi a redigere il capitolato d'oneri.
CEval (2023), n. 3.2.
15 / 44
FF 2023 2894
valutazione sono soddisfacenti, mentre la descrizione dei metodi, la giustificazione e lo scopo della valutazione sono incompleti.
La correlazione tra la qualità dei capitolati d'oneri e la qualità delle valutazioni, confermata da altri studi38, è stata menzionata anche durante i colloqui. Il CPA osserva che, in linea di principio, spetta all'Amministrazione redigere il capitolato d'oneri, ritenendo quindi positivo che l'Amministrazione abbia nel complesso le competenze necessarie per svolgere questo compito decisivo.
3.2
Le valutazioni sono utili per la gestione, ma le raccomandazioni sono troppo astratte
Perché un rapporto sia facilmente comprensibile e possa essere utilizzato dai responsabili di progetto per gestire e migliorare l'efficacia dei loro interventi, è fondamentale la qualità con cui sono formulati il compendio e la parte introduttiva del rapporto stesso, nonché i capitoli dedicati alla situazione iniziale, alle conclusioni e alle raccomandazioni.
Figura 3 Qualità delle seguenti parti che compongono i rapporti di valutazione esterni: compendio, parte introduttiva, situazione iniziale, conclusioni e raccomandazioni Sintesi (n=114)
30%
49%
DSC (n=60)
28%
52%
SECO (n=42) DPDU (n=12)
38%
10%
DSC (n=60)
10% 12%
33%
55%
24%
21%
58%
Molto soddisfacente
10%
20%
30%
Soddisfacente
Fonte: dati del rapporto CEval (2023), allestiti dal CPA.
12%
27%
52%
DPDU (n=12)
16 / 44
25%
59%
12%
0%
6% 7%
50%
63%
SECO (n=42)
17%
42%
25%
DSC (n=60)
10%
17%
47%
42%
Conclusioni e raccomandazioni (n=114) 5%
CEval (2023), n. 3.1.
17%
37%
DPDU (n=12)
38
2%
58%
Introduzione e contesto (n=114)
13%
10%
43%
8%
SECO (n=42)
8%
17% 40%
50%
60%
Insoddisfacente
70%
8% 14% 25%
80%
90% 100%
Molto insoddisfacente
FF 2023 2894
Più del 75 per cento dei compendi dei rapporti di valutazione è soddisfacente (cfr.
fig. 3). Questo risultato piuttosto positivo è dovuto principalmente alla loro buona leggibilità, in quanto risultano comprensibili autonomamente, senza che si debba consultare l'intero rapporto. Il contenuto dei compendi risulta anche coerente con il resto della valutazione. Tuttavia, per quanto riguarda la DPDU, un terzo dei compendi è poco soddisfacente o non lo è affatto, soprattutto perché tali sintesi non sono esaustive.
La parte introduttiva e la situazione iniziale sono prevalentemente insoddisfacenti: in generale le introduzioni spiegano troppo poco il contesto politico dell'intervento.
L'analisi di tale contesto risulta particolarmente carente nei rapporti allestiti dalla DPDU: un aspetto problematico per un'unità che opera in ambienti politici sensibili che meritano una descrizione più rigorosa.
Infine, gran parte delle conclusioni e raccomandazioni sono soddisfacenti. I collegamenti tra i risultati e le conclusioni e raccomandazioni che ne derivano sono articolati in modo coerente. Tuttavia, come emerge anche dai colloqui condotti dal CPA, raramente le raccomandazioni sono rivolte a destinatari specifici, manca la definizione delle relative priorità e l'indicazione dei tempi di attuazione. Questo vale per tutte e tre le unità, anche se le raccomandazioni contenute nei rapporti di valutazione all'attenzione della SECO sono migliori. Talvolta questi ultimi includono anche una sintesi degli insegnamenti tratti dalla valutazione, utile per la gestione dei progetti (cfr.
n. 4.1).
Per il CPA il fatto che i rapporti siano generalmente comprensibili è chiaramente un punto a favore. In effetti, per gestire e migliorare i loro interventi, i responsabili di progetto devono poter cogliere gli insegnamenti principali in modo semplice e rapido.
Il CPA critica tuttavia il fatto che le raccomandazioni non siano direttamente utilizzabili.
3.3
Le valutazioni non consentono un rendiconto attendibile
La presentazione della metodologia e dei risultati nei rapporti è essenziale per riferire in modo attendibile sull'efficacia degli interventi.
17 / 44
FF 2023 2894
Figura 4 Qualità della presentazione della metodologia e dei risultati nei rapporti di valutazione esterni Presentazione della metodologia (n=114)
8%
12%
DSC (n=60)
13%
SECO (n=42)
10%
DPDU (n=12)
8%
Presentazione dei risultati (n=114)
8%
DSC (n=60)
39% 15%
37% 52%
67%
46%
38% 43%
10%
9%
40%
10%
48%
17%
Molto soddisfacente
25%
38%
SECO (n=42) 5%
0%
35%
36%
12%
DPDU (n=12)
40%
5%
67% 20%
30%
Soddisfacente
40%
50%
17% 60%
Insoddisfacente
70%
80%
90% 100%
Molto insoddisfacente
Fonte: dati del rapporto CEval (2023), allestiti dal CPA.
La presentazione della metodologia è la parte dei rapporti di valutazione che ottiene i voti peggiori (cfr. fig. 4), una carenza osservata in ugual misura in tutte e tre le unità.
In almeno il 75 per cento dei rapporti analizzati, la presentazione dell'approccio metodologico, del campionamento e dell'analisi dei dati è insoddisfacente. I rapporti mostrano carenze anche nella presentazione della raccolta dei dati e non spiegano sufficientemente i limiti della valutazione. L'analisi dettagliata delle presentazioni della metodologia ha permesso tuttavia di evidenziare un aspetto positivo: le informazioni sulle fonti dei dati sono precise e nella DPDU la qualità dei dati viene talora discussa in modo soddisfacente39.
I rapporti con una carente presentazione dei metodi mostrano inoltre una presentazione dei risultati insoddisfacente (cfr. fig. 4)40. L'analisi qualitativa della presentazione dei risultati riguarda anche la considerazione dei criteri di valutazione standard del CAS. Sebbene il criterio dell'efficacia sia uno dei meglio integrati nei rapporti di valutazione, le analisi dell'efficacia dei progetti non illustrano abbastanza i collegamenti tra causa ed effetto e non considerano né l'impatto a lungo termine e su larga scala né la sostenibilità dei progetti. Eppure si tratta di fattori necessari per valutare in modo affidabile l'efficacia di un intervento (cfr. n. 2.2). Tale carenza è dovuta principalmente al fatto che gran parte delle valutazioni esterne avviene mentre il progetto
39 40
CEval (2023), n. 3.4.
CEval (2023), n. 3.4.
18 / 44
FF 2023 2894
è in corso, quindi prima che abbia dispiegato tutti i suoi effetti41. In questa fase le persone incaricate della valutazione non hanno ancora modo di apprezzare l'efficacia di un intervento nel tempo o al di là degli eventuali beneficiari diretti. Dai colloqui condotti dal CPA emerge che il personale delle unità di valutazione è consapevole di questi limiti e auspica di poter effettuare più valutazioni dopo la conclusione di un progetto (valutazioni ex post). Una precedente analisi raccomandava già lo sviluppo di questo tipo di valutazioni42. La metavalutazione rivela inoltre che il criterio dell'efficienza non trova sufficiente riscontro nei risultati, mentre il criterio di rilevanza è ben suffragato.
In conclusione, il CPA critica la scarsa qualità della presentazione dei metodi, ritenendo che questa parte della valutazione sia necessaria per giudicare l'affidabilità dei risultati. Tuttavia, non è escluso che la metodologia sia intenzionalmente poco dettagliata, in quanto i processi e le direttive delle tre unità valutate prevedono la possibilità di redigere un rapporto che specifichi i metodi di valutazione (inception report) prima di effettuare una valutazione esterna. Questi rapporti non sono stati esaminati nella presente valutazione. Inoltre, stando ai colloqui condotti con l'Amministrazione, i capitoli sui metodi sono in parte percepiti come molto accademici e senza un'utilità diretta per la gestione degli interventi. Ma proprio per questo il fatto che i risultati non trattino sistematicamente i criteri derivati da standard internazionali (CAS) e che le valutazioni riguardino interventi in corso, la cui efficacia non può essere misurata in modo risolutivo, costituisce un problema. Per il CPA le valutazioni esterne non restituiscono l'efficacia della CI in modo sufficientemente fondato e sono quindi poco adatte a fini di rendiconto.
41
42
Solo la SECO è stata in grado di fornire al CPA dati numerici al riguardo: la percentuale di valutazioni effettuate durante (mid-term) o a fine progetto (end of term) è identica, pari al 47 %. La percentuale di valutazioni effettuate dopo la conclusione del progetto (ex post) è del 6 %. La scarsa considerazione dell'impatto nelle valutazioni di questa unità si spiega anche con il fatto che, fino al 2020, nelle direttive della SECO tale elemento non era previsto.
BSS (2020).
19 / 44
FF 2023 2894
Riquadro 1 Valutazione della CI svizzera nel confronto internazionale Come si colloca la qualità disomogenea delle valutazioni della CI svizzera nel confronto internazionale? Una breve rassegna della letteratura43 sulla qualità delle valutazioni in Germania, Austria e Finlandia mostra che la qualità delle valutazioni esterne in Svizzera è paragonabile e persino leggermente superiore a quella di altri Paesi. Tale risultato va però preso con cautela, poiché gli studi consultati non confrontano esattamente gli stessi tipi di valutazione o gli stessi tipi di interventi di sviluppo.
3.4
Gli strumenti utilizzati per gestire le valutazioni e la loro qualità variano da unità a unità
Dal momento che l'Amministrazione non effettua direttamente le valutazioni, è importante che disponga degli strumenti per gestirle e assicurarne la qualità. Gli strumenti descritti in questo sottocapitolo si applicano sia alle valutazioni esterne, sia a quelle indipendenti.
La DSC mette a disposizione del proprio personale un'ampia gamma di documenti per assicurare la qualità e la gestione dei vari tipi di valutazione. Tali documenti sono chiari e di facile utilizzo. Le linee guida, ad esempio, descrivono nel dettaglio le fasi di esecuzione di una valutazione e sono formulate in modo interessante e comprensibile. Esistono inoltre processi precisi con un'attribuzione adeguata delle responsabilità44. Per contro, la necessità di correlare le valutazioni con le strategie e gli obiettivi della CI viene affrontata solo in modo superficiale. Sulla base dell'analisi dei documenti e dei colloqui condotti con il personale, il CPA ha inoltre osservato che la DSC dispone di un numero particolarmente elevato di strumenti per l'esecuzione delle valutazioni, ossia almeno una ventina di documenti, generalmente ben corredati di modelli, istruzioni o esempi dettagliati (a titolo di confronto, la SECO ne ha una quindicina e la DPDU una decina). Il fatto che i suddetti strumenti siano numerosi ma non abbastanza diffusi può spiegare perché il personale non sia a conoscenza di alcuni di essi, come lo indica una precedente analisi45. Secondo la stessa fonte nonché uno stu-
43
44 45
Cfr. ad es. Väth, Susanne Johanna et al. (2022), Metaevaluation of MFA's project and programme evaluations in 20172020, su incarico del Ministero degli affari esteri della Finlandia; Silvestrini, Stefan et al. (2018), Metaevaluation of MFA's project and programme evaluations in 20152017, su incarico del Ministero degli affari esteri della Finlandia; Silvestrini, Stefan et al. (2019), Meta-Evaluation of ADA Project and Programme Evaluations, su incarico dell'Agenzia austriaca per lo sviluppo (Austrian Development Agency, ADA); Stockmann, Reinhard & Silvestrini, Stefan (2012), Synthese und Meta-Evaluierung, Berufliche Bildung, 2011, su incarico della Società tedesca per la cooperazione internazionale (Deutsche Gesellschaft für Internationale Zusammenarbeit, GIZ).
Questi risultati sono confermati anche da studi precedenti: OCSE (2019) e CEval (2022).
CEval (2022).
20 / 44
FF 2023 2894
dio precedente46, i responsabili di progetto non avrebbero le competenze necessarie per assicurare la qualità delle valutazioni esterne che commissionano. Il personale dell'unità di valutazione, invece, è considerato in possesso delle competenze necessarie e il supporto che fornisce alle unità operative è apprezzato. Dato che l'unità di valutazione non controlla direttamente le valutazioni esterne, mantenerne la qualità è comunque difficile (cfr. ad es. la qualità della presentazione di metodi e risultati, n. 3.3).
Figura 5 Frontespizi delle principali direttive di DSC, SECO e DPDU per la gestione delle valutazioni
Fonte: DSC (2020), SECO (senza data) e DPDU (2019)
I documenti di aiuto della SECO concernenti l'esecuzione e l'assicurazione della qualità delle valutazioni sono chiari, di facile utilizzo e spesso contengono numerose illustrazioni, ad esempio modelli. Il numero di strumenti disponibili sembra appropriato. I processi sono precisi e viene posta particolare enfasi sulla stesura del capitolato d'oneri, un aspetto pertinente data l'importanza di questa fase (cfr. n. 3.1).
Questa buona qualità d'insieme è già stata evidenziata da studi precedenti47. Come nel caso della DSC, però, anche gli strumenti della SECO affrontano solo superficialmente la questione del collegamento tra gli interventi valutati e gli obiettivi della CI.
Secondo quanto emerso dai colloqui condotti dal CPA, i responsabili di progetto identificano dei doppioni nei processi quando, alla fine di una fase di progetto, occorre parimenti redigere un rapporto oltre all'eventuale valutazione. Apprezzano invece il supporto fornito dall'unità di valutazione. Conoscono i sistemi di valutazione e hanno 46 47
CEval (2022) e Grasso (2020).
OCSE (2019a).
21 / 44
FF 2023 2894
una certa esperienza, ma spesso sono limitati nella gestione delle valutazioni per la mancanza di risorse appositamente dedicate a tale compito.
La DPDU dispone di un numero di strumenti nettamente inferiore rispetto alle altre due unità. Le direttive e i processi che trattano in modo specifico la qualità delle valutazioni sono pochi e poco dettagliati. La principale direttiva sulle valutazioni, invece, definisce le fasi chiave di una valutazione e descrive con precisione i contenuti dei capitolati d'oneri, in particolare attraverso modelli: è un aspetto che va sottolineato, poiché capitolati d'oneri di buon livello influiscono positivamente sulla qualità dei rapporti di valutazione (cfr. n. 3.1). Sebbene poco sviluppate nella descrizione dei processi, i colloqui condotti presso la DPDU hanno rivelato l'esistenza di fasi pertinenti per il controllo della qualità nella pratica. Rispetto alle altre due unità, la DPDU dispone inoltre di documenti più precisi sull'interconnessione dei suoi diversi livelli di obiettivi e strategie.
Riquadro 2 Specificità della DPDU Con il 2,3 per cento del credito quadro della Strategia CI 20212024, la DPDU dispone di un budget molto ridotto e quindi di meno risorse umane rispetto a DSC e SECO48 (cfr. n. 2.1). Inoltre, il personale della DPDU, composto perlopiù da diplomatici, ha poca esperienza nella gestione dei cicli di progetto, di cui fa parte pure la valutazione. Le collaboratrici e i collaboratori soggetti all'obbligo di trasferimento (come accade per una parte del personale della DSC) raramente rimangono presso la DPDU per più di quattro anni, quelli con contratti a tempo determinato ancora meno. Proprio questa permanenza limitata e le dimensioni ridotte dell'unità fanno sì che i responsabili di progetto abbiano poche occasioni di gestire le valutazioni, il che impedisce di sviluppare competenze specifiche in materia.
Le dimensioni ridotte della DPDU consentono frequenti interazioni tra l'unico responsabile dell'unità di valutazione e i responsabili di progetto. Questi ultimi hanno affermato durante i colloqui di apprezzare tali scambi nonché l'agilità dei processi, ritenendo che una standardizzazione troppo rigida sarebbe inappropriata, considerata l'unicità dei loro progetti. Per il CPA queste specificità possono spiegare la limitata supervisione delle
valutazioni; ritiene tuttavia che, vista la qualità discutibile delle valutazioni esterne della DPDU (cfr. n. 3.2 e 3.3), gli strumenti e in particolare i processi non siano sufficientemente sviluppati.
48
Strategia CI 20212024 (FF 2020 2313).
22 / 44
FF 2023 2894
4
Utilizzo delle valutazioni a fini di gestione e di rendiconto
Questo capitolo esamina le modalità di impiego delle valutazioni a fini di gestione e di rendiconto all'attenzione del Parlamento e dell'opinione pubblica. Il CPA si è basato sostanzialmente sui colloqui condotti e su studi precedenti, analizzando in particolare il modo in cui sono stati utilizzati i risultati e le raccomandazioni a livello del progetto valutato (gestione di progetto) e ai vari livelli strategici (gestione strategica), l'orientamento delle valutazioni agli obiettivi della CI e l'affidabilità dei tassi di riuscita pubblicati (cfr. all. 2).
Sintesi: il CPA ritiene che l'utilizzo delle valutazioni a fini di gestione e di rendiconto sia nel complesso parzialmente soddisfacente. L'utilizzo differenziato di valutazioni esterne e indipendenti a fini di gestione è globalmente appropriato (n. 4.1 e 4.2), mentre l'utilizzo delle valutazioni per riferire al Parlamento e all'opinione pubblica è inadeguato. Le valutazioni non sono sufficientemente utilizzate per misurare il raggiungimento degli obiettivi (n. 4.3) e i tassi di riuscita pubblicati non sono attendibili (n. 4.4).
4.1
Le valutazioni esterne sono utilizzate principalmente per la gestione dei progetti valutati
Dai colloqui condotti dal CPA e da altri rapporti49 risulta che le valutazioni esterne sono utilizzate quasi esclusivamente per la gestione dei progetti valutati e non per prendere decisioni a livello strategico. In generale le valutazioni vengono commissionate prima dell'inizio di una nuova fase di progetto. I responsabili dei progetti hanno osservato che le valutazioni esterne raramente forniscono loro nuove informazioni, ma sono comunque molto utili per adattare i progetti che gestiscono.
La SECO e la DSC utilizzano talvolta gli insegnamenti tratti dalle valutazioni esterne oltre il progetto valutato, ad esempio per gestire progetti su scala regionale o ripetere un intervento particolarmente riuscito in altri contesti. A tal fine vengono organizzati workshop tematici o reti tra il personale operativo, ma non si tratta di scambi sistematici. I rapporti biennali sulle prestazioni pubblicati dalla SECO forniscono un'analisi approfondita degli insegnamenti tratti dalle valutazioni (cfr. n. 4.3). Vale la pena citare anche alcuni rapporti che riferiscono sui risultati o mettono in luce esempi di progetti valutati, sebbene la DSC ritenga che manchi un'analisi sistematica degli insegnamenti tratti. Presso la DPDU è raro che le conoscenze confluiscano in altri progetti: i suoi interventi avvengono infatti in contesti così eterogenei che gli insegnamenti tratti dalle valutazioni possono essere esportati da una regione all'altra solo occasionalmente. Quanto appreso dai negoziati di pace in America Latina, ad esempio, non è direttamente applicabile ai conflitti in Medio Oriente.
Riguardo alle raccomandazioni formulate sulla base delle valutazioni esterne, il CPA ha osservato che sono state successivamente elaborate in modo lacunoso. In linea di principio questo processo inizia con la stesura di un parere, ossia la risposta dell'Am49
CEval (2022).
23 / 44
FF 2023 2894
ministrazione, che indica quali raccomandazioni saranno attuate e motiva perché altre non lo saranno o lo saranno solo in parte (management response). L'attuazione delle raccomandazioni dovrebbe in seguito essere oggetto di monitoraggio. Tuttavia, trattandosi di valutazioni esterne, l'intera procedura viene gestita dalle unità operative in modi diversi: i pareri non sono elaborati sistematicamente né l'attuazione delle raccomandazioni è regolarmente oggetto di un controllo successivo50.
Il CPA ritiene pertanto che l'utilizzo delle valutazioni esterne per la gestione dei progetti sia adeguata solo in parte, dal momento che si traggono insegnamenti utili per altri interventi solo occasionalmente e non sistematicamente. Osserva inoltre che le raccomandazioni contenute nelle valutazioni esterne sono trattate in modo incompleto. L'Amministrazione non può esaminare in che misura le valutazioni consentano di migliorare concretamente i progetti della CI.
4.2
Le valutazioni indipendenti sono appropriate per la gestione strategica
Secondo le persone sentite e i documenti analizzati, le valutazioni indipendenti vengono utilizzate per la gestione a livello strategico, che si tratti di orientamenti istituzionali, regionali o per questioni trasversali. Ad esempio, una valutazione concernente la struttura della DSC è servita come base per la sua riorganizzazione. Alla SECO le valutazioni su questioni trasversali, come il cambiamento climatico e il coinvolgimento del settore privato, imprimono una direzione agli orientamenti strategici in questi ambiti. Presso la DPDU una valutazione indipendente ha fatto sì che il Consiglio federale decidesse di ritirare il proprio sostegno all'Iniziativa di Ginevra51. Per i responsabili gerarchici delle tre unità, il valore aggiunto delle valutazioni indipendenti è innegabile, anche se i risultati che ne derivano raramente apportano fatti del tutto nuovi. Il coinvolgimento di esperti esterni consente loro di sostenere decisioni strategiche importanti e rafforza l'apprendimento istituzionale. In genere sono i responsabili gerarchici e le unità interessate dalla valutazione indipendente a redigere il parere relativo alle raccomandazioni, dopodiché la loro attuazione viene monitorata dalle unità di valutazione. Il CPA ha osservato che, contrariamente alle valutazioni esterne, la DSC, la SECO e la DPDU hanno assolto questa procedura con rigore e trasparenza.
Per alcuni, comunque, anche a questo livello le raccomandazioni sono spesso formulate in modo troppo astratto, ad esempio in relazione alle tempistiche proposte o ai soggetti coinvolti.
Il CPA giunge alla conclusione che l'utilizzo delle valutazioni indipendenti per la gestione strategica è adeguato, soprattutto per quanto riguarda l'adattamento dei programmi e l'organizzazione della CI.
50 51
Solo la SECO ha un'apposita sezione dedicata agli «insegnamenti» in un modulo di domanda per crediti di progetto.
Piano di pace per il conflitto israelo-palestinese ratificato a Ginevra nel 2003.
24 / 44
FF 2023 2894
4.3
Le valutazioni non sono utilizzate a sufficienza per misurare il raggiungimento degli obiettivi
Le valutazioni non servono solo a fini di gestione, ma anche di rendiconto e di rendicontabilità. Idealmente, oltre al monitoraggio e al controlling, le valutazioni dovrebbero aiutare i responsabili delle decisioni a valutare il raggiungimento degli obiettivi della CI.
In generale, come menzionato al numero 3.4, gli strumenti di gestione e di assicurazione della qualità delle valutazioni non prevedono esplicitamente che nei rapporti di valutazione si debba indicare in che modo tali valutazioni contribuiscano al raggiungimento degli obiettivi della CI.
Le valutazioni esterne non comprendono sistematicamente collegamenti espliciti con gli obiettivi della strategia CI52, ma le analisi del CPA e la perizia esterna53 hanno mostrato che talvolta menzionano di essere inserite in una strategia tematica o regionale (cfr. n. 3.2). Su richiesta del CPA, le unità analizzate hanno fornito informazioni che consentono comunque di correlare gli interventi valutati con gli obiettivi della CI (nel caso della SECO e della DPDU) o con i crediti quadro per la CI (nel caso della DSC), ma non esiste un collegamento diretto.
Le valutazioni indipendenti sono più orientate agli obiettivi della CI. A differenza delle valutazioni esterne, che misurano i progressi della CI sul campo, le valutazioni indipendenti si concentrano su questioni strategiche e contengono quindi più dati sul raggiungimento degli obiettivi della CI. Nella maggior parte dei casi, inoltre, le valutazioni indipendenti sono utilizzate nel rapporto finale54 per illustrare l'efficacia della CI.
Per poter riferire al Parlamento e all'opinione pubblica, bisogna conoscere anche i risultati delle valutazioni: i rapporti devono quindi essere pubblicati. Nonostante le tre unità dichiarino nelle loro direttive di voler diffondere le valutazioni a un ampio pubblico, nella pratica la SECO e la DPDU si limitano a pubblicare le loro valutazioni indipendenti, mentre le valutazioni esterne sono disponibili solo su richiesta. La prassi della DSC è più aperta, poiché pubblica la maggior parte dei suoi rapporti di valutazione55.
Oltre al rapporto finale sulla strategia, la DSC e la SECO pubblicano i propri rapporti valorizzando in modo diverso gli insegnamenti tratti dalle valutazioni esterne e indipendenti, ad esempio attraverso dei video la DSC56, con rapporti biennali
sulle prestazioni la SECO57. I rapporti biennali della SECO riportano in particolare statistiche sulla riuscita dei progetti o anche riflessioni ben documentate sulle prestazioni dei 52 53 54 55 56 57
Strategia CI 20212024 (FF 2020 2313).
CEval (2023), n. 3.3.
Rapporto finale 2020.
Sul sito Internet della DSC o su Aramis, la banca dati della Confederazione dedicata alla ricerca.
DSC: rapporti d'efficacia per temi e rapporti annuali disponibili su www.eda.admin.ch/deza > Effetti > Rapporti della DSC.
SECO: i rapporti di attività e d'efficacia sono disponibili su www.seco-cooperation.admin.ch > Documentation > Rapports > Rapports d'activité et sur l'efficacité (in tedesco, francese e inglese).
25 / 44
FF 2023 2894
progetti. Questi rapporti della DSC e della SECO, nonostante le loro innegabili qualità, non trattano tuttavia in modo sistematico il raggiungimento degli obiettivi della CI. Da parte sua, la DPDU utilizza altri strumenti per esaminare i propri progressi58, ma nemmeno questi sono direttamente orientati al raggiungimento del suo obiettivo di pace e diritti umani.
Per concludere, si può affermare che il contributo delle valutazioni esterne al raggiungimento degli obiettivi della CI non è abbastanza esplicito e che i rapporti di valutazione sono pubblicati in misura troppo limitata. L'utilizzo delle valutazioni nel rapporto finale59 all'attenzione del Parlamento non è soddisfacente, poiché l'efficacia della CI viene dimostrata principalmente attraverso esempi o casi di studio tratti da valutazioni indipendenti. Manca un bilancio sistematico del raggiungimento degli obiettivi della strategia.
4.4
I tassi di riuscita pubblicati degli interventi della CI non sono attendibili
La presunta efficacia della CI è dimostrata da cifre chiave, come i tassi di riuscita, pubblicati integralmente nel rapporto finale60 e in parte nella strategia CI, entrambi all'attenzione del Parlamento. Solo la DSC e la SECO calcolano e pubblicano questi tassi di riuscita; la DPDU non lo fa e questo sembra giustificato dal numero esiguo di valutazioni effettuate. Il presente sottocapitolo non riguarda quindi la DPDU.
Lo scopo dei tassi di riuscita è di riflettere le prestazioni dei progetti e dei programmi di cooperazione61, mentre nel rapporto finale62 figurano un tasso di riuscita complessivo nonché i tassi di determinati criteri del CAS (fig. 6). I tassi di riuscita complessivi della DSC e della SECO sono entrambi superiori all'80 per cento. La rilevanza dei progetti ottiene i risultati migliori, la sostenibilità quelli peggiori. Le due unità confrontano i tassi di riuscita pubblicati nel messaggio attuale con quelli del messaggio precedente. I tassi di riuscita sono calcolati sulla base dei rapporti di valutazione
58
59 60 61 62
Il benchmarking mira a determinare il valore aggiunto dell'impegno svizzero per la pace partendo dall'analisi di contesti. In una peer review i progetti di una regione vengono valutati dai collaboratori della DPDU specializzati in un'altra regione. Infine, il monitoraggio dei marcatori viene utilizzato per determinare l'influenza politica dell'impegno svizzero, identificando i marcatori linguistici nei discorsi o nei documenti ufficiali simili a quelli utilizzati dagli attori della DPDU negli scambi precedenti.
Rapporto finale 2020.
Idem.
I contributi ai partner multilaterali, che non costituiscono progetti a sé stanti, non sono contemplati nei tassi di riuscita.
Idem.
26 / 44
FF 2023 2894
esterni63. Essi rivelano tuttavia una serie di problemi, illustrati nei paragrafi successivi.
Figura 6 Tassi di riuscita della DSC e della SECO pubblicati nel rapporto finale sull'attuazione del messaggio 20172020
Fonte: rapporto finale sull'attuazione del messaggio 20172020, pagina 2 dell'allegato DSC (a sinistra) e pagina 3 dell'allegato SECO (a destra).
In primo luogo, i tassi di riuscita sono calcolati sulla base delle valutazioni esterne dei progetti, ma, come già illustrato in precedenza, tali valutazioni soddisfano solo in parte i requisiti di qualità (cfr. n. 3). Di conseguenza il punteggio attribuito al progetto è discutibile, poiché si basa su informazioni poco attendibili, soprattutto per la scarsa qualità della presentazione della metodologia e dei risultati (cfr. n. 3.3). Inoltre, una parte significativa delle valutazioni esterne è realizzata in corso di progetto e non al termine di quest'ultimo, per cui la valutazione non può fornire alcun giudizio risolutivo sulla riuscita del progetto, soprattutto a lungo termine, e ancor meno sulla sua sostenibilità. In assenza di tali informazioni, è problematico cercare di quantificare la presunta riuscita del progetto.
63
Calcolo del tasso di riuscita della DSC: sulla base dei rapporti di valutazione esterni, un ufficio esterno alla DSC assegna un voto ai criteri del CAS (rilevanza, efficacia, efficienza e sostenibilità) dell'intervento. Il tasso di riuscita complessivo corrisponde alla media dei voti. Per calcolare questo tasso sono state considerate 92 valutazioni esterne (su un totale di oltre 150).
Calcolo del tasso di riuscita della SECO: il team incaricato della valutazione attribuisce un punteggio a ogni criterio del progetto, successivamente convalidato dalla SECO sulla base delle valutazioni esterne. Il tasso di riuscita complessivo corrisponde alla percentuale di progetti che hanno ottenuto un punteggio che va da soddisfacente a ottimo. La SECO utilizza tutte le sue valutazioni esterne per calcolare il tasso di riuscita.
27 / 44
FF 2023 2894
In secondo luogo, i metodi di calcolo e la rappresentatività delle valutazioni esterne su cui si basa il calcolo sono stati oggetto di discussione. A seguito delle relative critiche, il calcolo dei tassi di riuscita della DSC e della SECO è stato armonizzato. Ciò nonostante, stando a uno studio precedente64, le differenze tra i tassi delle due unità non sono statisticamente rilevanti. Per le prossime versioni del rapporto finale e della Strategia CI, la DSC e la SECO hanno quindi previsto di presentare «tassi di riuscita comuni».
In terzo luogo, anche la rappresentatività dei progetti presi in considerazione nel calcolo dei tassi di riuscita è discutibile. Secondo le analisi del CPA per il periodo 2018 2020, la quota di progetti valutati dalla DSC per calcolare i propri tassi rappresenta meno del 5 per cento di tutti i suoi progetti, per la SECO tale cifra sale al 20 per cento.
In entrambi i casi la selezione dei progetti valutati non è quindi rappresentativa del numero totale di interventi di queste unità, il che non garantisce in alcun modo che i tassi calcolati riflettano fedelmente i successi, e in particolare gli insuccessi, della CI.
In effetti i progetti che hanno avuto un chiaro esito fallimentare non sempre sono sottoposti a una valutazione esterna, in parte perché si ritiene che si possa imparare poco da essi, in parte per evitare costi65. I tassi di riuscita sono più elevati quando si basano su valutazioni prevalentemente positive. La selezione dei progetti valutati può quindi essere rilevante in termini di utilizzo delle valutazioni per la gestione dei progetti, ma non per il calcolo dei tassi di riuscita e per il rendiconto.
In quarto luogo, i valori elevati dei tassi di riuscita suscitano un certo scetticismo anche tra le persone sentite dal CPA. Tassi di riuscita complessivi superiori all'80 per cento indicano che gran parte dei progetti si conclude con successo. Il personale dell'Amministrazione e gli specialisti affermano tuttavia che, nel campo della cooperazione, è normale sperimentare nuove forme di intervento e non di rado succede che i progetti non diano i risultati auspicati. Se i tassi riflettessero questa realtà, sarebbero più bassi. Inoltre, di solito ci si aspetta che tali indicatori progrediscano nel corso degli anni, dal momento che un trend positivo è spesso
associato a una capacità di miglioramento. Alla luce di tassi già così elevati, ci si chiede tuttavia se un ulteriore aumento dei punteggi sarebbe ancora credibile.
In conclusione, gran parte del personale delle unità di valutazione e dei responsabili gerarchici è critica nei confronti dei tassi di riuscita pubblicati e condivide le varie constatazioni di cui sopra. Alcuni sottolineano comunque che questi dati, nonostante non siano perfetti, consentono di aggregare una grande quantità di informazioni in poche cifre facilmente comprensibili. Il CPA ritiene che, sebbene i tassi di riuscita siano facili da comprendere, non è opportuno pubblicarli, in quanto le motivazioni alla base sono problematiche e la loro interpretazione ambigua.
64 65
BSS (2020), n. 2.3.1.
BSS (2020), n. 2.2.2.
28 / 44
FF 2023 2894
5
Costi delle valutazioni
Il CPA ha analizzato se i costi delle valutazioni commissionate dalle tre unità sono appropriati. I dati forniti da queste ultime sono stati inviati anche al mandatario esterno per alcune analisi66. In questo capitolo si esaminano la trasparenza dei costi nonché l'adeguatezza sia del rapporto tra i costi e la qualità delle valutazioni sia del rapporto tra i costi delle valutazioni e quelli degli interventi (cfr. all. 2).
Sintesi: il CPA osserva che i costi sono stabiliti in modo trasparente (n. 5.1) e sono contenuti rispetto al budget complessivo degli interventi (n. 5.2).
5.1
I costi dei mandati di valutazione sono trasparenti
Su richiesta del CPA, ognuna delle tre unità analizzate ha fornito una tabella con l'elenco dei costi delle rispettive valutazioni. Queste tabelle mostrano i costi di tutte le valutazioni esterne e indipendenti condotte da queste unità durante il periodo esaminato (20182020).67 Una valutazione indipendente, che generalmente si concentra su un aspetto strategico o trasversale, comporta costi più elevati, compresi tra 22 500 e 333 200 franchi (costo medio = 138 000 franchi), mentre una valutazione esterna, che si concentra su un progetto o programma particolare, costa tra 4700 e 114 700 franchi (costo medio = 34 000 franchi). Alcuni progetti e valutazioni sono cofinanziati da partner che operano negli stessi settori. Ad esempio, la SECO ha fornito informazioni precise anche sui costi delle valutazioni che sono stati assunti da altre organizzazioni. Sebbene la tabella riassuntiva dei costi elaborata dalle unità di valutazione abbia talvolta rappresentato un onere di lavoro elevato per la raccolta dei dati, il CPA ritiene che la trasparenza dei costi sia adeguata.
Va sottolineato tuttavia che questi costi rappresentano le spese sostenute per il mandato di valutazione esterna, dunque non tengono conto dei costi interni all'Amministrazione per la stesura del capitolato d'oneri, la selezione delle persone incaricate della valutazione, la risposta alle raccomandazioni o il monitoraggio della loro attuazione, né per le valutazioni esterne né per quelle indipendenti. Non vengono presi in considerazione nemmeno i benefici correlati all'utilizzo delle valutazioni: queste ultime possono infatti migliorare l'efficacia delle CI e consentire notevoli risparmi, ma questo valore aggiunto non viene conteggiato.
5.2
I costi delle valutazioni sono generalmente contenuti
Secondo i dati forniti, i costi delle valutazioni esterne delle tre unità esaminate variano dallo 0,8 al 2,5 per cento del costo degli interventi valutati (tab. 3).
66 67
CEval (2023).
La differenza tra valutazioni esterne e indipendenti è spiegata al n. 2.2.
29 / 44
FF 2023 2894
Tabella 3 Costi medi delle valutazioni esterne (effettivi e proporzionali) Unità amministrativa
Costo medio di una valutazione esterna1
Percentuale media del costo della valutazione esterna1 rispetto al costo dell'intervento2
DSC
39 751 franchi
1,2 %
SECO
28 082 franchi
0,8 %
DPDU
23 361 franchi
2,5 %
1 2
Costi del mandato di valutazione esterna (parte finanziata dall'unità interessata).
Il costo dell'intervento corrisponde al budget stanziato per l'intervento nel periodo 20182020.
Fonte: calcoli propri, basati sui dati forniti da DSC, SECO e DPDU.
Non ci sono regole rigide sulla parte di budget di un intervento o di un progetto da destinare alla valutazione. Questo dipende da una serie di fattori, come il tipo (pubblico o privato) e il budget dell'organizzazione interessata, la regione coinvolta o ancora la natura e la portata della valutazione. Mentre alcuni fanno riferimento alla «regola d'oro» di destinare il 10 per cento del budget alla valutazione68, altre fonti indicano percentuali comprese tra lo 0,5 e il 20 per cento69. Le cifre ottenute per la DSC, la SECO e la DPDU si collocano quindi nella fascia inferiore di questo intervallo. Alcune delle persone sentite ritengono che le unità in questione valutino poco rispetto ad altri Paesi, ma la maggioranza concorda sul fatto che le percentuali attuali siano piuttosto adeguate, tenuto conto del rapporto costi-benefici generato, tanto più che, secondo l'analisi del mandatario esterno, non esiste una correlazione statistica tra i costi delle valutazioni esterne e i loro vari aspetti qualitativi70.
I costi delle valutazioni esterne sono relativamente contenuti (in media tra i 23 000 e i 40 000 fr.), se confrontati ad esempio con le valutazioni indipendenti (costi medi di 138 000 fr., cfr. n. 2.2) o con altre valutazioni dell'Amministrazione federale. Dal momento che devono per forza essere realizzate con risorse limitate, è piuttosto comprensibile che la loro qualità metodologica risulti complessivamente insufficiente (cfr.
n. 3.3).
68 69
70
Lagarde, François / Kassirer, Jay & Lotenberg, Lynne (2012), Budgeting for Evaluation: Beyond the 10 % Rule of Thumb. Social Marketing Quarterly 18: 247251.
Twersky, Fay & Arbreton Amy (2014), Benchmarks for spending on evaluation.
The William and Flora Hewlett Foundation; Corporation for National and Community Service AmeriCorps (2014), Budgeting for Evaluation. State and National Symposium (presentazione PPT); Australian Social Value Bank, Evaluation What percentage of your budget should you spend?, 1° nov. 2018, https://asvb.com.au > About ASVB > What's new (data di consultazione: 1° feb. 2023); BetterEvaluation.org, Identify what resources are available for the evaluation and what will be needed (senza data), www.betterevaluation.org > Manager's guide to evaluation > Scope Evaluation (data di consultazione: 1° feb. 2023); https://zewo.ch > préalables organisationnels > budget (data di consultazione: 20 mar. 2023).
CEval (2023), n. 4.4 e allegato, n. 7.4.1. L'unica eccezione riguarda i rapporti SECO, dove i costi più elevati vanno di pari passo con una migliore qualità della presentazione dei metodi.
30 / 44
FF 2023 2894
6
Conclusioni
Il CPA ha valutato il modo in cui l'Amministrazione misura l'efficacia della CI, ma non l'efficacia della CI in sé. Nel complesso il CPA giunge alla conclusione che l'efficacia della CI misurata per il tramite di valutazioni è parzialmente appropriata. Per quanto riguarda la qualità delle valutazioni esterne, sono stati identificati punti di forza ma anche di debolezza (n. 6.1). Gli strumenti di gestione delle valutazioni e di assicurazione della loro qualità sono in gran parte appropriati, seppure disponibili in numero variabile (n. 6.2). L'utilizzo delle valutazioni a fini di gestione a vari livelli è complessivamente appropriato. Le raccomandazioni contenute nelle valutazioni esterne sono trattate in modo incompleto (n. 6.3). L'utilizzo delle valutazioni per il rendiconto al Parlamento e all'opinione pubblica è inadeguato, soprattutto per quanto riguarda i tassi di riuscita pubblicati (n. 6.4). Infine, i costi delle valutazioni sono trasparenti e piuttosto contenuti (n. 6.5).
6.1
Punti di forza e di debolezza delle valutazioni esterne
La qualità delle valutazioni esterne, vale a dire le valutazioni di progetti commissionate dalle unità operative DSC, SECO e DPDU, non è uniforme: se quelle della DSC e della SECO sono pressappoco paragonabili, quelle della DPDU presentano in generale maggiori lacune (n. 3.1, 3.2 e 3.3), dovute in particolare alle caratteristiche specifiche di questa unità amministrativa (n. 3.4).
La qualità dei capitolati d'oneri su cui si basano le valutazioni esterne è generalmente soddisfacente. Come confermato dalla metavalutazione esterna, è essenziale che i capitolati d'oneri siano bene allestiti, poiché influiscono sulla qualità del rapporto di valutazione (n. 3.1). Nel complesso i punti di forza dei rapporti di valutazione sono la buona comprensibilità delle sintesi e la trasparenza delle fonti dei dati. La maggior parte delle valutazioni descrive adeguatamente il proprio oggetto di studio, le sintesi sono di buona qualità e la coerenza tra i risultati e le conclusioni è soddisfacente.
Questi elementi facilitano la comprensione delle valutazioni e la loro utilità per la gestione di progetti, anche se le raccomandazioni sono formulate in modo troppo vago (n. 3.2). A questi punti di forza si contrappongono però alcuni punti di debolezza, che riguardano nello specifico una presentazione lacunosa della metodologia e dei risultati. Tali mancanze evidenziano il fatto che i rapporti di valutazione esterna faticano a restituire un quadro reale dell'efficacia dei progetti di cooperazione e sottolineano i limiti delle valutazioni esterne in termini di rendiconto all'attenzione del Parlamento e dell'opinione pubblica (n. 3.3).
Un breve confronto con altri Paesi come Germania, Austria e Finlandia mostra tuttavia che il livello della qualità delle valutazioni della CI svizzera è equiparabile (n. 3.3).
31 / 44
FF 2023 2894
6.2
Gli strumenti di gestione delle valutazioni sono in gran parte appropriati ma disponibili in numero variabile
Poiché l'Amministrazione non effettua direttamente le valutazioni, è importante che disponga degli strumenti per gestirle e assicurarne la qualità. Nell'insieme la DSC e la SECO possono contare su direttive, processi e responsabilità chiari per adempiere questi compiti. Alla DSC, però, i documenti sono molto numerosi, e questo potrebbe spiegare perché tali strumenti sono poco utilizzati. La DPDU, invece, dispone di pochi strumenti e relativamente poco dettagliati (n. 3.4), il che può essere spiegato in parte con le dimensioni ridotte e le missioni specifiche di questa unità. Tuttavia i pochi processi esistenti non bastano ad assicurare la qualità delle valutazioni esterne (cfr.
n. 3.2 e 3.3). Infine, i responsabili di progetto apprezzano il supporto e le competenze del personale delle unità di valutazione di DSC, SECO e DPDU, che fornisce loro un aiuto prezioso per la gestione delle valutazioni (n. 3.4).
6.3
Le valutazioni sono utilizzate in modo globalmente adeguato a fini di gestione
L'Amministrazione utilizza i due tipi di valutazione (esterna e indipendente) in modo differenziato.
Le valutazioni esterne, commissionate dalle unità operative e relative ai progetti di cooperazione, sono principalmente finalizzate a gestire i progetti valutati. La SECO e la DSC sfruttano talvolta gli insegnamenti tratti dalle valutazioni esterne per altri interventi, ad esempio su scala regionale o per ripetere progetti particolarmente riusciti in altri contesti. In seno alla DPDU è più raro che le conoscenze confluiscano in altri progetti, in quanto i suoi interventi avvengono in contesti del tutto particolari (n. 4.1).
Il CPA ritiene inoltre che le raccomandazioni derivanti dai risultati dalle valutazioni esterne non siano state sufficientemente elaborate. In effetti l'Amministrazione non esprime sistematicamente un parere né monitora l'attuazione delle raccomandazioni.
Di conseguenza non è chiaro in che misura l'utilizzo delle valutazioni possa migliorare i progetti della CI (n. 3.2 e 4.1).
Le valutazioni indipendenti, che sono commissionate dalle unità di valutazione e riguardano temi più trasversali, sono utilizzate per la gestione strategica della CI. Queste valutazioni raramente producono risultati del tutto nuovi, ma supportano le decisioni strategiche dei responsabili gerarchici. A questo livello l'elaborazione successiva delle raccomandazioni è rigorosa (n. 4.2).
32 / 44
FF 2023 2894
6.4
L'utilizzo delle valutazioni ai fini di rendiconto al Parlamento e all'opinione pubblica è inadeguato
Chi prende le decisioni a livello politico deve sapere se gli obiettivi definiti nella strategia CI71 che ha approvato vengono raggiunti. Poiché la CI svolge le sue attività all'estero, è altresì essenziale che i contribuenti svizzeri ricevano informazioni sulla sua efficacia. La valutazione è l'unico strumento in grado di andare sufficientemente in profondità per stabilire un collegamento tra un intervento e i suoi effetti. Inoltre, a differenza del monitoraggio, che è di competenza dell'Amministrazione stessa, le valutazioni nell'ambito della CI sono affidate a persone esterne, il che le rende più indipendenti. La valutazione ha una funzione esplicita di rendicontabilità (n. 2.2).
Le valutazioni esterne, che costituiscono di gran lunga la maggior parte delle valutazioni effettuate, presentano carenze di tipo qualitativo (cfr. n. 6.1) e non tutte sono rese pubbliche, il che limita la loro funzione di rendicontabilità. Sebbene menzionino talvolta la loro integrazione in una strategia tematica o regionale, queste valutazioni non fanno direttamente riferimento al raggiungimento degli obiettivi della strategia CI. Le valutazioni indipendenti, invece, sono solitamente più orientate agli obiettivi strategici e alcuni dei loro insegnamenti vengono recepiti nel rapporto finale72 all'attenzione del Parlamento e dell'opinione pubblica, in che costituisce un aspetto positivo. Tuttavia il rapporto finale non contiene un bilancio esplicito riguardo al raggiungimento degli obiettivi della strategia CI. Il DFAE e il DEFR osservano miglioramenti nel monitoraggio, ma resta da vedere in che misura questo strumento fornirà informazioni affidabili e sistematiche sul raggiungimento degli obiettivi della strategia (n. 4.3).
Il rapporto finale73 presenta i tassi di riuscita al fine di riferire sull'efficacia dei progetti di cooperazione. Benché questi dati abbiano il vantaggio di essere sintetici, non sono rilevanti: si basano su valutazioni esterne non sufficientemente fondate e non sono rappresentativi dell'insieme dei progetti della CI. Questo si traduce in punteggi molto alti. Nel complesso il CPA ritiene che i tassi di riuscita non riflettano in modo risolutivo l'efficacia della CI né apportino alcun valore aggiunto che ne giustifichi la priorità nei rapporti all'attenzione del Parlamento e dell'opinione pubblica (n. 4.4).
6.5
I costi delle valutazioni sono trasparenti e generalmente contenuti
I costi delle valutazioni sono stabiliti in modo trasparente. Le tre unità valutate sono state in grado di comunicare in modo chiaro al CPA i costi delle loro valutazioni esterne e indipendenti, talvolta anche differenziando i costi sostenuti dall'unità interessata e i costi totali della valutazione nel caso di progetti cofinanziati con altri partner (n. 5.1).
71 72 73
Strategia CI 20212024 (FF 2020 2313).
Rapporto finale 2020.
Idem.
33 / 44
FF 2023 2894
Le valutazioni esterne delle tre unità esaminate sono costate in media tra i 23 000 e i 40 000 franchi, pari a una percentuale compresa tra lo 0,8 e il 2,5 per cento del budget degli interventi valutati. Nel confronto internazionale queste cifre si collocano nella fascia inferiore della spesa destinata alle valutazioni nel settore della CI (n. 5.2). Considerate le risorse limitate riservate alle valutazioni esterne, è comprensibile che queste presentino delle carenze sul piano metodologico (n. 3.3), ma non esiste una correlazione statistica tra i costi e la qualità delle valutazioni (n. 5.2).
34 / 44
FF 2023 2894
Abbreviazioni art.
articolo
CAS
Comitato di aiuto allo sviluppo dell'Organizzazione per la cooperazione e lo sviluppo economico
CDF
Controllo federale delle finanze
CdG
Commissioni della gestione delle Camere federali
CdG-N
Commissione della gestione del Consiglio nazionale
CdG-S
Commissione della gestione del Consiglio degli Stati
cfr.
confronta
CI
Cooperazione internazionale
Cost.
Costituzione federale (RS 101)
CPA
Controllo parlamentare dell'amministrazione
cpv.
capoverso
DEFR
Dipartimento federale dell'economia, della formazione e della ricerca
DFAE
Dipartimento federale degli affari esteri
DPDU
Divisione Pace e diritti umani
DSC
Direzione dello sviluppo e della cooperazione
ETP
equivalenti a tempo pieno
FF
Foglio federale
fig.
figura
GmbH
Gesellschaft mit beschränkter Haftung, società a garanzia limitata (in tedesco nel testo)
«legge CaS-AU»
Legge federale del 19 marzo 1976 sulla cooperazione allo sviluppo e l'aiuto umanitario internazionali (RS 974.0)
«legge Est»
Legge federale del 30 settembre 2016 sulla cooperazione con gli Stati dell'Europa dell'Est (RS 974.1)
«legge Sicurezza umana»
Legge federale del 19 dicembre 2003 su misure di promozione civile della pace e di rafforzamento dei diritti dell'uomo (RS 193.9)
lett.
lettera
n.
numero
OCSE
Organizzazione per la cooperazione e lo sviluppo economico
RS
Raccolta sistematica del diritto federale
SECO
Segreteria di Stato dell'economia
35 / 44
FF 2023 2894
Bibliografia BSS Economic Consultants (2020), Assessing the performance of the Swiss international cooperation.
CAS (2011), Évaluer la coopération pour le développement. Récapitulatif des normes des standards de référence (2a ed.).
CAS (2021), Des meilleurs critères pour des meilleures évaluations. Définitions adaptées et principes d'utilisation.
CEval (2022), Concept note: Meta-evaluation of 50 decentralized project evaluations of the DEZA. Non pubblicata.
CEval (2023), Valutazione dell'efficacia nel contesto della cooperazione internazionale: metavalutazione DSC/SECO/DPDU. Su incarico del Controllo parlamentare dell'amministrazione.
Consiglio federale (2020), Messaggio del 19 febbraio 2020 concernente la strategia di cooperazione internazionale 20212024 (Strategia CI 20212024; FF 2020 2313).
Controllo federale delle finanze (2017), Verifica dei criteri della strategia di attribuzione di progetti bilaterali di aiuto allo sviluppo per singolo Paese Direzione dello sviluppo e della cooperazione. (disponibile in francese con riassunto in italiano) Controllo federale delle finanze (2019a), Verifica dei contributi nell'ambito della promozione della pace e della politica di sicurezza umana Dipartimento federale degli affari esteri. (disponibile in francese con riassunto in italiano) Controllo federale delle finanze (2019b), Programma globale Acqua e Programma Globale Cambiamento climatico e ambiente Verifiche di progetti in Senegal, Perù, Uruguay e Svezia. (disponibile in tedesco con riassunto in italiano) Controllo federale delle finanze (2020), Verifica degli effetti duraturi dei progetti di cooperazione bilaterale allo sviluppo Direzione dello sviluppo e della cooperazione.
(disponibile in tedesco con riassunto in italiano) Controllo federale delle finanze (2022), Verifica dei sussidi delle ONG partner svizzere nel settore umanitario Direzione dello sviluppo e della cooperazione, Croce Rossa Svizzera, Caritas Svizzera. (disponibile in francese con riassunto in italiano) Controllo federale delle finanze (pubblicazione prevista nel 2023b), Verifica dei sussidi per le misure COVID-19 nei Paesi in sviluppo Direzione dello sviluppo e della cooperazione. (disponibile in francese con riassunto in italiano) Corporation for National and Community Service AmeriCorps (2014): Budgeting
for Evaluation. State and National Symposium (presentazione PPT).
DSC: Sezione Valutazione e controllo di gestione (E+C) / Sezione Assicurazione qualità e riduzione della povertà (AQ) (2020), How-to Note Evaluation, Direzione dello sviluppo e della cooperazione, A toolkit for programme and project evaluation.
DSC, SECO, DSU (2018), Rapporto intermedio sull'attuazione del messaggio 2017 2020.
36 / 44
FF 2023 2894
DSC, SECO, DSU (2020), La cooperazione internazionale della Svizzera è efficace.
Rapporto finale sull'attuazione del messaggio 20172020 (Rapporto finale 2020).
DPDU (2019), Evaluation in der AFM, Anleitung.
Grasso, Patrick G. (2020), Peer review of four evaluation functions, novembre 2020.
Gruppo di lavoro interdipartimentale «Verifiche dell'efficacia» (IDEKOWI) (2004), Définitions des termes «évaluation, controlling et monitoring».
Lagarde, François / Kassirer, Jay & Lotenberg, Lynne (2012), Budgeting for Evaluation: Beyond the 10 % Rule of Thumb. Social Marketing Quarterly 18, 247251.
Massey, Oliver T. (2011), A proposed model for the analysis and interpretation of focus groups in evaluation research. Evaluation and program planning, 34(1), 2128.
OCSE (2019), Examens de l'OCDE sur la coopération pour le développement: Suisse.
Éditions OCDE, Parigi. (disponibile anche in inglese) SECO (senza data), Evaluation Guidelines SECO/WE.
Silvestrini, Stefan / Väth, Susanne Johanna / Römling, Cornelia / Lieckefett, Michael / Mikkolainen, Petra (2018), Metaevaluation of MFA's project and programme evaluations in 20152017, su incarico del Ministero degli affari esteri della Finlandia.
Helsinki: Ministero degli affari esteri della Finlandia, 2018/3.
Silvestrini, Stefan / Bäthge, Sandra. (2019), Meta-Evaluation of ADA Project and Programme Evaluations, su incarico dell'Agenzia austriaca per lo sviluppo. Vienna: Austrian Development Agency, ADA.
Stockmann, Reinhard & Silvestrini, Stefan (2012), Synthese und Meta-Evaluierung, Berufliche Bildung, 2011, su incarico della Società tedesca per la cooperazione internazionale. Bonn: Deutsche Gesellschaft für Internationale Zusammenarbeit (GIZ) GmbH.
Twersky, Fay & Arbreton Amy (2014), Benchmarks for spending on evaluation.
The William and Flora Hewlett Foundation.
Väth, Susanne Johanna / Silvestrini, Stefan / Gaus, Hansjörg / Mikkolainen, Petra / Flaig, Maja / Wicke, Janis (2022), Metaevaluation of MFA's project and programme evaluations in 20172020, su incarico del Ministero degli affari esteri della Finlandia.
Helsinki: Ministero degli affari esteri della Finlandia, 2022/1.
Widmer, Thomas / De Rocchi, Thomas (2012), Evaluation: Grundlagen, Ansätze und Anwendungen. Zurigo: Rüegger Verlag.
37 / 44
FF 2023 2894
Elenco delle persone sentite L'elenco seguente indica la funzione della persona in questione nel momento in cui è stata sentita dal CPA.
Bay-Scheidegger, Emilie Bernasconi, Jean-Luc Bieler, Peter Bloch, Massimo Brüschweiler, Sabine Büchel, Konstantin Conus, Vincent de Sá Kirchknopf, Liliana Demaurex, Grégoire Friedmann, Rémy Gass, Thomas Gehring, Rea Geissbühler, Simon Inglin, Andrea Krapp, Stefanie Leibundgut, Irène Locher, Martina Michaelowa, Katharina Nigg, Reto Orjales, Carlos Paravicini, Dominique
38 / 44
incaricata di programma, sezione Pace MENA, DPDU capo della divisione Principi fondamentali e qualità, DSC capo della sezione Africa orientale e australe, DSC collaboratore scientifico WEIF, Sviluppo del settore privato, SECO specialista Finanze e amministrazione, servizio specializzato Valutazione e controllo di gestione, DSC Dr., Public Economics, Istituto di economia pubblica dell'Università di Berna collaboratore diplomatico, DPDU responsabile del settore Sviluppo del settore privato, SECO perito revisore, Verifiche di vigilanza finanziaria, CDF consulente senior, sezione Diplomazia dei diritti umani, DPDU vicedirettore e capo della divisione Cooperazione Sud, DSC capo supplente, sezione Geografico, DPDU capo della divisione Pace e diritti umani, ambasciatore, DPDU incaricata di programma, sezione Economia e formazione, DSC responsabile sezione Valutazione, Centro universitario di formazione (ZUW), Università di Berna capo dello Stato maggiore DPDU collaboratrice scientifica WEHU, settore Promozione commerciale, SECO Professoressa presso l'Istituto di scienze politiche, Università di Zurigo capo del servizio specializzato Assicurazione qualità (AQ) e digitalizzazione interna, DSC collaboratore scientifico WEMU, settore Sostegno macroeconomico, SECO capo del campo di prestazioni WE Cooperazione e sviluppo economici, SECO
FF 2023 2894
Piaget, Jenny Ramming, Martina Saladin, Martin Schilling, Raphael Schneider, Johannes Schneller, Lukas Sguaitamati, Damiano Sturm, Valérie Swedor, Geneviève Tedeschi, Romana Terberger, Eva Thönen, Reto Vogel, Dagmar Widmer, Thomas Windisch, Roman
capo della sezione Diplomazia dei diritti umani, DPDU consulente di politica settoriale, sezione Economia e formazione, DSC capo delle operazioni WEOP / sostituto del capo del campo di prestazioni Operazioni Sud/Est, SECO presidente del Comitato di valutazione SECO, South Pole Group capo del settore Qualità e risorse WEQA, SECO capo del settore Politica e servizi WEPO, SECO incaricato di programma, sezione Diplomazia umanitaria, DPDU collaboratrice scientifica, settore Qualità e risorse WEQA, SECO incaricata di programma, sezione Pace Africa, DPDU capo del servizio specializzato Valutazione e controllo di gestione, DSC membro del Comitato di valutazione SECO, professoressa all'Università di Mannheim incaricato di programma, servizio specializzato Valutazione e controllo di gestione, DSC capo del settore Finanziamento dell'infrastruttura WEIN, SECO Professore presso l'Istituto di scienze politiche, Università di Zurigo responsabile di programma, settore Finanziamento dell'infrastruttura WEIN, SECO
39 / 44
FF 2023 2894
Allegato 1
Approccio di valutazione
Obiettivi politici
La misurazione dell'efficacia della CI è finalizzata a migliorarne la gestione e il rendiconto al Parlamento e all'opinione pubblica, dal momento che gli interventi hanno luogo all'estero.
Come raggiungerli
La DSC, la SECO e la DPDU, incaricate di attuare la CI, misurano l'efficacia dei loro interventi utilizzando tre strumenti: la valutazione, il monitoraggio e il controlling. La valutazione è lo strumento principale per misurare l'efficacia.
Oggetto della valutazione
Questa analisi esamina in che modo l'Amministrazione vale a dire la DSC, la SECO e la DPDU utilizzano le valutazioni per misurare l'efficacia della CI.
Questioni trattate
Le valutazioni nel contesto della CI sono qualitativamente buone?
Analisi effettuate
Le valutazioni sono utilizzate in modo appropriato per gestire la CI e riferire al Parlamento e all'opinione pubblica?
I costi delle valutazioni sono appropriati?
Metavalutazione (mandato esterno)
Analisi di documenti
Analisi dei costi
Colloqui bilaterali
Colloqui bilaterali
Analisi di documenti
Colloqui di gruppo
Colloqui di gruppo
Colloqui bilaterali
40 / 44
Metavalutazione (mandato esterno)
FF 2023 2894
Allegato 2
Criteri di valutazione Criteri specifici
Elementi di valutazione
Qualità delle valutazioni esterne (n. 3) Adempimento dei criteri di qualità
I criteri di qualità sono valutati in gran parte come soddisfacenti.
Qualità dei capitolati d'oneri
I capitolati d'oneri, redatti dall'Amministrazione, sono in gran parte soddisfacenti.
Qualità dei rapporti di Per l'utilità a fini di gestione, il compendio, la parte introvalutazione esterna duttiva, la situazione iniziale, le conclusioni e le raccomandazioni sono soddisfacenti. Per il rendiconto basato su risultati validi, la presentazione della metodologia e dei risultati è soddisfacente.
Adeguatezza delle differenze di qualità tra le unità
Le differenze di qualità tra le tre unità amministrative possono essere giustificate dalla specificità delle loro missioni, dalle loro risorse o dai contesti in cui effettuano le valutazioni.
Adeguatezza degli strumenti di gestione e assicurazione della qualità delle valutazioni
Le direttive e gli altri documenti per gestire i diversi tipi di valutazione sono chiari, di facile utilizzo e non ridondanti.
I requisiti di qualità per i diversi tipi di valutazione sono chiaramente definiti. Le fasi di lavoro e le responsabilità sono chiare, non superflue né ridondanti, e descritte in un processo. Il numero di strumenti disponibili è appropriato.
Appropriatezza delle competenze nella gestione di valutazioni
I responsabili dell'assicurazione qualità hanno le competenze appropriate per la gestione di valutazioni. Forniscono un contributo alla gestione di valutazioni.
Utilizzo adeguato delle valutazioni (n. 4) Utilità dei risultati della valutazione e delle raccomandazioni
I risultati e le raccomandazioni delle valutazioni sono ben fondati, comprensibili e utili. Forniscono nuove conoscenze e sono integrati nel processo decisionale, sia a livello degli interventi valutati sia a livello strategico. Le raccomandazioni sono indirizzate a destinatari chiaramente specificati, con priorità e tempistiche definite. I rapporti di valutazione sono pubblicati.
Influenza delle valutazioni sulla gestione a vari livelli
I risultati delle valutazioni sono utilizzati a fini di gestione a vari livelli: adattare o migliorare gli interventi valutati; adattare altri interventi; adattare strategie tematiche o regionali; adattare l'organizzazione delle unità amministrative; adattare la strategia CI.
41 / 44
FF 2023 2894
Criteri specifici
Elementi di valutazione
Adeguatezza dell'elaborazione successiva delle raccomandazioni
Le raccomandazioni delle valutazioni sono oggetto di un parere in cui si spiega quali di queste saranno attuate e in che misura (management response). L'attuazione di queste misure è regolarmente monitorata.
Orientamento Le valutazioni, o quantomeno gli interventi valutati, fanno delle valutazioni esplicito riferimento agli obiettivi di cui nel messaggio sulla agli obiettivi della CI strategia della CI ed esaminano il contributo degli interventi al raggiungimento di tali obiettivi, rendendo così possibile determinare il grado di raggiungimento degli obiettivi.
Orientamento sommativo delle valutazioni
Le valutazioni esterne sono essenzialmente di tipo sommativo; fanno il punto sul raggiungimento degli obiettivi degli interventi e sono finalizzate al rendiconto. La maggior parte delle valutazioni avvengono «a fine progetto» o «ex post»; quelle «intermedie» sono una minoranza, poiché consentono di misurare solo in parte il raggiungimento degli obiettivi.
Affidabilità dei tassi di riuscita pubblicati
Viene valutato un campione rappresentativo di interventi in termini di numero, costi e/o riuscita. Le valutazioni utilizzate per calcolare i tassi di riuscita sono rappresentative, comparabili e di qualità. I metodi di calcolo dei tassi sono armonizzati e trasparenti. I tassi devono essere interpretati in modo inequivocabile.
Appropriatezza dei costi di valutazione (n. 5) Trasparenza dei costi
L'Amministrazione può indicare i costi esterni e i costi totali per ogni valutazione. Le carenze possono essere spiegate. I costi delle valutazioni cofinanziate sono chiaramente definiti.
Adeguatezza del rapporto tra costi e qualità delle valutazioni
La qualità delle valutazioni esterne, più onerose, è superiore, il che giustifica i costi più elevati.
Adeguatezza del rapporto tra i costi delle valutazioni e i costi degli interventi
Il costo delle valutazioni esterne corrisponde al 10 per cento circa dei costi dell'intervento. Costi superiori o inferiori sono dovuti soprattutto alla qualità delle valutazioni o all'influenza delle valutazioni sulla gestione.
42 / 44
FF 2023 2894
Colophon Esecuzione della valutazione Dr. Raoul Kaenzig, CPA (direzione di progetto) Dr. Simone Ledermann, CPA (direzione di progetto ad interim) Marion Baud-Lavigne, CPA (collaborazione scientifica) Andreas Tobler, CPA (collaborazione scientifica)
Rapporto esperti esterni: metavalutazione Dr. Stefan Silvestrini, CEval GmbH (direzione di progetto) Julie Ngo, CEval GmbH (collaborazione scientifica)
Ringraziamenti Il CPA desidera ringraziare l'Amministrazione federale, in particolare le unità di valutazione della DSC, della SECO e della DPDU, per aver messo a disposizione i dati, fornito spiegazioni e coordinato i colloqui. Ringrazia inoltre i mandatari summenzionati per la loro metavalutazione. Un sincero ringraziamento va anche a tutti coloro che hanno partecipato ai colloqui e fornito informazioni.
Contatto Controllo parlamentare dell'amministrazione Servizi del Parlamento CH-3003 Berna tel. +41 58 322 97 99 e-mail: pvk.cpa@parl.admin.ch www.parlamento.ch > Organi > Commissioni > CPA
Lingua originale del rapporto: francese 43 / 44
FF 2023 2894
44 / 44