FF 2023 www.fedlex.admin.ch La version électronique signée fait foi

Mesure de l'efficacité dans la coopération internationale Rapport du Contrôle parlementaire de l'administration à l'intention de la Commission de gestion du Conseil des États du 27 avril 2023

2023-3466

FF 2023 2894

FF 2023 2894

Mots clés

Stratégie de coopération internationale Tous les quatre ans, le Conseil fédéral soumet au Parlement un message précisant la stratégie de coopération internationale (CI) et les crédits-cadres correspondants. Pour 2021­2024, les crédits s'élèvent à 11,25 milliards de francs.

Mise en oeuvre transversale La stratégie CI est mise en oeuvre par la Direction du développement et de la coopération (DDC) et la Division Paix et droits de l'homme (DPDH) au sein du Département fédéral des affaires étrangères (DFAE) ainsi que par le Secrétariat d'État à l'économie (SECO) au sein du Département fédéral de l'économie, de la formation et de la recherche (DEFR).

Évaluations externes et indépendantes Dans la CI, les évaluations dites «externes» portent sur des projets ou interventions spécifiques et les «indépendantes» sur des thématiques stratégiques. Les deux types d'évaluations sont réalisés par des mandataires externes.

Taux de réussite La DDC et le SECO calculent, sur la base d'évaluations externes, des taux de réussite de leurs interventions à l'étranger.

Ces taux sont publiés dans le rapport final sur la mise en oeuvre de la stratégie CI pour rendre des comptes au Parlement et au public.

2 / 44

FF 2023 2894

L'essentiel en bref Le recours aux évaluations pour mesurer l'efficacité dans la coopération internationale est, dans l'ensemble, partiellement opportun. Les évaluations sont utilisées pour piloter la coopération internationale à différents niveaux et leurs coûts sont établis de manière transparente. Toutefois, les rapports d'évaluation et la reddition de comptes au Parlement et au public présentent des manquements.

En janvier 2022, les Commissions de gestion des Chambres fédérales (CdG) ont chargé le Contrôle parlementaire de l'administration (CPA) de procéder à une évaluation de la mesure de l'efficacité dans la CI.

La sous-commission DFAE/DDPS de la CdG du Conseil des États (CdG-E), compétente en la matière, a décidé que le CPA devrait se centrer sur un instrument de mesure en particulier: l'évaluation. Le CPA n'a donc pas analysé lui-même l'efficacité de la CI, mais la manière dont les trois unités chargées de la CI ­ la Direction du développement et de la coopération (DDC), le Secrétariat d'État à l'économie (SECO) et la Division Paix et droits de l'homme (DPDH) ­ mesurent et rendent compte de l'efficacité de leurs interventions au moyen d'évaluations.

Le CPA a examiné les documents servant à la réalisation d'évaluations et les coûts de ces dernières. Il s'est entretenu avec plus d'une trentaine de personnes de l'administration fédérale ainsi qu'avec des spécialistes. Un mandataire externe a analysé la qualité des évaluations par le biais d'une méta-évaluation. Les analyses parviennent aux principaux résultats suivants: Les évaluations externes présentent des forces, mais aussi des faiblesses La DDC, le SECO et la DPDH mesurent l'efficacité de leurs projets notamment à l'aide d'évaluations externes qu'ils mandatent. À ce titre, les cahiers des charges de l'administration, qui ont une influence sur la qualité des évaluations, sont généralement satisfaisants (ch. 3.1). Les rapports d'évaluation contiennent des résumés clairs, les données sont présentées de manière transparente et les conclusions sont cohérentes. Ces éléments sont particulièrement utiles pour le pilotage de projets (ch. 3.2).

En revanche, la présentation de la méthodologie et des résultats est insatisfaisante, ce qui nuit à la fiabilité des évaluations externes et donc à leur utilité pour la reddition de comptes. Malgré ces
lacunes, la qualité des évaluations est néanmoins comparable à ce qui se fait dans d'autres pays (ch. 3.3).

Les outils pour gérer les évaluations sont pour la plupart appropriés, mais leur volume est variable L'administration ne réalise pas elle-même les évaluations, mais elle doit les gérer et en assurer la qualité. L'analyse des directives ainsi que des processus décrivant les étapes et les responsabilités donne une image hétérogène entre les différentes entités examinées. Les outils de la DDC et du SECO sont clairs et complets, mais les documents de la DDC sont néanmoins nombreux et peu utilisés. La DPDH, quant à elle, dispose de peu d'outils, qui sont relativement peu détaillés. Bien que cette entité soit nettement plus petite que les deux autres, ses outils ne semblent pas suffisants pour

3 / 44

FF 2023 2894

soutenir la qualité des évaluations. Enfin, dans les trois entités, les personnes qui gèrent les évaluations apprécient les compétences et le soutien de leurs unités d'évaluation respectives (ch. 3.4).

Les évaluations sont utilisées de manière globalement adéquate pour le pilotage Les évaluations doivent servir au pilotage de la CI, à différents niveaux. Les évaluations externes sont avant tout utilisées pour piloter les projets évalués (ch. 4.1) alors que les évaluations indépendantes sont essentiellement utilisées par les responsables hiérarchiques pour soutenir leurs décisions à des niveaux stratégiques (ch. 4.2). Cette utilisation différenciée des évaluations peut être considérée comme appropriée. Toutefois, les recommandations des évaluations externes ne sont pas traitées de manière systématique, ce qui a pour conséquence que la plus-value de ces évaluations pour améliorer les projets de la CI n'est pas connue (ch. 4.1).

L'utilisation des évaluations pour rendre des comptes au Parlement et au public n'est pas adéquate Il est primordial que le Parlement, ainsi que le public, puissent connaître l'efficacité de la CI. Or, les évaluations ne donnent souvent pas d'indications explicites sur la manière dont les interventions respectives contribuent à l'atteinte des objectifs énoncés dans le message sur la stratégie CI. Le rapport final sur la mise en oeuvre du message adressé au Parlement présente certains résultats, mais il ne contient pas nonplus de bilan systématique de l'atteinte des objectifs (ch. 4.3). En outre, les taux de réussite censés rendre compte de l'efficacité de la CI dans les rapports finaux ne reflètent pas l'ensemble des interventions de la CI et ne sont pas fiables (ch. 4.4).

Les coûts des évaluations sont transparents et généralement faibles Les coûts des évaluations peuvent être établis de manière transparente pour les trois unités (ch. 5.1). Ils représentent en général moins de 2,5 % du coût des interventions évaluées. En comparaison internationale, ce pourcentage se situe plutôt dans la tranche inférieure des dépenses consacrées aux évaluations dans le milieu de la coopération (ch. 5.2).

4 / 44

FF 2023 2894

Table des matières Mots clés

2

L'essentiel en bref

3

1

Introduction 1.1 Contexte et questions d'évaluation 1.2 Méthodologie 1.3 Plus-value et limites de l'évaluation du CPA 1.4 Structure du rapport

7 7 8 9 10

2

La coopération internationale et la mesure de son efficacité 2.1 Les domaines de la coopération internationale 2.2 L'efficacité mesurée à l'aide d'évaluations

11 11 12

3

Qualité des évaluations externes 3.1 Les cahiers des charges pour attribuer les évaluations sont majoritairement satisfaisants 3.2 Les évaluations sont utilisables pour le pilotage, mais les recommandations sont trop abstraites 3.3 Les évaluations ne permettent pas de rendre des comptes de manière fondée 3.4 Les outils pour gérer les évaluations et leur qualité sont d'une adéquation différenciée selon l'unité

15

4

Utilisation des évaluations pour le pilotage et la reddition de comptes 4.1 Les évaluations externes sont avant tout utilisées pour le pilotage des projets évalués 4.2 Les évaluations indépendantes sont appropriées pour le pilotage stratégique 4.3 Les évaluations sont insuffisamment utilisées pour mesurer l'atteinte des objectifs 4.4 Les taux de réussite publiés des interventions de la CI ne sont pas fiables

15 16 18 20 22 23 24 25 26

5

Coûts des évaluations 5.1 Les coûts des mandats d'évaluation sont transparents 5.2 Les coûts des évaluations sont généralement faibles

28 29 29

6

Conclusions 6.1 Les évaluations externes présentent des forces, mais aussi des faiblesses 6.2 Les outils pour gérer les évaluations sont pour la plupart appropriés, mais leur volume est variable

31 31 32

5 / 44

FF 2023 2894

6.3 6.4 6.5

Les évaluations sont utilisées de manière globalement adéquate pour le pilotage L'utilisation des évaluations pour rendre des comptes au Parlement et au public n'est pas adéquate Les coûts des évaluations sont transparents et généralement faibles

32 33 33

Abréviations

35

Bibliographie

36

Liste des personnes interrogées

38

Annexes 1 Approche de l'évaluation 2 Critères d'évaluation

40 41

Impressum

43

6 / 44

FF 2023 2894

Rapport 1

Introduction

1.1

Contexte et questions d'évaluation

Comme la coopération internationale (CI) déploie ses activités à l'étranger, il est essentiel que les contribuables suisses soient informés de manière transparente sur son efficacité. La mesure de l'efficacité ne sert donc pas seulement à améliorer les interventions1 et à aider au pilotage de la CI, elle a aussi pour but de rendre compte au Parlement et au public des résultats et de l'atteinte des objectifs de la CI. Le Conseil fédéral présente les résultats de son engagement à l'étranger à l'aide de taux de réussite supérieurs à la moyenne internationale2. Comme ces chiffres sont calculés sur la base d'évaluations, il est important que ces dernières soient de bonne qualité. On peut également se demander si des ressources financières adéquates sont allouées aux évaluations et comment ces dernières sont utilisées, en particulier pour le pilotage et la redevabilité.

Eu égard à ce qui précède, les Commissions de gestion (CdG) ont, le 25 janvier 2022, chargé le Contrôle parlementaire de l'administration (CPA) d'évaluer la mesure de l'efficacité au sein de la coopération au développement. En se fondant sur une esquisse de projet du CPA, la sous-commission DFAE/DDPS de la CdG du Conseil des États (CdG-E), compétente en la matière, a décidé lors de sa séance du 23 mai 2022 que le CPA devait se pencher sur l'évaluation en tant qu'instrument pour mesurer l'efficacité de la CI dans tous les domaines3. Les questions suivantes sont ainsi traitées et font chacune l'objet d'un chapitre spécifique: ­

Les évaluations dans la CI sont-elles de bonne qualité? (chap. 3)

­

Les évaluations sont-elles utilisées de manière adéquate pour piloter la CI et rendre des comptes au Parlement et au public? (chap. 4)

­

Les coûts des évaluations sont-ils opportuns? (chap. 5)

Le CPA n'évalue donc pas lui-même l'efficacité de la CI, mais analyse la manière dont celle-ci est mesurée à l'aide d'évaluations.

1 2

3

Le terme «intervention» est utilisé dans ce rapport de manière générique pour décrire toute forme de projets, programmes ou stratégies effectués dans le cadre de la CI.

Message du 19.2.2020 sur la stratégie de coopération internationale 2021­2024 (Stratégie CI 2021­2024; FF 2020 2509). Ci-après: «stratégie» ou «message».

DDC, SECO, DSH (2020): La coopération internationale de la Suisse prouve son efficacité. Rapport final sur la mise en oeuvre du message 2017­2020. Ci-après: Rapport final 2020.

L'esquisse de projet du CPA a montré que la mesure de l'efficacité et les problèmes qui y sont liés sont similaires pour tous les domaines de la CI (cf. ch. 2.1). La portée de son évaluation a donc été élargie à l'ensemble de la CI et son titre a été adapté en conséquence.

7 / 44

FF 2023 2894

1.2

Méthodologie

Afin de répondre aux questions d'évaluation, le CPA a appliqué les méthodes de collecte et d'analyse des données présentées dans le tableau 1. L'annexe 1 en fin de rapport schématise l'approche de l'évaluation, tandis que l'annexe 2 détaille les critères d'appréciation sur lesquels s'est basé le CPA.

Tableau 1 Aperçu des méthodes Questions d'évaluation

Qualité des évaluations

Méta-évaluation (mandat externe)



Utilisation des évaluations Coûts des évaluations

Analyse de documents

() ()

()

Entretiens bilatéraux

Entretiens de groupes

Analyse des coûts

()

()




Légende: = contribution principale à l'analyse; () = contribution secondaire à l'analyse.

L'appréciation de la qualité des évaluations a été réalisée sous la forme d'une métaévaluation4 portant sur les évaluations externes des trois unités chargées de la CI: la DDC, le SECO et la DPDH (cf. ch. 2.2). La DDC avait mandaté en 2021 le bureau CEval GmbH pour une analyse de ses évaluations externes; elle a été achevée en 20225. Le CPA a donc mandaté le même prestataire externe pour qu'il analyse également les évaluations externes du SECO et de la DPDH6. Afin que les résultats des trois unités soient comparables, la même méthodologie a été appliquée. Le mandataire a ainsi examiné les cahiers des charges, lorsqu'ils étaient disponibles, ainsi qu'un total de 114 rapports d'évaluation7.

Le CPA a également effectué une analyse de documents pour apprécier la qualité des directives et documents pour gérer les évaluations et en assurer la qualité, ainsi que les processus et les responsabilités dans les trois unités concernées. Il a également réalisé une brève analyse de littérature sur la qualité des évaluations dans la CI pour comparer la Suisse à d'autres pays. Il s'est en outre penché sur la stratégie CI 2021­

4 5 6

7

La méta-évaluation est une évaluation de la qualité d'une série d'évaluations et de sa conformité aux bonnes pratiques établies (standards) en matière d'évaluation.

CEval (2022): Concept note: Meta-evaluation of 50 decentralized project evaluations of the DEZA. Pas publié.

CEval (2023): Wirksamkeitsmessung in der internationalen Zusammenarbeit: Metaevaluation DEZA/SECO/AFM. Im Auftrag der Schweizer Parlamentarischen Verwaltungskontrolle.

60 évaluations de la DDC (cf. CEval 2022), 42 du SECO et 12 de la DPDH pour la période allant de 2018 à 2020. Pour la DPDH, il s'agit du total des évaluations effectuées au cours de la période étudiée. Pour le DDC et le SECO, il s'agit d'échantillons représentatifs des évaluations utilisées pour calculer les taux de réussite. À l'échantillon de la DDC s'ajoutent 12 évaluations ne répondant pas aux critères de sélection pour les taux de réussite, mais dont la qualité ne s'est pas révélée significativement différente (cf. CEval 2022, 2023).

8 / 44

FF 2023 2894

20248 et le rapport final 20209, soit les deux rapports principaux pour rendre des comptes au Parlement et au public.

Pour examiner l'utilisation des évaluations pour le pilotage de la CI à différents niveaux, le CPA a mené des entretiens bilatéraux avec le personnel qui mandate, gère et utilise les évaluations à différents échelons hiérarchiques au sein des trois entités analysées10. Le CPA s'est également entretenu avec quelques spécialistes externes à l'administration. La liste des personnes interrogées (36) se trouve en fin de rapport.

Des entretiens de groupe ont été conduits avec du personnel des unités opérationnelles du SECO et de la DPDH pour confronter les pratiques liées à la gestion et à l'utilisation des évaluations. Cette démarche n'a pas été réalisée auprès de la DDC, puisque le CPA a pu exploiter les résultats issus d'une enquête par questionnaire et de dix entretiens avec du personnel de la DDC effectués par CEval11.

Enfin, le CPA a effectué une analyse des coûts des évaluations pour apprécier s'ils étaient établis de manière transparente et s'ils étaient en adéquation avec les coûts des interventions évaluées et la qualité des évaluations.

La collecte et l'analyse de données s'est déroulée d'août à novembre 2022. Au terme de l'évaluation, le CPA a discuté des principaux résultats avec un membre de la direction de chacune des trois unités, DDC, SECO et DPDH. Les départements concernés ont par ailleurs été consultés sur les projets de rapport du CPA et du CEval en février 2023.

1.3

Plus-value et limites de l'évaluation du CPA

Le CPA n'a pas évalué lui-même l'efficacité de la CI, mais la manière dont l'administration la mesure et en rend compte à l'aide d'évaluations. Concrètement, l'exécutif informe le Parlement et le public à l'aide du message12 et du rapport final13. Ce dernier repose sur les informations du monitoring interne des projets et, notamment en ce qui concerne les taux de réussite, sur les résultats d'évaluations externes. Il est fondamental de savoir si ces évaluations sont de qualité suffisante et si leurs résultats sont fiables.

Les évaluations devraient également fournir des enseignements utiles pour gérer la CI, que ce soit au niveau des projets ou des stratégies. La présente analyse apprécie donc si les évaluations sont compréhensibles et si les recommandations sont utiles pour améliorer les interventions de la CI.

8 9 10

11 12 13

Stratégie CI 2021­2024 (FF 2020 2509).

Rapport final 2020.

La DDC, le SECO et la DPDH utilisent des dénominations différentes pour le personnel.

Par souci de cohérence, le CPA utilise responsables de projets pour le personnel des unités opérationnelles qui mandate et gère les évaluations externes. Personnel des unités d'évaluation est utilisé pour les unités d'évaluation qui gèrent les évaluations indépendantes (cf. ch. 2.2). Finalement, responsables hiérarchiques est utilisé pour les personnes qui dirigent une section, une division ou les membres de la direction.

CEval (2022).

Stratégie CI 2021­2024 (FF 2020 2509).

Rapport final 2020.

9 / 44

FF 2023 2894

Conformément à la décision de la sous-commission compétente (cf. ch, 1.1), la présente analyse se focalise uniquement sur l'évaluation en tant qu'instrument pour mesurer et rendre compte de l'efficacité. Les autres instruments, tels que le monitoring14 ou le controlling15, sont moins adaptés à ce but, car ils ne permettent pas d'établir un lien entre une intervention et ses effets (cf. ch. 2.2) et ne sont donc pas analysés dans le présent rapport. Les évaluations d'impact, basées sur des méthodes expérimentales, ne sont pas non plus étudiées; seule la DDC en a effectuées quelques-unes, le SECO et la DPDH n'en font pas.

La méta-évaluation mandatée par le CPA comporte certaines limites également16. Par exemple, elle porte uniquement sur les évaluations externes, hormis l'échantillon de la DPDH qui contient une évaluation qui peut être qualifiée comme indépendante.

Cela se justifie toutefois par le fait que c'est la qualité des évaluations externes qui est mise en doute, qu'elles sont bien plus nombreuses que les indépendantes et qu'elles sont utilisées pour calculer les taux de réussite (cf. ch. 3.3 et 4.4). En outre, la métaévaluation suit une approche normative, basée sur des standards reconnus qui définissent les caractéristiques d'un rapport d'évaluation idéal. Dans la pratique, on ne s'attend pas à ce qu'un rapport se conforme à tous les standards. Il importe cependant que les critères d'évaluation soient majoritairement appréciés comme étant satisfaisants (cf. critères d'évaluation, annexe 2). Enfin, la mesure de l'efficacité dans la CI fait déjà l'objet de plusieurs études; celles-ci ont été prises en considération dans la présente évaluation17.

1.4

Structure du rapport

Le chapitre 2 présente les domaines de la CI et l'évaluation comme instrument de mesure de l'efficacité. Ensuite, chacun des chapitres répond à l'une des trois questions d'évaluation. Le chapitre 3 est consacré à la qualité des évaluations externes. Le chapitre 4 porte sur l'utilisation des évaluations pour le pilotage et la reddition de comptes. Enfin, le chapitre 5 traite des coûts des évaluations et le chapitre 6 présente les conclusions.

14 15 16 17

Instrument d'observation consistant à rassembler des données comparables de manière permanente, systématique et routinière.

Instrument de direction permettant de suivre les travaux de façon à atteindre les objectifs.

CEval (2023), chap. 2.

BSS Economic Consultants (2020): Assessing the performance of the Swiss international cooperation, 8.6.2020; CEVAL (2022): Concept note: Meta-evaluation of 50 decentralized project evaluations of the DEZA; Grasso, Patrick G. (2020): Peer review of four evaluation functions. Novembre 2020; OCDE (2019): Examens de l'OCDE sur la coopération pour le développement: Suisse 2019. Contrôle fédéral des finances (CDF) (2017); CDF (2019a); CDF (2019b); CDF (2020); CDF (2022); CDF (prévue pour 2023): la liste complète des audits du CDF se trouve en bibliographie.

10 / 44

FF 2023 2894

2

La coopération internationale et la mesure de son efficacité

Ce chapitre présente les domaines de la CI (ch. 2.1) et l'évaluation comme instrument pour mesurer son efficacité (ch. 2.2).

2.1

Les domaines de la coopération internationale

La CI de la Suisse repose sur la Constitution, selon laquelle la Confédération contribue à soulager les populations dans le besoin, à lutter contre la pauvreté ainsi qu'à promouvoir le respect des droits humains, la démocratie, la coexistence pacifique des peuples et la préservation des ressources naturelles (art. 54, al. 2, Cst.18).

Tous les quatre ans, le Conseil fédéral soumet au Parlement un message précisant la stratégie pour la CI de la Suisse, associé à une demande de crédits-cadres. La stratégie CI couvre trois domaines19, réglés par plusieurs lois fédérales20: la coopération au développement, l'aide humanitaire ainsi que la promotion de la paix et sécurité humaine. La mise en oeuvre incombe à trois unités administratives rattachées à deux départements: la Direction du développement et de la coopération (DDC) et la Division Paix et droits de l'homme (DPDH)21, qui font partie du Département fédéral des affaires étrangères (DFAE), ainsi que le Secrétariat d'État à l'économie (SECO), rattaché au Département fédéral de l'économie, de la formation et de la recherche (DEFR). La stratégie CI 2021-202422 prévoit un budget total de 11,25 milliards de francs répartis entre les trois domaines et unités administratives (Figure 1).

18 19

20

21 22

Constitution fédérale du 18.4.1999 (Cst.; RS 101).

La stratégie CI 2021­2024 (FF 2020 2509) fait mention «d'instruments», mais le CPA préfère «domaines» pour éviter la confusion avec l'évaluation en tant qu'instrument pour mesurer de l'efficacité.

Loi fédérale du 19.3.1976 sur la coopération au développement et l'aide humanitaire internationales (RS 974.0; ci-après loi CaD-AH); loi fédérale du 30.9.2016 sur la coopération avec les États d'Europe de l'Est (RS 974.1; ci-après loi Est); loi fédérale du 19.12.2003 sur des mesures de promotion civile de la paix et de renforcement des droits de l'homme (RS 193.9; ci-après loi Sécurité humaine).

La DPDH est encore nommée par son ancienne appellation, soit la Division Sécurité humaine (DSH), dans plusieurs rapports évoqués dans ce document.

Stratégie CI 2021­2024 (FF 2020 2509).

11 / 44

FF 2023 2894

Figure 1 Domaines de la coopération internationale et unités responsables

Légende: Les pourcentages correspondent aux parts du crédit-cadre de la stratégie CI 2021-2024.

La coopération au développement est mise en oeuvre par la DDC (65 % du créditcadre) et par le SECO (13,6 %). L'aide humanitaire est mise en oeuvre par la DDC (19,1 %) et la promotion de la paix et sécurité humaine par la DPDH (2,3 %).

2.2

L'efficacité mesurée à l'aide d'évaluations

Le Conseil fédéral est tenu par la loi de veiller à l'utilisation efficace des moyens financiers alloués à la CI, de procéder régulièrement à des évaluations et de rendre compte à l'Assemblée fédérale de chaque période de crédit23. Le rapport final sur la période préalable (2017­2020)24 résume en une dizaine de pages les résultats de la CI, à l'aide de chiffres et d'exemples, et approfondit ces résultats par unité administrative

23

24

Art. 9, al. 3, de la loi CaD-AH, art. 17 de la loi Est, art. 5 de la loi Sécurité humaine.

Les évaluations sont mentionnées explicitement dans les deux dernières lois, qui sont plus récentes.

Rapport final 2020.

12 / 44

FF 2023 2894

(DDC, SECO et DPDH) dans une annexe25. Les principaux résultats du rapport final26 sont repris dans le message pour la prochaine période27, adopté parallèlement.

Dans la CI, le terme «efficacité» est défini par le Comité d'aide au développement (CAD) de l'Organisation de coopération et de développement économiques (OCDE): l'efficacité exprime ainsi la «mesure dans laquelle les objectifs et les résultats de l'intervention ont été atteints, ou sont en train de l'être»28. Selon la même source, les résultats, qui font partie de l'efficacité, sont composés des prestations, des effets et des impacts29. C'est donc dans ce sens large que la mesure de l'efficacité est comprise ici.

L'évaluation, en tant qu'instrument, est une analyse approfondie réalisée dans un laps de temps déterminé et se fondant sur des méthodes scientifiques. L'évaluation permet d'établir une relation de cause à effet entre une intervention et les effets observés, raison pour laquelle elle constitue le principal instrument de la mesure de l'efficacité.

En comparaison, le monitoring et le controlling ont une portée plus générale, sont réalisés de manière régulière ou continue et sont plus superficiels30. Selon la définition du CAD31, une évaluation vise une appréciation systématique et objective d'un projet, d'un programme ou d'une politique, en cours ou achevé, de sa conception, de sa mise en oeuvre et de ses résultats. En général, les évaluations sont utilisées, d'une part, pour le pilotage et l'apprentissage à différents niveaux (projet, programmes, stratégies de l'unité administrative ou de la CI) et, d'autre part, pour la redevabilité, soit rendre compte des résultats obtenus avec les ressources allouées.

25

26 27 28 29

30

31

Le Parlement avait en outre chargé le Conseil fédéral de rendre compte, dans un rapport, de la réalisation des objectifs et de l'efficacité au milieu de la période de crédit préalable.

Cf. DDC, SECO, DSH (2018): La coopération internationale de la Suisse, rapport intermédiaire sur la mise en oeuvre du message 2017­2020. Pour la période en cours, le Parlement n'a pas demandé de rapport intermédiaire.

Rapport final 2020.

Stratégie CI 2021­2024 (FF 2020 2509).

CAD (2021): Des meilleurs critères pour des meilleures évaluations: Définitions adaptées et principes d'utilisation.

Les prestations (outputs) correspondent aux biens, prestations ou services qui résultent directement du projet de coopération. Les effets directs (outcomes) correspondent à ce que le projet accomplit, à court ou moyen terme, sur les groupes cibles. Les impacts (impacts) correspondent aux effets à long terme induits par le projet, directement ou non, intentionnellement ou non.

Widmer, Thomas / De Rocchi, Thomas (2012): Evaluation: Grundlagen, Ansätze und Anwendungen. Zürich: Rüegger Verlag, 17­21. Groupe de contact interdépartemental «Évaluations de l'efficacité» (IDEKOWI) (2004): Annexe 3 Evaluation de l'efficacité: définition de la notion et des instruments (définitions des termes «évaluation, controlling et monitoring»). La DDC et le SECO sont en train d'introduire des nouveaux systèmes de monitoring basés sur des indicateurs standardisés.

CAD (2011): Évaluer la coopération pour le développement: récapitulatif des normes des standards de référence (2e édition).

13 / 44

FF 2023 2894

Dans le cadre de la CI suisse, deux types d'évaluations32 sont utilisés: externes et indépendantes33. Ils sont présentés dans le tableau suivant (cf. tableau 2): Tableau 2

Évaluations indépendantes

Évaluations externes

Caractéristiques des évaluations externes et indépendantes

1 2

Description

Nombre (par année)1 et Mandat de coût moyen d'une évaluation2 l'évaluation

Gestion de l'évaluation

Effectuées par des mandataires externes.

DDC: 80­100 SECO: 25­30 DPDH: 5­7

Unités opérationnelles

Unités opérationnelles (responsables de projets)

DDC et DPDH: direction

Unités d'évaluation

Portent sur les projets de la CI.

Représentent la majorité des évaluations réalisées.

Effectuées par des mandataires externes.

Coût moyen: 34 000 francs DDC: 3­5 SECO: 1­2 DPDH: <1

Portent sur des thèmes stratégiques à différents Coût moyen: niveaux: stratégies de 138 000 francs pays ou de région, thématiques transversales ou enjeux institutionnels.

SECO: comité d'évaluation externe

(et groupe de pilotage pour la DPDH)

Le nombre d'évaluations réalisées par année est variable; il s'agit d'un ordre de grandeur.

Moyenne des coûts des évaluations réalisées au cours de la période 2018­2020 pour les trois unités (cf. ch. 5).

Source: Données fournies par la DDC, le SECO et la DPDH.

Les unités opérationnelles, qui mandatent et gèrent les évaluations externes, sont en charge des projets de la CI, généralement à l'étranger. Les unités d'évaluation, basées en Suisse34, sont indépendantes des unités opérationnelles. Elles sont compétentes pour la qualité de toutes les évaluations et elles gèrent les évaluations indépendantes.

32

33

34

Les évaluations internes, menées par les unités opérationnelles elles-mêmes, ne sont pas examinées dans le présent rapport, car elles ne sont pas soumises aux mêmes exigences de qualité. Le peu d'évaluations d'impact existantes n'est non plus examiné (cf. ch. 1.3).

À la DDC, les évaluations indépendantes regroupent les évaluations de programmes de coopération, les évaluations institutionnelles et les évaluations thématiques. À la DPDH, elles sont parfois aussi appelées évaluations stratégiques.

Les unités d'évaluation ont des structures et des ressources différentes: DDC: l'unité «Évaluation et contrôle de gestion» consacre environ 4,4 équivalents pleins temps (EPT) à l'évaluation (sur un total de 5,4 EPT). Elle est soutenue ponctuellement pour les enjeux de qualité, comme l'édiction de directives, par l'unité «Assurance qualité et numérisation interne».

SECO: l'unité «Qualité et ressources» consacre 1,2 EPT à l'évaluation (sur un total de 2,3 EPT).

DDPH: une seule personne est responsable de l'évaluation; elle est rattachée à l'Étatmajor: 0,2 EPT est consacré à l'évaluation (sur un total de 0,8 EPT).

14 / 44

FF 2023 2894

3

Qualité des évaluations externes

Le CPA se base sur la méta-évaluation35 pour apprécier la qualité des cahiers des charges et des rapports d'évaluation externes ainsi que les différences entre les unités analysées. Il se fonde sur ses propres analyses de documents et ses entretiens pour apprécier l'adéquation des instruments censés permettre la gestion et l'assurance qualité des évaluations (cf. critères d'évaluation en annexe 2).

Résumé: dans l'ensemble, le CPA constate que la qualité des évaluations externes diffère selon les parties considérées. Les cahiers des charges sont majoritairement satisfaisants (ch. 3.1), les rapports sont compréhensibles (ch. 3.2), mais ils sont insuffisamment fondés, car la présentation des méthodes et des résultats est insatisfaisante (ch. 3.3). Enfin, les outils pour gérer les évaluations sont appropriés dans l'ensemble, mais leur volume est variable (ch. 3.4).

3.1

Les cahiers des charges pour attribuer les évaluations sont majoritairement satisfaisants

Il est essentiel que l'administration rédige un cahier des charges précis36. Ce document constitue la base du contrat avec le mandataire externe. Son contenu et son format peuvent varier, mais il devrait au moins indiquer les critères pour évaluer l'efficacité du projet évalué, l'objectif et les questions d'évaluation, le contexte du projet, la méthodologie envisagée ainsi que les prestations attendues, les responsabilités et le calendrier37.

Figure 2 Qualité des cahiers des charges des évaluations externes

Source: Données issues du rapport CEval (2023), mises en forme par le CPA.

En majorité, la qualité des cahiers des charges des trois unités analysées est satisfaisante (cf. figure 2). Presque neuf dixièmes des cahiers des charges de la DDC donnent satisfaction, mais ce résultat n'est pas représentatif, car seulement 26 cahiers des 35 36 37

CEval (2023).

Dans le cadre d'évaluations communes avec des partenaires, il peut arriver que les cahiers des charges soient rédigés par ces derniers.

CEval (2023), ch. 3.2.

15 / 44

FF 2023 2894

charges sur les 60 rapports d'évaluation de cette unité étaient disponibles pour l'analyse. Pour le SECO et la DPDH, qui ont fourni tous les cahiers des charges, le taux de satisfaction est d'environ 60%. L'expertise externe pointe des faiblesses au niveau de la faisabilité de l'évaluation, par exemple lorsque les prestations attendues ne sont pas en adéquation avec le budget ou le calendrier prévu. En outre, les exigences méthodologiques ne sont pas toujours suffisamment précisées.

La DDC formule bien les questions et les critères d'évaluation. Le SECO est le seul à indiquer la justification de l'évaluation et son but de manière satisfaisante, mais la formulation des questions, des critères et la description du contexte ne sont pas satisfaisantes. Par exemple, le nombre de questions est parfois très excessif, compte tenu du calendrier de l'évaluation. La DPDH est l'unité qui parvient le mieux à délimiter les contours de l'évaluation envisagée. Les questions, les critères et les dimensions organisationnelles de l'évaluation sont satisfaisants, mais la description des méthodes, de même que la justification et le but de l'évaluation, sont lacunaires.

Le lien entre la qualité des cahiers des charges et celle du rapport d'évaluation a été confirmé par d'autres études38 et a également été évoqué lors d'entretiens. Le CPA relève qu'il s'agit d'un document rédigé, en principe, par l'administration et qu'il est donc positif que cette dernière dispose globalement des compétences pour s'acquitter de cette tâche déterminante.

3.2

Les évaluations sont utilisables pour le pilotage, mais les recommandations sont trop abstraites

Pour qu'un rapport d'évaluation soit facilement compréhensible et utilisé par les responsables de projets pour piloter et améliorer l'efficacité de leurs interventions, la qualité du résumé, de l'introduction et contexte ainsi que des conclusions et recommandations est importante.

38

CEval (2023), ch. 3.1.

16 / 44

FF 2023 2894

Figure 3 Qualité des parties suivantes des rapports d'évaluation externes: résumés, introduction et contexte ainsi que conclusions et recommandations

Source: Données issues du rapport CEval (2023), mises en forme par le CPA.

Plus des trois quarts des résumés des rapports d'évaluation donnent satisfaction (cf. figure 3). Cette appréciation plutôt positive est principalement due au fait qu'ils sont jugés comme étant particulièrement compréhensibles. Ils peuvent être compris de manière autonome, c'est-à-dire sans devoir consulter tout le rapport. De plus, le contenu des résumés est cohérent avec le reste de l'évaluation. Néanmoins, un tiers des résumés de la DPDH sont insatisfaisants ou très insatisfaisants, notamment parce qu'ils ne sont pas exhaustifs.

Les parties introduction et contexte ne donnent majoritairement pas satisfaction. Dans l'ensemble, les introductions ne présentent pas suffisamment le contexte politique de l'intervention. L'analyse de contexte est particulièrement déficiente à la DPDH, ce qui est inopportun dans la mesure où cette unité intervient dans des environnements politiques sensibles qui mériteraient d'être décrits rigoureusement.

Enfin, les conclusions et les recommandations sont majoritairement satisfaisantes. Les liens entre les résultats et les conclusions et recommandations qui en découlent sont articulées de manière cohérente. En revanche, comme le montrent également les entretiens menés par le CPA, les recommandations sont rarement adressées à des destinataires précis, elles ne sont pas priorisées et la temporalité de leur mise en oeuvre n'est pas indiquée. Ce constat vaut pour les trois unités, bien que les recommandations des rapports d'évaluation adressés au SECO soient meilleures. Ces derniers indiquent 17 / 44

FF 2023 2894

aussi parfois un résumé des enseignements de l'évaluation, ce qui est utile pour le pilotage de projets (cf. ch. 4.1).

Pour le CPA, le fait que les rapports soient globalement compréhensibles est évidemment un point positif. Les responsables de projet doivent en effet pouvoir saisir rapidement et aisément les principaux enseignements pour piloter et améliorer leurs interventions. À ce titre, le fait que les recommandations ne soient pas directement utilisables est à déplorer.

3.3

Les évaluations ne permettent pas de rendre des comptes de manière fondée

La présentation de la méthodologie et des résultats dans les rapports sont essentielles pour rendre des comptes sur l'efficacité des interventions de manière fondée.

Figure 4 Qualité de la présentation de la méthodologie et des résultats dans les rapports d'évaluation externes

Source: Données issues du rapport CEval (2023), mises en forme par le CPA.

La présentation de la méthodologie est la partie la plus mal notée des rapports d'évaluation (cf. figure 4). Cette faiblesse se constate de manière homogène pour les trois unités. Pour au moins trois quarts des rapports analysés, la présentation de l'approche méthodologique, de l'échantillonnage et de l'analyse des données est insatisfaisante.

Les rapports présentent aussi des faiblesses dans la présentation de la collecte des données et ils n'explicitent pas suffisamment les limites de l'évaluation. L'analyse détaillée des présentations de la méthodologie met tout de même un aspect positif en

18 / 44

FF 2023 2894

lumière: les informations sur les sources de données sont précises, et c'est à la DPDH que l'on trouve, parfois, une discussion satisfaisante sur la qualité des données39.

Les rapports avec une mauvaise présentation des méthodes se caractérisent également par une présentation des résultats insatisfaisante (cf. figure 4)40. L'analyse de la qualité de la présentation des résultats porte en outre sur la prise en compte des critères d'évaluation standards du CAD. Le critère de l'efficacité est l'un des mieux intégrés aux rapports d'évaluation. Toutefois, les analyses de l'efficacité des projets ne présentent pas suffisamment les liens de cause à effet et ne prennent pas en compte l'impact à long terme et à large échelle ainsi que la viabilité des projets. Ces dimensions sont pourtant nécessaires pour évaluer de manière fiable l'efficacité d'une intervention (cf. ch.2.2). Cette lacune est notamment due au fait que la majorité des évaluations externes sont réalisées en cours de projet, avant que celui-ci n'ait déployé tous ses effets41. À ce moment-là, les évaluateurs ou évaluatrices ne peuvent donc pas encore apprécier l'efficacité d'une intervention dans la durée ou au-delà des éventuels bénéficiaires directs. Les entretiens menés par le CPA montrent que le personnel des unités d'évaluation est conscient de ces limites et qu'il souhaiterait effectuer plus d'évaluations après la clôture d'un projet (évaluations ex post). Par ailleurs, une analyse précédente recommandait déjà le développement de ce type d'évaluations42. En outre, il ressort de la méta-évaluation que le critère de l'efficience n'est pas non plus suffisamment reflété dans les résultats, alors que le critère de pertinence est bien étayé.

Pour conclure, le CPA déplore la faible qualité de la présentation des méthodes. Il considère en effet que cette partie de l'évaluation est nécessaire pour juger de la fiabilité des résultats. Il est cependant possible que la méthodologie y soit intentionnellement peu détaillée, car il est prévu dans les processus et directives des trois unités évaluées qu'un rapport précisant les méthodes de l'évaluation (inception report) peut être fait en amont de la réalisation d'une évaluation externe. Ces rapports n'ont pas été examinés dans la présente évaluation. En outre, selon les entretiens réalisés avec
l'administration, les chapitres de méthodes sont aussi parfois perçus comme étant très académiques et pas directement utiles pour piloter les interventions. Pour autant, il est problématique que les résultats ne traitent pas systématiquement des critères issus de standards internationaux (CAD) et que les évaluations portent sur des interventions en cours, dont l'efficacité ne peut pas être mesurée de manière probante. En conséquence, le CPA estime que les évaluations externes restituent l'efficacité de la CI de manière insuffisamment fondée et sont donc peu adaptées à la reddition de comptes.

39 40 41

42

CEval (2023), ch. 3.4.

CEval (2023), ch. 3.4.

Seul le SECO a été en mesure de transmettre au CPA des données chiffrées à ce propos: la part des évaluations réalisées en cours de projets (mid-term) ou en fin de projet (end of term) est identique, elle s'élève à 47 %. La part des évaluations réalisées après la fin du projet (ex-post) est de 6 %. La faible prise en compte de l'impact dans les évaluations de cette unité s'explique également par le fait que les guidelines du SECO ne l'exigeaient pas jusqu'en 2020.

BSS (2020).

19 / 44

FF 2023 2894

Encadré 1 L'évaluation de la CI suisse en comparaison internationale Comment situer la qualité mitigée des évaluations de la CI suisse, en comparaison internationale? Une revue de littérature succincte43 portant sur la qualité d'évaluations en Allemagne, en Autriche et en Finlande montre que la qualité des évaluations externes de la Suisse est comparable, voire légèrement supérieure, aux autres pays. Ce résultat est toutefois à considérer avec précaution, car les études consultées ne comparent pas exactement les mêmes types d'évaluations ou les mêmes types d'interventions de développement.

3.4

Les outils pour gérer les évaluations et leur qualité sont d'une adéquation différenciée selon l'unité

L'administration ne réalise pas les évaluations elle-même; pour cette raison il est important qu'elle se dote d'outils pour les gérer et en assurer la qualité. Les instruments dont il est question dans ce sous-chapitre s'appliquent aux deux types d'évaluations, aussi bien les externes que les indépendantes.

La DDC met à disposition de son personnel de nombreux documents pour assurer la qualité et la gestion des différents types d'évaluations. Ils sont clairs et orientés vers une facilité d'utilisation. Par exemple, des lignes directrices décrivent de manière précise les étapes de réalisation d'une évaluation et sont formulées de manière attractive et compréhensible. Il existe également des processus précis avec une attribution adéquate des responsabilités44. En revanche, la nécessité d'ancrer les évaluations par rapport aux stratégies et aux objectifs de la CI n'est que superficiellement abordée. Sur la base de ses analyses de documents et entretiens auprès du personnel, le CPA a également constaté que le volume d'outils de la DDC sur l'évaluation était particulièrement important, soit au moins une vingtaine de documents, généralement très fournis à l'aide de concepts, de marches à suivre ou d'exemples (en comparaison, le SECO en a une quinzaine et la DPDH une dizaine). Ce volume élevé, couplé à une diffusion insuffisante, peut expliquer que certains outils soient méconnus du personnel, comme l'indique une analyse précédente45. Selon la même source, ainsi qu'une étude anté-

43

44 45

Voir p.ex. Väth, Susanne Johanna et al. (2022), Metaevaluation of MFA's project and programme evaluations in 2017­2020, sur mandat du Ministère des affaires étrangères de Finlande; Silvestrini, Stefan et al. (2018), Metaevaluation of MFA's project and programme evaluations in 2015­2017, sur mandat du Ministère des affaires étrangères de Finlande; Silvestrini, Stefan et al. (2019), Meta-Evaluation of ADA Project and Programme Evaluations, sur mandat de l'Agence autrichienne de développement; Stockmann, Reinhard & Silvestrini, Stefan (2012), Synthese und Meta-Evaluierung, Berufliche Bildung, 2011, sur mandat de l'Agence de coopération internationale allemande pour le développement.

Ces résultats sont aussi confirmés par des études précédentes: OCDE (2019) et CEval (2022).

CEval (2022).

20 / 44

FF 2023 2894

rieure46, les responsables de projets ne disposeraient pas de l'expertise nécessaire pour assurer la qualité des évaluations externes, mandatées par leurs soins. Cependant, les compétences du personnel de l'unité d'évaluation sont reconnues et le soutien qu'ils apportent aux unités opérationnelles est apprécié. Comme l'unité d'évaluation n'a pas de contrôle direct sur les évaluations externes, le maintien de leur qualité reste néanmoins difficile (cf. par exemple qualité de le présentation des méthodes et des résultats, ch. 3.3).

Figure 5 Pages de titre des principales directives de la DDC, du SECO et de la DPDH pour la gestion d'évaluations

Source: DDC (2020), SECO (sans date) et DPDH (2019)

Le SECO dispose de documents d'aide à la réalisation et à l'assurance qualité des évaluations qui sont clairs, faciles à utiliser et souvent richement illustrés, par exemple à l'aide de modèles. Le volume d'outils à disposition paraît approprié. Les processus sont précis; l'accent est particulièrement mis sur la réalisation du cahier des charges, ce qui est pertinent au regard de l'importance de cette étape (cf. ch. 3.1). Cette bonne qualité d'ensemble est aussi soulignée par des études précédentes47. Par contre, tout comme ceux de la DDC, les outils du SECO ne thématisent que superficiellement, la question du lien entre les interventions évaluées et les objectifs de la CI. Selon les entretiens menés par le CPA, les responsables de projet identifient en outre des redondances au niveau des processus, lorsqu'il s'agit de produire un compte rendu en plus d'une éventuelle évaluation à la fin d'une phase de projet. Toutefois, ils apprécient le soutien apporté par l'unité d'évaluation. Il ressort de ces entretiens que les respon46 47

CEval (2022) et Grasso (2020).

OCDE (2019a).

21 / 44

FF 2023 2894

sables de projet sont familiers des concepts d'évaluation, disposent d'une certaine expérience, mais sont souvent limités dans la conduite d'évaluations par manque de ressources spécifiquement dédiées à cette tâche.

La DPDH dispose de considérablement moins d'outils que les deux autres unités. Les directives et les processus spécifiquement orientés sur la qualité des évaluations sont rares et peu détaillés. En revanche, la principale directive sur les évaluations indique les étapes clés d'une évaluation et détaille bien le contenu des cahiers des charges, notamment à l'aide de modèles. Cela est à souligner puisque de bons cahiers des charges influencent positivement la qualité des rapports d'évaluation (cf. ch. 3.1).

Bien que cela soit peu développé dans les processus écrits, les entretiens menés au sein de la DPDH mettent en lumière l'existence d'étapes pertinentes pour le contrôle de qualité dans la pratique. En outre, la DPDH dispose de documents plus précis que les deux autres entités sur l'imbrication de ses différents niveaux d'objectifs et stratégies.

Encadré 2 Les spécificités de la DPDH La DPDH dispose d'un budget et, donc, de ressources en personnel très inférieurs à la DDC et au SECO, soit 2,3 % du crédit-cadre de la stratégie CI 2021­202448 (cf. ch. 2.1). En outre, le personnel de la DPDH, souvent des diplomates, dispose de peu d'expérience dans la gestion de cycles de projets, dont l'évaluation fait partie. Le personnel soumis au système de rotation (comme une partie du personnel de la DDC) reste rarement plus de quatre ans à la DPDH et les collaborateurs et collaboratrices sous contrat à durée déterminée encore moins. Cette durée limitée et la taille restreinte de l'unité font que les responsables de projet ne sont confrontés à la gestion d'évaluations que de rares fois, ce qui empêche le développement de compétences spécifiques à ce domaine.

La taille modeste de la DPDH permet des interactions fréquentes entre l'unique responsable de l'unité d'évaluation et les responsables de projets. Lors des entretiens menés, ces derniers indiquent apprécier ces échanges ainsi que la légèreté des processus; ils considèrent qu'une trop forte standardisation serait inopportune au vu de la singularité de leurs projets. Pour le CPA ces particularités peuvent expliquer l'encadrement limité des
évaluations. Il considère néanmoins qu'au vu de la qualité discutable des évaluations externes de la DPDH (cf. ch.3.2 et 3.3), les outils et, en particulier, les processus sont insuffisamment développés.

4

Utilisation des évaluations pour le pilotage et la reddition de comptes

Ce chapitre s'intéresse à la manière dont les évaluations remplissent leur fonction de pilotage ainsi que leur fonction de reddition de comptes pour le Parlement et le public.

48

Stratégie CI 2021­2024 (FF 2020 2509).

22 / 44

FF 2023 2894

Le CPA se base essentiellement sur les entretiens menés et sur des études précédentes.

Il a notamment apprécié l'utilisation des résultats et des recommandations au niveau du projet évalué (pilotage de projet) ainsi qu'aux niveaux stratégiques (pilotage stratégique), l'orientation des évaluations vers les objectifs de la CI ainsi que la fiabilité des taux de réussite publiés (cf. annexe 2).

Résumé: le CPA estime que l'utilisation d'évaluations pour les fonctions de pilotage et de reddition de compte est, dans l'ensemble, partiellement satisfaisante. L'utilisation différenciée des évaluations externes et indépendantes pour le pilotage est globalement appropriée (ch. 4.1 et 4.2). Cependant, l'utilisation des évaluations pour rendre des comptes au Parlement et au public n'est pas adéquate. Les évaluations sont insuffisamment utilisées pour mesurer l'atteinte des objectifs (ch. 4.3) et les taux de réussite publiés ne sont pas fiables (ch. 4.4).

4.1

Les évaluations externes sont avant tout utilisées pour le pilotage des projets évalués

Selon les entretiens effectués par le CPA ainsi que d'autres rapports49, les évaluations externes sont presque exclusivement utilisées pour le pilotage au niveau des projets évalués. Elles ne sont pas mobilisées pour des décisions au niveau stratégique. En général, les évaluations sont mandatées avant de démarrer une nouvelle phase de projet. Selon les responsables de projets, les évaluations externes leur fournissent rarement des informations nouvelles, mais elles s'avèrent néanmoins très utiles pour adapter les projets dont ils ont la charge.

Au SECO et à la DDC, les leçons tirées d'évaluations externes sont parfois utilisées au-delà du projet évalué, par exemple pour le pilotage de projets à l'échelle d'une région ou lorsqu'une intervention particulièrement réussie est répliquée à d'autres contextes. À ce titre, des ateliers thématiques ou des réseaux sont organisés au sein du personnel opérationnel, mais ces échanges ne sont pas systématiques. Les rapports biannuels de performance publiés par le SECO présentent une analyse approfondie des enseignements tirés des évaluations (cf. ch.°4.3). On peut également évoquer certains rapports de compte rendu qui résument des résultats ou valorisent des exemples de projets évalués, mais pour la DDC il manque une analyse systématique des enseignements. À la DPDH, la transposition des savoirs à d'autres projets est rare. Ses interventions se déroulent en effet dans des contextes tellement hétérogènes que les leçons tirées des évaluations ne peuvent que rarement s'exporter d'une région à une autre. Par exemple, les enseignements découlant de négociations de paix en Amérique latine ne s'appliquent pas directement à des conflits au Moyen-Orient.

S'agissant des recommandations formulées sur la base des évaluations externes, le CPA a constaté que leur traitement était lacunaire. En principe, ce traitement consiste d'abord à rédiger une prise de position, soit la réponse de l'administration, qui indique quelles recommandations seront appliquées, en justifiant pourquoi d'autres ne le seront pas, ou seulement partiellement (management response). Puis, la mise en oeuvre des recommandations est censée faire l'objet d'un contrôle de suivi. Or, s'agissant des 49

CEval (2022).

23 / 44

FF 2023 2894

évaluations externes, l'ensemble de cette procédure est traité par les unités opérationnelles sous des formes diverses. Les prises de position ne sont pas systématiquement élaborées et la mise en oeuvre des recommandations n'est pas systématiquement contrôlées50.

Le CPA estime donc que l'utilisation des évaluations externes pour le pilotage au niveau des projets n'est que partiellement adéquate. Ce n'est que ponctuellement, et non systématiquement, que des enseignements pour d'autres interventions sont tirés des évaluations. En outre, les recommandations sont traitées de manière lacunaire au niveau des évaluations externes. L'administration ne peut pas apprécier dans quelle mesure les évaluations permettent d'améliorer concrètement les projets de la CI.

4.2

Les évaluations indépendantes sont appropriées pour le pilotage stratégique

Selon les personnes rencontrées et les documents analysés, les évaluations indépendantes sont, elles, utilisées pour le pilotage à un niveau stratégique, qu'il s'agisse d'orientations institutionnelles, régionales ou pour des thématiques transversales. Par exemple, une évaluation portant sur la structure de la DDC a servi de base pour sa réorganisation. Au SECO, des évaluations portant sur des thématiques transversales, comme le climat ou l'engagement du secteur privé, guident les orientations stratégiques dans ces domaines. À la DPDH, une évaluation indépendante a été suivie de la décision du Conseil fédéral de se désengager de l'Initiative de Genève51. Les responsables hiérarchiques des trois entités considèrent que même si les résultats des évaluations indépendantes apportent rarement des faits totalement nouveaux, leur plusvalue est indéniable. Cette forme d'expertise externe leur permet en effet de soutenir d'importantes décisions stratégiques et renforce l'apprentissage institutionnel. Ce sont généralement les responsables hiérarchiques et les unités concernées par l'évaluation indépendante qui rédigent la prise de position découlant des recommandations. Puis, le suivi de leur mise en oeuvre est fait par les unités d'évaluation. Le CPA a constaté que, contrairement à celle des évaluations externes, la DDC, le SECO et la DPDH mènent cette procédure de manière rigoureuse et transparente. Certains estiment toutefois que les recommandations sont, à ce niveau également, souvent formulées de manière trop abstraite, par exemple par rapport à la temporalité suggérée ou aux acteurs concernés.

Pour conclure, le CPA estime que l'utilisation des évaluations indépendantes pour le pilotage stratégique est adéquate, notamment pour adapter des programmes et organiser la CI.

50 51

Seul le SECO dispose d'une rubrique consacrée aux «enseignements» dans un formulaire de demande de crédit de projets.

Plan de paix sur le conflit israélo-palestinien signé en 2003 à Genève.

24 / 44

FF 2023 2894

4.3

Les évaluations sont insuffisamment utilisées pour mesurer l'atteinte des objectifs

En plus de leur fonction de pilotage, les évaluations ont une fonction de reddition de comptes, ou de redevabilité. Idéalement, les évaluations, avec le monitoring et le controlling, devraient contribuer à ce que les décideurs et décideuses puissent se prononcer sur l'atteinte des objectifs de la CI.

De manière générale et comme cela est signalé au ch. 3.4, les outils pour gérer et assurer la qualité des évaluations ne donnent pas expressément la consigne d'indiquer dans les rapports d'évaluation en quoi ces dernières contribuent à l'atteinte des objectifs de la CI.

Les évaluations externes ne contiennent pas systématiquement de liens explicites avec les objectifs de la stratégie pour la CI52, mais, selon les analyses du CPA et l'expertise externe53, elles mentionnent parfois leur ancrage dans une stratégie thématique ou régionale (cf. ch. 3.2). Sur demande du CPA, les entités analysées ont transmis des informations permettant néanmoins d'articuler les interventions évaluées avec les objectifs de la CI (pour le SECO et la DPDH) ou avec les crédits-cadres qui se rapportent à la CI (pour la DDC), mais il manque un lien direct.

Les évaluations indépendantes sont plus orientées vers les objectifs de la CI. Contrairement aux évaluations externes qui mesurent les progrès de la CI sur le terrain, les évaluations indépendantes sont conceptualisées pour répondre à des problématiques stratégiques et contiennent donc plus de données sur l'atteinte des objectifs de la CI.

Les évaluations indépendantes sont par ailleurs majoritairement utilisées dans le rapport final54 pour illustrer l'efficacité de la CI.

Pour pouvoir rendre des comptes au Parlement et au public, il faut en outre que les résultats des évaluations soient connus: les rapports doivent donc être publiés. Bien que les trois entités inscrivent dans leurs directives leur volonté de disséminer largement les évaluations, dans les faits, le SECO et la DPDH se limitent à publier leurs évaluations indépendantes, et les évaluations externes ne sont disponibles que sur demande. La pratique de la DDC, quant à elle, est plus ouverte, puisque que la majorité de ses rapports d'évaluations sont publiés55.

En plus du rapport final sur la stratégie, la DDC et le SECO publient leurs propres comptes rendus valorisant les enseignements d'évaluations, externes
et indépendantes, sous des formes diverses, par exemple des vidéos pour la DDC56 ou des rapports biannuels de performance pour le SECO57. Les rapports biannuels de ce dernier présentent notamment des statistiques sur la réussite des projets ou encore des réflexions richement documentées sur la performance des projets. Ces comptes rendus 52 53 54 55 56 57

Stratégie CI 2021­2024 (FF 2020 2509).

CEval (2023), ch. 3.3.

Rapport final 2020.

Sur le site Internet de la DDC ou sur Aramis, la base de données de recherche de l'administration fédérale.

DDC: rapports sur l'efficacité par thèmes et rapports annuels sous www.eda.admin.ch/deza > Impact > Rapports de la DDC.

SECO: Rapports d'activité et sur l'efficacité accessibles sous www.secocooperation.ch > Documentation > Rapports > Rapports d'activité et sur l'efficacité.

25 / 44

FF 2023 2894

de la DDC et du SECO, malgré leurs qualités indéniables, ne discutent toutefois pas systématiquement de l'atteinte des objectifs de la CI. La DPDH, quant à elle, mobilise d'autres instruments pour apprécier ses progrès58, mais ces instruments ne sont pas non-plus directement orientés sur l'atteinte de son objectif de paix et droits humains.

En conclusion, la contribution des évaluations externes à l'atteinte des objectifs de la CI n'est pas suffisamment explicite et la politique de publication des rapports d'évaluation est trop limitée. L'utilisation des évaluations dans le rapport final59, adressé au Parlement, n'est pas satisfaisante, car l'efficacité de la CI y est démontrée essentiellement à travers des exemples, ou des études de cas, issus d'évaluations indépendantes. Il manque un bilan systématique de l'atteinte des objectifs de la stratégie.

4.4

Les taux de réussite publiés des interventions de la CI ne sont pas fiables

L'efficacité supposée de la CI est mise en évidence à l'aide de chiffres clés, comme les taux de réussite, publiés en intégralité dans le rapport final60 et partiellement dans la stratégie CI, tous deux adressés au Parlement. Ces taux sont calculés et publiés uniquement par la DDC et le SECO. La DPDH ne calcule pas de taux de réussite, ce qui paraît justifié au vu du faible nombre d'évaluations qu'elle mène. Cette entité n'est donc pas concernée par ce sous-chapitre.

Les taux de réussite ont pour vocation de refléter la performance des projets et programmes de coopération61. Dans le rapport final62, on trouve un taux de réussite global ainsi que les taux pour certains critères du CAD (figure 6). Les taux de réussite globaux de la DDC et du SECO sont les deux supérieurs à 80 %. La pertinence des projets est la mieux notée et la viabilité (durabilité) la moins bien. Les deux unités comparent le taux du message actuel avec le précédent. Ils sont calculés sur la base des rapports

58

59 60 61 62

Le benchmarking vise à déterminer la valeur ajoutée de l'engagement suisse pour la paix sur la base d'analyses de contextes. La peer-review est une analyse se fondant sur le regard que porte une collaboratrice ou un collaborateur de la DPDH, spécialiste d'une région, sur les projets d'une autre région. Enfin, le suivi de marqueurs vise à identifier l'influence politique de l'engagement suisse en repérant les marques de langage dans les discours ou la documentation officielle qui seraient semblables à celles utilisées par les acteurs de la DPDH lors d'échanges en amont.

Rapport final 2020.

Idem.

Les contributions aux partenaires multilatéraux, qui ne sont pas des projets en soit, ne sont pas reflétées dans les taux de réussite.

Idem.

26 / 44

FF 2023 2894

d'évaluation externes63. Or, les taux de réussite font émerger plusieurs problèmes, évoqués dans les paragraphes suivants.

Figure 6 Les taux de réussite de la DDC et du SECO tels que publiés dans le rapport final sur la mise en oeuvre du message 2017­2020

Source: Rapport final sur la mise en oeuvre du message 2017­2020, page 2 de l'annexe DDC (à gauche) et page 3 de l'annexe SECO (à droite).

Premièrement, les taux de réussite sont calculés sur la base des évaluations externes portant sur les projets. Or, comme cela a été précédemment présenté, les évaluations externes ne répondent que partiellement aux exigences de qualité (cf. chap. 3). De ce fait, la notation attribuée au projet est discutable, puisqu'elle repose sur des informations peu fiables, notamment en raison de la mauvaise présentation de la méthodologie et des résultats (cf. ch. 3.3). De plus, une partie importante des évaluations externes sont réalisées au cours d'un projet. Ce dernier n'étant pas achevé, l'évaluation ne peut donc pas juger de manière probante le succès du projet, en particulier à long terme, et encore moins sa viabilité. En l'absence de telles informations, il est problématique de vouloir quantifier la supposée réussite du projet.

Deuxièmement, les méthodes de calcul et la représentativité des évaluations externes retenues pour son calcul ont fait l'objet de discussions. Suite à des critiques, le calcul des taux de réussite de la DDC et du SECO a été harmonisé. Malgré cela, les diffé63

Calcul du taux de réussite par la DDC: Sur la base des rapports d'évaluation externes, un bureau externe à la DDC attribue une note pour les critères du CAD (pertinence, efficacité, efficience et viabilité, appelée aussi durabilité) de l'intervention. Le taux de réussite global correspond à la moyenne des notes. 92 évaluations externes (sur un total de plus de 150) ont été retenues pour calculer ce taux.

Calcul du taux de réussite par le SECO: la notation de chaque critère du projet est attribuée par l'équipe d'évaluation directement, puis validée par le SECO sur la base des évaluations externes. Le taux de réussite global correspond à la proportion de projets qui ont une notation satisfaisante ou très satisfaisante. Le SECO utilise toutes ses évaluations externes pour calculer le taux de réussite.

27 / 44

FF 2023 2894

rences entre les taux des deux unités ne sont pas pertinentes d'un point de vue statistique, selon une étude précédente64. La DDC et le SECO ont donc prévu de présenter des «taux communs» dans les prochaines versions du rapport final et de la stratégie CI.

Troisièmement, la représentativité des projets inclus dans les taux de réussite est aussi discutable. Selon les analyses du CPA sur la période 2018­2020, la part de projets évalués retenues par la DDC pour calculer ses taux représente moins de 5 % de l'ensemble de ses projets. Elle est de 20 % pour le SECO. Dans les deux cas, le choix de projets évalués n'est donc pas représentatif du total des interventions de ces unités et il n'est ainsi pas garanti que les succès, et en particulier les échecs, de la CI soient fidèlement reflétés à travers ces taux. En effet, les projets qui ont clairement échoué ne font pas toujours l'objet d'une évaluation externe, car, d'une part on considère que l'on en tire peu d'enseignements et, d'autre part, pour des motifs d'économie65. Les taux de réussite sont meilleurs s'ils se basent sur des évaluations majoritairement positives. Ainsi, la sélection des projets évalués est peut-être pertinente du point de vue de l'utilisation des évaluations pour le pilotage des projets, mais elle ne l'est pas pour le calcul des taux et pour la reddition des comptes.

Quatrièmement, les valeurs élevées des taux suscitent également un certain scepticisme parmi les personnes interrogées par le CPA. Les taux de réussite globaux sont supérieurs à 80 %, ce qui suggère qu'une grande majorité de projets sont couronnés de succès. Le personnel de l'administration et les spécialistes affirment pourtant que, dans le domaine de la coopération, il est normal d'essayer des nouvelles formes d'intervention et qu'il n'est pas rare que des projets soient infructueux. Si les taux reflétaient cette réalité, ils seraient plus bas. En outre, on attend généralement de ce genre d'indicateurs qu'ils progressent au fil des ans; une tendance positive étant souvent associée à une capacité d'amélioration. Or, avec des taux si élevés, on peut se demander si des scores plus hauts seraient encore crédibles.

Pour finir, la majorité du personnel des unités d'évaluation et des responsables hiérarchiques se montrent critiques par rapport aux taux de réussite publiés
et partagent les différents constats susmentionnés. Certaines personnes soulignent cependant que ces chiffres, malgré leurs imperfections, permettent d'agréger un grand volume d'informations en quelques chiffres faciles à saisir. Le CPA estime que les taux de réussite sont certes simples à comprendre, mais que leur publication est inappropriée puisque leurs fondements sont problématiques et que leur interprétation est équivoque.

5

Coûts des évaluations

Le CPA a analysé si les coûts des évaluations mandatées par les trois unités sont opportuns. Les chiffres fournis par ces dernières ont également été transmis au mandataire externe pour certaines analyses66. L'appréciation de ce chapitre porte sur la transparence des coûts, l'adéquation du rapport entre les coûts et la qualité des évaluations

64 65 66

BSS (2020), ch. 2.3.1.

BSS (2020), ch. 2.2.2.

CEval (2023).

28 / 44

FF 2023 2894

et l'adéquation du rapport entre les coûts des évaluations et ceux des interventions (cf.

annexe 2).

Résumé: le CPA constate que les coûts sont établis de manière transparente (ch. 5.1) et qu'ils sont faibles par rapport au budget global des interventions (ch. 5.2).

5.1

Les coûts des mandats d'évaluation sont transparents

Les trois unités analysées ont chacune fourni, à la demande du CPA, un tableau répertoriant les coûts relatifs à leurs évaluations. Ces tableaux présentent les coûts de toutes les évaluations externes et indépendantes menées par ces unités durant la période étudiée (2018­2020).67 Une évaluation indépendante représente un budget plus conséquent: le coût d'une telle évaluation, qui porte généralement sur un aspect stratégique ou transversal, se situe entre 22 500 et 333 200 francs (coût moyen = 138 000 francs), tandis qu'une évaluation externe, qui se concentre sur un projet ou un programme particulier, coûte entre 4700 et 114 700 francs (coût moyen = 34 000 francs). Certains projets et évaluations sont cofinancés avec d'autres partenaires actifs dans les mêmes domaines. À titre d'exemple, le SECO a donné également des informations précises sur les coûts des évaluations qui ont été pris en charge par d'autres organismes. Le tableau récapitulatif des coûts élaboré par les unités d'évaluation a parfois représenté une charge de travail élevée pour rassembler les données, mais le CPA estime que la transparence des coûts est adéquate.

Il est cependant important de souligner que ces coûts sont les dépenses consacrées au mandat d'évaluation externe. Les coûts internes à l'administration engendrés par la rédaction du cahier des charges, la sélection des évaluatrices et évaluateurs, la réponse aux recommandations ou le suivi de leur mise en oeuvre ne sont pas pris en compte dans ces chiffres, aussi bien pour les évaluations externes qu'indépendantes. De même, les bénéfices liés à l'utilisation des évaluations ne sont pas non plus considérés.

Ainsi, les évaluations peuvent contribuer à une CI plus efficiente et permettre des économies substantielles. Cette valeur-ajoutée n'est pas comptabilisée.

5.2

Les coûts des évaluations sont généralement faibles

Selon les chiffres fournis, les coûts des évaluations externes des trois unités étudiées se situent entre 0,8 % et 2,5 % du coût des interventions évaluées (tableau 3).

67

La différence entre évaluations externes et indépendantes est expliquée au ch. 2.2.

29 / 44

FF 2023 2894

Tableau 3 Coûts moyens des évaluations externes (effectifs et proportionnels) Unité administrative

Coût moyen d'une évaluation externe1

Pourcentage moyen du coût de l'évaluation externe1 par rapport au coût de l'intervention2

DDC

39 751 francs

1,2 %

SECO

28 082 francs

0,8 %

DPDH

23 361 francs

2,5 %

1 2

Coûts du mandat d'évaluation externe (part financée par l'unité concernée).

Le coût de l'intervention est égal au budget alloué à l'intervention sur la période 2018­2020.

Source: Propres calculs, sur la base des chiffres fournis par la DDC, le SECO et la DPDH.

Il n'y a pas de règles strictes concernant la part du budget d'une intervention ou d'un projet à consacrer à l'évaluation. Cela dépend en effet d'une multitude de facteurs tels que le type (public ou privé) et le budget de l'organisation concernée, la région concernée ou encore le type et l'ampleur de l'évaluation. Si certains évoquent «une règle d'or» consistant à attribuer 10 % du budget à l'évaluation68, d'autres sources indiquent des pourcentages compris entre 0,5 et 20 %69. Les chiffres obtenus pour la DDC, le SECO et la DPDH se situent donc dans la partie basse de cet ordre de grandeur. Si certaines personnes rencontrées estiment que les unités concernées évaluent plutôt peu, en comparaison avec d'autres pays, la majorité d'entre elles s'accorde pour dire que les proportions actuelles sont plutôt adéquates, au vu du rapport coût-bénéfice engendré. Ceci est d'autant plus le cas que, selon l'analyse du mandataire externe, il n'existe pas de lien statistique entre les coûts des évaluations externes et les différents aspects de leur qualité70.

Les coûts des évaluations externes sont relativement faibles (en moyenne entre 23 000 francs et 40 000 francs), par exemple par rapport à des évaluations indépendantes (coûts moyens de 138 000 francs, cf. ch. 2.2) ou à d'autres évaluations de l'administration fédérale. Elles doivent nécessairement être réalisées avec des ressources limitées, et il est dès-lors plutôt compréhensible que leur qualité méthodologique soit généralement insuffisante (cf. ch. 3.3).

68 69

70

Lagarde, François / Kassirer, Jay & Lotenberg, Lynne (2012): Budgeting for Evaluation: Beyond the 10 % Rule of Thumb. Social Marketing Quarterly 18: pp. 247­251.

Twersky, Fay & Arbreton Amy (2014): Benchmarks for spending on evaluation. The William and Flora Hewlett Foundation; Corporation for National and Community Service ­ AmeriCorps (2014): Budgeting for Evaluation. State and National Symposium (présentation PPT); Australian Social Value Bank: Evaluation ­ What percentage of your budget should you spend?, 1.11.2018, https://asvb.com.au > About ASVB > What's new (consulté le 1.2.2023); BetterEvaluation.org: Identify what resources are available for the evaluation and what will be needed (pas de date), www.betterevaluation.org > Manager's guide to evaluation > Scope Evaluation (consulté le 1.2.2023); https://zewo.ch/fr/ > préalables organisationnels > budget (consulté le 20.3.2023).

CEval (2023), ch. 4.4 et annexe, ch. 7.4.1. La seule exception concerne les rapports du SECO, pour lesquels des coûts plus élevés vont de pair avec une meilleure qualité de la présentation des méthodes.

30 / 44

FF 2023 2894

6

Conclusions

Le CPA a évalué la manière dont l'administration mesure l'efficacité de la CI; cependant, il n'a pas évalué lui-même l'efficacité de la CI. Dans l'ensemble, le CPA parvient à la conclusion que l'efficacité de la CI est mesurée de manière partiellement opportune par les évaluations. S'agissant de la qualité des évaluations externes, des points forts mais aussi des points faibles ont été identifiés (ch. 6.1). Les outils pour gérer les évaluations et garantir leur qualité sont pour la plupart appropriés, mais leur volume est variable (ch. 6.2). L'utilisation des évaluations pour le pilotage à différents niveaux est appropriée dans l'ensemble. Les recommandations des évaluations externes sont toutefois traitées de manière lacunaire (ch. 6.3). L'utilisation des évaluations pour rendre des comptes au Parlement et au public n'est pas adéquate, notamment en ce qui concerne les taux de réussite publiés (ch. 6.4). Enfin, les coûts des évaluations sont établis de manière transparente et ils sont plutôt bas (ch. 6.5).

6.1

Les évaluations externes présentent des forces, mais aussi des faiblesses

La qualité des évaluations externes, soit les évaluations de projets mandatées par les unités opérationnelles de la DDC, du SECO et de la DPDH, est inégale: celles de la DDC et du SECO sont à peu près comparables, tandis que les évaluations de la DPDH présentent généralement plus de lacunes (ch. 3.1, 3.2 et 3.3). Ces dernières s'expliquent notamment par les spécificités de cette entité administrative (ch. 3.4).

La qualité des cahiers des charges, sur lesquels reposent les évaluations externes, est généralement satisfaisante. Comme la méta-évaluation externe l'a confirmé, disposer de bons cahiers des charges est essentiel, puisque ce document influence la qualité du rapport d'évaluation (ch. 3.1). Dans l'ensemble, les points forts des rapports d'évaluation sont la bonne compréhensibilité des résumés et la transparence des sources de données. La plupart des évaluations décrivent de manière adéquate leur objet d'étude, les résumés sont de qualité et la cohérence entre les résultats et les conclusions est satisfaisante. Ces éléments facilitent la compréhension des évaluations et leur utilité pour le pilotage de projets, même si les recommandations sont formulées de manière trop vague (ch. 3.2). Ces forces sont contrebalancées par certaines faiblesses. Cellesci se traduisent notamment par des mauvaises présentations de la méthodologie et des résultats. Ces lacunes mettent en évidence le fait que les rapports d'évaluation externe peinent à restituer de manière fondée l'efficacité des projets de coopération et soulignent les limites des évaluations externes pour la reddition de compte au Parlement et au public (ch. 3.3).

Une comparaison succincte avec d'autres pays comme l'Allemagne, l'Autriche ou encore la Finlande permet toutefois de constater que la qualité des évaluations de la CI suisse se situe à un niveau comparable à ce qui se fait ailleurs (ch. 3.3).

31 / 44

FF 2023 2894

6.2

Les outils pour gérer les évaluations sont pour la plupart appropriés, mais leur volume est variable

Comme l'administration ne réalise pas elle-même les évaluations, il est important qu'elle dispose d'outils pour les gérer et en assurer la qualité. La DDC et le SECO ont globalement des directives, des processus et des responsabilités claires pour s'acquitter de ces tâches. En revanche, le volume de documents de la DDC est important, ce qui pourrait expliquer que ces outils soient peu utilisés. À l'inverse, la DPDH dispose de peu d'outils, qui sont relativement peu détaillés (ch. 3.4). La taille réduite et les spécificités des missions de cette entité l'expliquent en partie. Cependant, les rares processus existants ne permettent pas d'assurer suffisamment la qualité des évaluations externes (ch. 3.2 et 3.3). Enfin, il faut encore souligner que le soutien et les compétences du personnel des unités d'évaluation de la DDC, du SECO et de la DPDH sont loués par les responsables de projets; ces derniers se sentent soutenus dans leurs activités de gestion des évaluations (ch. 3.4).

6.3

Les évaluations sont utilisées de manière globalement adéquate pour le pilotage

L'administration a une utilisation différenciée des deux types d'évaluations, externes et indépendantes.

Les évaluations externes, soit les évaluations mandatées par les unités opérationnelles portant sur les projets de coopération, sont essentiellement utilisées pour le pilotage des projets évalués. À la DDC et au SECO, les leçons tirées des évaluations sont occasionnellement utilisées pour d'autres interventions, par exemple à l'échelle d'une région ou lorsque des projets réussis sont répliqués dans d'autres contextes. À la DPDH, la transposition des savoirs est moins courante; elle est en effet plus difficilement applicable, car les contextes d'intervention sont singuliers (ch. 4.1). Le CPA estime en outre que les recommandations, découlant des résultats des évaluations externes, ne sont pas suffisamment suivies. En effet, il n'y pas systématiquement de prise de position de l'administration ni de suivi de la mise en oeuvre des recommandations. Par conséquent, on ne sait pas dans quelle mesure le recours à des évaluations permet d'améliorer les projets de la CI (ch. 3.2 et 4.1).

Les évaluations indépendantes, qui sont mandatées par les unités d'évaluation et qui concernent des thématiques plus transversales, sont utilisées pour le pilotage se situant aux niveaux stratégiques de la CI. Ces évaluations apportent rarement des résultats totalement nouveaux mais elles soutiennent les décisions stratégiques des responsables hiérarchiques. À ce niveau, le suivi des recommandations est fait de manière rigoureuse (ch. 4.2).

32 / 44

FF 2023 2894

6.4

L'utilisation des évaluations pour rendre des comptes au Parlement et au public n'est pas adéquate

Les décideurs et les décideuses politiques doivent savoir si les objectifs définis dans la stratégie CI71 approuvée par leurs soins sont atteints. Comme la CI déploie ses activités à l'étranger, il est également essentiel que les contribuables suisses soient informés de son efficacité. L'évaluation est le seul instrument qui va suffisamment en profondeur pour permettre d'établir un lien entre une intervention et ses effets. En plus, contrairement au monitoring, qui est réalisé par l'administration elle-même, les évaluations dans le domaine de la CI sont confiées à des personnes externes, ce qui les rend plus indépendantes. L'évaluation a explicitement une fonction de redevabilité (ch. 2.2).

Les évaluations externes, qui constituent de loin la plus grande partie des évaluations réalisées, présentent des faiblesses qualitatives (cf. ch. 6.1) et elles ne sont pas toutes mises à disposition du public, ce qui limite leur fonction de redevabilité. Bien qu'elles mentionnent parfois leur ancrage dans une stratégie thématique ou régionale, ces évaluations ne se réfèrent pas directement à l'atteinte des objectifs de la stratégie CI. Les évaluations indépendantes, quant à elles, sont généralement plus orientées vers les objectifs stratégiques, et certains de leurs enseignements trouvent un écho dans le rapport final72 à disposition du Parlement et du public, ce qui est positif. Cependant, le rapport final ne contient pas de bilan clair de l'atteinte des objectifs de la stratégie pour la CI. Le DFAE et le DEFR font état d'améliorations dans le monitoring, mais il reste à voir dans quelle mesure cet instrument fournira des informations fondées et systématiques sur la réalisation des objectifs de la stratégie (ch. 4.3).

Le rapport final73 présente des taux de réussite qui visent à rendre compte de l'efficacité des projets de coopération. Bien qu'ayant l'avantage d'être synthétiques, ces chiffres ne sont pas pertinents. Ils reposent sur des évaluations externes insuffisamment fondées et ils ne sont pas représentatifs de l'ensemble des projets de la CI, ce qui se concrétise par des scores très élevés. Dans l'ensemble, le CPA considère que les taux de réussite ne reflètent pas de manière probante l'efficacité de la CI et n'apportent pas une plus-value justifiant leur prédominance dans les rapports à l'attention du Parlement et du public (ch. 4.4).

6.5

Les coûts des évaluations sont transparents et généralement faibles

Les coûts des évaluations sont établis de manière transparente. Les trois unités évaluées ont pu clairement communiquer au CPA les coûts relatifs à leurs évaluations externes et indépendantes, en différenciant parfois même les coûts supportés par l'unité concernée des coûts totaux de l'évaluation, lorsque les projets sont cofinancés avec d'autres partenaires (ch. 5.1).

71 72 73

Stratégie CI 2021­2024 (FF 2020 2509).

Rapport final 2020.

Idem.

33 / 44

FF 2023 2894

Les évaluations externes des trois unités étudiées coûtent de 23 000 à 40 000 francs en moyenne et oscillent entre 0,8 % et 2,5 % du budget des interventions évaluées.

Ces valeurs se situent plutôt dans la tranche inférieure des dépenses consacrées aux évaluations dans le milieu de la CI (ch. 5.2). Compte tenu des ressources limitées affectées aux évaluations externes, il est dès-lors compréhensible qu'elles présentent des faiblesses méthodologiques (ch. 3.3), mais il n'y a pas de lien statistique entre les coûts et la qualité de ces évaluations (ch. 5.2).

34 / 44

FF 2023 2894

Abréviations Al.

Alinéa

Art.

Article

CAD

Comité d'aide au développement de l'Organisation de coopération et de développement économiques

CaD-AH

Loi fédérale du 19.3.1976 sur la coopération au développement et l'aide humanitaire internationales (RS 974.0)

CDF

Contrôle fédéral des finances

CdG

Commissions de gestion des Chambres fédérales

CdG-E

Commission de gestion du Conseil des États

CdG-N

Commission de gestion du Conseil national

Cf.

Confer

Ch.

Chiffre

Chap.

Chapitre

CI

Coopération internationale

CPA

Contrôle parlementaire de l'administration

Cst.

Constitution fédérale (RS 101)

DDC

Direction du développement et de la coopération

DEFR

Département fédéral de l'économie, de la formation et de la recherche

DFAE

Département fédéral des affaires étrangères

DPDH

Division Paix et droits de l'homme

EPT

Équivalents pleins temps

FF

Feuille fédérale

Fig.

Figure

GmbH

Gesellschaft mit beschränkter Haftung (en allemand dans le texte)

Let.

Lettre

OCDE

Organisation de coopération et de développement économiques

RS

Recueil systématique du droit fédéral

SECO

Secrétariat d'Etat à l'économie

35 / 44

FF 2023 2894

Bibliographie BSS Economic Consultants (2020): Assessing the performance of the Swiss international cooperation.

CAD (2011): Évaluer la coopération pour le développement: récapitulatif des normes des standards de référence (2e édition).

CAD (2021): Des meilleurs critères pour des meilleures évaluations: Définitions adaptées et principes d'utilisation.

CEval (2022): Concept note: Meta-evaluation of 50 decentralized project evaluations of the DEZA. Pas publié.

CEval (2023): Wirksamkeitsmessung in der internationalen Zusammenarbeit: Metaevaluation DEZA/SECO/AFM. Im Auftrag der Schweizer Parlamentarischen Verwaltungskontrolle.

Conseil fédéral (2020): Message du 19.2.2020 sur la stratégie de coopération internationale 2021­2024 (Stratégie CI 2021­2024; FF 2020 2509).

Contrôle fédéral des finances (2017): Audit des critères pour la stratégie d'attribution par pays des projets d'aide bilatérale au développement ­ Direction du développement et de la coopération.

Contrôle fédéral des finances (2019a): Audit de subvention dans le domaine de la promotion de la paix et de la politique de sécurité humaine ­ Département fédéral des affaires étrangères.

Contrôle fédéral des finances (2019b): Programme global Eau et Programme global Changement climatique et Environnement ­ Audits de projets au Sénégal, au Pérou, en Uruguay et en Suède.

Contrôle fédéral des finances (2020): Audit de la durabilité des projets de coopération bilatérale au développement ­ Direction du développement et de la coopération.

Contrôle fédéral des finances (2022): Audit de subventions auprès des ONG suisses dans le domaine de l'aide humanitaire ­ Direction du développement et de la coopération ­ Croix-Rouge Suisse ­ Caritas Suisse.

Contrôle fédéral des finances (publication prévue pour 2023b): COVID-19: Audit de subvention sur l'utilisation des moyens supplémentaires pour les pays en développement ­ Direction du développement.

Corporation for National and Community Service ­ AmeriCorps (2014): Budgeting for Evaluation. State and National Symposium (présentation PPT).

DDC, Evaluation and Corporate Controlling Section / Quality Assurance and Poverty Reduction Section (2020): How-to Note Evaluation, Swiss Agency for Development and Cooperation, A toolkit for programme and project evaluation.

DDC, SECO, DSH (2018): Rapport intermédiaire sur la mise en oeuvre du message 2017­2020.

36 / 44

FF 2023 2894

DDC, SECO, DSH (2020): La coopération internationale de la Suisse prouve son efficacité. Rapport final sur la mise en oeuvre du message 2017­2020 (Rapport final 2020).

DPDH (2019): Evaluation in der AFM, Anleitung.

Grasso, Patrick G. (2020): Peer review of four evaluation functions. Novembre 2020.

Groupe interdépartemental de contact «Évaluations de l'efficacité» (IDEKOWI) (2004): Propositions de mise en oeuvre de l'art. 170 de la Constitution fédérale dans le contexte des activités du Conseil fédéral et de l'administration fédérale. Rapport à la Conférence des secrétaires généraux de la Confédération suisse, Berne.

Lagarde, François / Kassirer, Jay & Lotenberg, Lynne (2012): Budgeting for Evaluation: Beyond the 10 % Rule of Thumb. Social Marketing Quarterly 18: pp. 247­251.

Massey, Oliver T. (2011): A proposed model for the analysis and interpretation of focus groups in evaluation research. Evaluation and program planning, 34(1), pp. 21­28.

OCDE (2019): Examens de l'OCDE sur la coopération pour le développement: Suisse. Examens de l'OCDE sur la coopération pour le développement, Éditions OCDE, Paris.

SECO (ohne Datum): Evaluation Guidelines SECO/WE.

Silvestrini, Stefan / Väth, Susanne Johanna / Römling, Cornelia / Lieckefett, Michael / Mikkolainen, Petra (2018): Metaevaluation of MFA's project and programme evaluations in 2015­2017, sur mandat du Ministère des affaires étrangères de Finlande.

Helsinki: Ministry for Foreign Affairs of Finland, 2018/3.

Silvestrini, Stefan / Bäthge, Sandra (2019): Meta-Evaluation of ADA Project and Programme Evaluations, sur mandat de l'Agence autrichienne de développement.

Vienne: Austrian Development Agency.

Stockmann, Reinhard & Silvestrini, Stefan (2012), Synthese und Meta-Evaluierung, Berufliche Bildung, 2011, sur mandat de l'Agence de coopération internationale allemande pour le développement. Bonn: Deutsche Gesellschaft für Internationale Zusammenarbeit (GIZ) GmbH.

Twersky, Fay & Arbreton Amy (2014): Benchmarks for spending on evaluation. The William and Flora Hewlett Foundation.

Väth, Susanne Johanna / Silvestrini, Stefan / Gaus, Hansjörg / Mikkolainen, Petra / Flaig, Maja / Wicke, Janis (2022): Metaevaluation of MFA's project and programme evaluations in 2017­2020, sur mandat du Ministère des affaires étrangères de Finlande. Helsinki: Ministry for Foreign Affairs of Finland, 2022/1.

Widmer, Thomas / De Rocchi, Thomas (2012): Evaluation: Grundlagen, Ansätze und Anwendungen. Zürich: Rüegger Verlag.

37 / 44

FF 2023 2894

Liste des personnes interrogées La liste ci-dessous indique la fonction de la personne concernée au moment de l'entretien avec le CPA.

Bay-Scheidegger, Emilie

Chargée de programme, section Paix ­ MENA, DPDH

Bernasconi, Jean-Luc

Chef de la division Fondements et qualité, DDC

Bieler, Peter

Chef de la section Afrique orientale et australe, DDC

Bloch, Massimo

Collaborateur scientifique WEIF, secteur Développement du secteur privé, SECO

Brüschweiler, Sabine

Spécialiste Finances et administration, service spécialisé Évaluation et contrôle de gestion, DDC

Büchel, Konstantin

Docteur en économie publique, Institut d'économie publique, Université de Berne

Conus, Vincent

Collaborateur diplomatique, DPDH

de Sá Kirchknopf, Liliana

Responsable du secteur Développement du secteur privé, SECO

Demaurex, Grégoire

Expert en révision, Surveillance financière, CDF

Friedmann, Rémy

Conseiller senior, section Diplomatie des droits de l'homme, DPDH

Gass, Thomas

Directeur adjoint et chef de la Division Coopération avec le Sud, DDC

Gehring, Rea

Cheffe adjointe de la section Paix et droits de l'homme ­ Géographique, DPDH

Geissbühler, Simon

Chef de la section Paix et droits de l'homme, ambassadeur, DPDH

Inglin, Andrea

Chargée de programme, section Économie et éducation, DDC

Krapp, Stefanie

Responsable du domaine Évaluation, Centre universitaire de formation (ZUW), Université de Berne

Leibundgut, Irène

Cheffe de l'État-major DPDH

Locher, Martina

Collaboratrice scientifique WEHU, secteur Promotion commerciale, SECO

Michaelowa, Katharina

Professeure à l'institut des sciences politiques, Université de Zurich

Nigg, Reto

Chef du service spécialisé Assurance qualité et numérisation interne, DDC

Orjales, Carlos

Collaborateur scientifique WEMU, secteur Soutien macroéconomique, SECO

38 / 44

FF 2023 2894

Paravicini, Dominique

Chef du centre de prestations WE Coopération et développement, SECO

Piaget, Jenny

Cheffe de la section Diplomatie des droits de l'homme, DPDH

Ramming, Martina

Conseillère en politique sectorielle, section Économie et éducation, DDC

Saladin, Martin

Chef des opérations WEOP / responsable suppléant du centre de prestations Opérations Sud /Est, SECO

Schilling, Raphael

Président du comité d'évaluation SECO, Southpole Group

Schneider, Johannes

Chef du secteur Qualité et ressources WEQA, SECO

Schneller, Lukas

Chef du secteur Politique et services WEPO, SECO

Sguaitamati, Damiano

Chargé de programme, section Diplomatie humanitaire, DPDH

Sturm, Valérie

Collaboratrice scientifique, secteur Qualité et ressources WEQA, SECO

Swedor, Geneviève

Chargée de programme, section Paix Afrique, DPDH

Tedeschi, Romana

Cheffe du service spécialisé Évaluation et contrôle de gestion, DDC

Terberger, Eva

Membre du comité d'évaluation SECO, professeure à l'Université de Mannheim

Thönen, Reto

Chargé de programme, service spécialisé Évaluation et contrôle de gestion, DDC

Vogel, Dagmar

Cheffe du secteur Financement d'infrastructures WEIN, SECO

Widmer, Thomas

Professeur à l'Institut des sciences politiques de l'Université de Zurich

Windisch, Roman

Responsable de programme, secteur Financement d'infrastructures WEIN, SECO

39 / 44

FF 2023 2894

Annexe 1

Approche de l'évaluation

Objectifs de la politique:

La mesure de l'efficacité de la CI à l'a pour but d'améliorer son pilotage et la reddition de comptes au Parlement et au public, puisque les interventions se déroulent à l'étranger.


Moyen pour les atteindre:

La DDC, le SECO et la DPDH, chargés de mettre en oeuvre la CI, mesurent l'efficacité de leurs interventions à l'aide de trois instruments: les évaluations, le monitoring et le controlling. L'évaluation constitue le principal instrument de la mesure de l'efficacité.


Objet de l'évaluation:

Questions d'évaluation:

Analyses effectuées:

Cette analyse porte sur le recours aux évaluations par l'administration, soit la DDC, le SECO et la DPDH, pour mesurer l'efficacité de la CI.







Les évaluations dans la CI sont-elles de bonne qualité?

Les évaluations sontelles utilisées de manière adéquate pour piloter la CI et rendre des comptes au Parlement et au public?

Les coûts des évaluations sont-ils opportuns?







Méta-évaluation (mandat externe)

Analyse de documents

Analyse des coûts

Entretiens bilatéraux

Entretiens bilatéraux

Analyse de documents

Entretiens de groupes

Entretiens de groupes

Entretiens bilatéraux

40 / 44

Méta-évaluation (mandat externe)

FF 2023 2894

Annexe 2

Critères d'évaluation Critères spécifiques

Éléments d'appréciation

Qualité des évaluations externes (chap. 3) Satisfaction des critères de qualité

Les critères de qualité doivent être majoritairement évalués comme satisfaisants.

Qualité des cahiers des charges

Le cahier des charges, rédigé par l'administration, est majoritairement satisfaisant.

Qualité des rapports d'évaluation externe

Pour être utile au pilotage, le résumé, l'introduction et contexte et les conclusions et recommandations sont satisfaisants. Pour rendre des comptes sur la base de résultats probants, la présentation de la méthodologie et des résultats est satisfaisante.

Adéquation des Les différences de qualité entre les trois unités administradifférences de qualité tives peuvent être justifiées en raison des spécificités de entre les unités leurs missions, de leurs ressources ou des contextes de réalisation des évaluations.

Adéquation des outils pour gérer et assurer la qualité des évaluations

Les directives et autres documents pour gérer les différents types d'évaluations sont clairs, faciles à utiliser et pas redondants. Les exigences de qualité pour les différents types d'évaluations sont clairement définies. Les étapes de travail ainsi que les responsabilités sont claires, pas superflues, ni redondantes, et sont consignées dans un processus. Le volume d'outils est approprié.

Opportunité des compétences en gestion d'évaluation

Les personnes responsables de l'assurance qualité ont des compétences appropriées en gestion d'évaluation. Elles aident à la gestion d'évaluations.

Adéquation de l'utilisation des évaluations (chap. 4) Utilité des résultats Les résultats et les recommandations des évaluations sont des évaluations et fondés, compréhensibles et utiles. Ils fournissent de noudes recommandations velles connaissances et sont pris en compte dans les décisions, que ce soit au niveau de l'intervention évaluée ou au niveau stratégique. Les recommandations s'adressent à des destinataires clairs, sont priorisées et définies dans le temps.

Les rapports d'évaluation sont publiés.

41 / 44

FF 2023 2894

Critères spécifiques

Éléments d'appréciation

Influence des évaluations sur le pilotage à différents niveaux

Les résultats des évaluations sont utilisés pour le pilotage à différents niveaux: adapter ou améliorer les interventions évaluées; adapter d'autres interventions; adapter des stratégies thématiques ou régionales; adapter l'organisation des unités administratives; adapter la stratégie CI.

Adéquation du traitement des recommandations

Les recommandations des évaluations font l'objet d'une prise de position, précisant lesquelles seront mises en oeuvre et dans quelle mesure (management response). L'application des mesures est régulièrement contrôlée.

Orientation des évaluations vers les objectifs de la CI

Les évaluations ou, au moins, les interventions évaluées se réfèrent explicitement aux objectifs du message sur la CI et apprécient la contribution des interventions à ceux-ci. Il est ainsi possible de déterminer le degré d'atteinte des objectifs.

Orientation sommative des évaluations

Les évaluations externes sont essentiellement de nature sommative; elles font le bilan de l'atteinte des objectifs des interventions et visent la reddition de comptes. On trouve donc une majorité d'évaluations de «fin de projet» et «ex post» et une minorité à «mi-parcours», ces dernières ne permettant de mesurer que partiellement l'atteinte des objectifs.

Fiabilité des taux de réussite publiés

Une part représentative d'interventions est évaluée, et cela peut concerner le nombre, le coût et/ou la réussite des interventions. Les évaluations retenues pour les taux de réussite sont représentatives, comparables et de qualité. Les méthodes de calcul des taux sont harmonisées et transparentes. Les taux s'interprètent de manière univoque.

Opportunité des coûts des évaluations (chap. 5) Transparence des coûts

L'administration peut indiquer les coûts externes ainsi que les coûts totaux pour chaque évaluation. Les lacunes peuvent être expliquées. Les évaluations cofinancées établissent leurs coûts clairement.

Adéquation du rapport Les évaluations externes plus coûteuses sont de meilleure entre les coûts et la qualité, ce qui justifie leur coût plus élevé.

qualité des évaluations Adéquation du rapport entre les coûts des évaluations et ceux des interventions

42 / 44

Les coûts des évaluations externes correspondent environ à 10 % des coûts de l'intervention. Des coûts plus élevés ou plus bas se justifient, notamment par rapport à la qualité des évaluations ou à l'influence des évaluations en matière de pilotage.

FF 2023 2894

Impressum Réalisation de l'évaluation Dr Raoul Kaenzig, CPA (direction de projet) Dr Simone Ledermann, CPA (direction de projet ad interim) Marion Baud-Lavigne, CPA (collaboration scientifique) Andreas Tobler, CPA (collaboration scientifique)

Rapport des experts externes: méta-évaluation Dr Stefan Silvestrini, CEval GmbH (direction de projet) Julie Ngo, CEval GmbH (collaboration scientifique)

Remerciements Le CPA remercie l'administration fédérale et particulièrement les unités d'évaluation de la DDC, du SECO et de la DPDH pour la mise à disposition de données, les explications et la coordination d'entretiens. Il remercie aussi les mandataires susmentionnés pour la réalisation de la méta-évaluation. Ses sincères remerciements vont également à toutes les personnes qui ont participé aux entretiens et qui lui ont fourni des informations.

Contact Contrôle parlementaire de l'administration Services du Parlement CH-3003 Berne Tél. +41 58 322 97 99 Courriel: pvk.cpa@parl.admin.ch www.parl.ch > Organes > Commissions > CPA

Langue originale du rapport: français

43 / 44

FF 2023 2894

44 / 44