FF 2023 www.fedlex.admin.ch La version électronique signée fait foi
Mesure de l'efficacité dans la coopération internationale Rapport de la Commission de gestion du Conseil des États du 14 novembre 2023
2023-3465
FF 2023 2893
FF 2023 2893
L'essentiel en bref Le 25 janvier 2022, les Commissions de gestion des Chambres fédérales (CdG) ont décidé de mener une inspection sur la mesure de l'efficacité dans la coopération internationale (CI) et ont chargé le Contrôle parlementaire de l'administration (CPA) de mener une enquête à ce sujet, en limitant l'objet de cette dernière à l'instrument de l'évaluation. Il convient de distinguer les évaluations dites «externes», qui sont utilisées en premier lieu au niveau des projets pour le pilotage des projets évalués, et les évaluations dites «indépendantes», qui servent de base aux responsables hiérarchiques pour leurs décisions stratégiques.
Sur la base des travaux du CPA, la Commission de gestion du Conseil des États (CdG-E) parvient notamment aux conclusions positives suivantes: les coûts des évaluations sont établis de manière transparente et restent modestes; les évaluations indépendantes sont de bonne qualité et sont utilisées à l'échelon approprié; dans une certaine mesure, les outils et les processus pour gérer les évaluations sont bons et l'administration les utilise de manière adéquate.
Cela ne signifie pas pour autant, selon la CdG-E, qu'il n'y a pas lieu de procéder à certaines corrections substantielles dans la mesure de l'efficacité de la CI. Premièrement, telles qu'elles sont conçues actuellement, les évaluations externes ne se prêtent que partiellement à la mesure de l'efficacité et au pilotage au niveau des projets, car dans les rapports d'évaluation externe, la présentation de la méthodologie et des résultats ainsi que la formulation des recommandations ne sont pas optimales. De plus, la mise en oeuvre des recommandations ne fait pas l'objet d'un suivi systématique.
Deuxièmement, dans leur conception actuelle, les évaluations externes ne permettent pas de savoir si le projet évalué contribue à la réalisation des objectifs généraux de la CI. Troisièmement, l'utilisation des évaluations pour rendre des comptes au Parlement et au public n'est pas adéquate et les taux de réussite utilisés par le Conseil fédéral dans les rapports finaux sur la mise en oeuvre de la stratégie CI pour démontrer l'efficacité de la CI ne sont ni transparents, ni représentatifs, ni fiables.
La CdG-E en tire les conclusions suivantes: il convient d'harmoniser les outils et les processus utilisés pour
gérer les évaluations, en renforçant les synergies entre les unités administratives examinées. En outre, des mesures doivent être prises pour améliorer la qualité des évaluations externes de sorte que celles-ci puissent être utilisées pour le pilotage au niveau des projets. Enfin, le Conseil fédéral doit adapter sa façon de rendre des comptes au Parlement et au public au moyen des taux de réussite, en les informant de manière transparente et représentative de l'efficacité de la CI.
Le Conseil fédéral est invité à prendre position sur les six recommandations de la CdG-E d'ici au 21 février 2024.
2 / 18
FF 2023 2893
Rapport 1
Introduction
1.1
Contexte
La CI de la Suisse repose sur la Constitution, selon laquelle la Confédération contribue à soulager les populations dans le besoin, à lutter contre la pauvreté ainsi qu'à promouvoir le respect des droits humains, la démocratie, la coexistence pacifique des peuples et la préservation des ressources naturelles (art. 54, al. 2, Cst.1).
La stratégie CI du Conseil fédéral couvre trois domaines2, régis par plusieurs lois fédérales3: la coopération au développement, l'aide humanitaire ainsi que la promotion de la paix et de la sécurité humaine. Sa mise en oeuvre incombe à trois unités administratives rattachées à deux départements:
la coopération au développement incombe à la Direction du développement et de la coopération (DDC), rattachée au Département fédéral des affaires étrangères (DFAE), et au Secrétariat d'État à l'économie (SECO), rattaché au Département fédéral de l'économie, de la formation et de la recherche (DEFR);
l'aide humanitaire est du ressort de la DDC; et
la promotion de la paix et de la sécurité humaine est mise en oeuvre par la Division Paix et droits de l'homme (DPDH)4 du DFAE.
Ces unités soutiennent un grand nombre de projets de la CI.
Le Conseil fédéral est tenu par la loi de veiller à l'utilisation efficace des moyens financiers alloués à la CI, de procéder régulièrement à des évaluations et de rendre compte à l'Assemblée fédérale de chaque période de crédit5. Tous les quatre ans, il soumet au Parlement un message6 précisant la stratégie pour la CI de la Suisse, accompagné d'une demande de crédits-cadres. La stratégie CI 20212024 prévoit un budget total de 11,25 milliards de francs répartis entre les trois domaines et unités administratives. Pour que ces moyens soient utilisés de manière judicieuse, il est essentiel de mesurer l'efficacité des projets financés. La mesure de l'efficacité dans la CI ne sert donc pas seulement à améliorer les projets et le pilotage de la CI: elle sert également à rendre des comptes au Parlement et au public.
1 2 3
4 5
6
Constitution fédérale du 18.4.1999 (Cst.; RS 101).
Stratégie CI 20212024 (FF 2020 2509).
Loi fédérale du 19.3.1976 sur la coopération au développement et l'aide humanitaire internationales (RS 974.0; ci-après loi CaD-AH); loi fédérale du 30.9.2016 sur la coopération avec les États d'Europe de l'Est (RS 974.1; ci-après loi Est); loi fédérale du 19.12.2003 sur des mesures de promotion civile de la paix et de renforcement des droits de l'homme (RS 193.9; ci-après loi Sécurité humaine).
Auparavant Division Sécurité Humaine (DSH).
Art. 9, al. 3, loi CaD-AH; art. 17 loi Est; art. 5 loi Sécurité humaine.
Message du 19.2.2020 sur la stratégie de coopération internationale 20212024 (Stratégie CI 20212024; FF 2020 2509).
3 / 18
FF 2023 2893
Dans les rapports finaux7 sur la mise en oeuvre du message sur la stratégie CI, le Conseil fédéral présente des taux de réussite supérieurs à la moyenne internationale. Ces taux de réussite sont calculés sur la base d'évaluations. Il est essentiel que la qualité de ces évaluations soit suffisante pour que leurs résultats permettent de tirer des conclusions fiables sur la réalisation des objectifs. D'après le CPA, la qualité des évaluations externes a été critiquée à plusieurs reprises et l'utilisation qui en est faite pour piloter les projets et la CI dans son ensemble et pour rendre des comptes au public et au Parlement a été remise en question8.
Eu égard à cette situation, les CdG ont décidé, le 25 janvier 2022, de lancer une inspection et de charger le CPA d'évaluer la mesure de l'efficacité dans la coopération au développement.
1.2
Objet de l'enquête
La sous-commission DFAE/DDPS de la CdG-E a été chargée de mener cette inspection. À sa séance du 23 mai 2022, la sous-commission a chargé le CPA de clarifier les questions suivantes:
Les évaluations dans la CI sont-elles de bonne qualité?
Les évaluations sont-elles utilisées de manière adéquate pour piloter la CI et rendre des comptes au Parlement et au public?
Les coûts des évaluations sont-ils opportuns?
Elle l'a donc chargé d'examiner non pas l'efficacité même de la CI, mais la manière dont les unités administratives concernées, les départements ou le Conseil fédéral mesurent l'efficacité de la CI et en rendent compte au moyen d'évaluations. Dans la CI, l'efficacité exprime la «mesure dans laquelle les objectifs et les résultats de l'intervention ont été atteints, ou sont en train de l'être»9.
Ce faisant, la sous-commission a limité le mandat d'enquête confié au CPA à un seul instrument de mesure de l'efficacité dans la CI: l'évaluation. L'évaluation, en tant qu'instrument, est une analyse approfondie réalisée dans un laps de temps déterminé et se fondant sur des méthodes scientifiques. Elle est l'instrument principal de mesure de l'efficacité, car elle permet d'établir une relation de cause à effet entre un projet et les effets observés10. D'autres instruments de mesure de l'efficacité dans la CI, comme le monitoring11 ou le controlling12, ne permettent pas d'établir un tel lien de cause à effet13. C'est pourquoi la sous-commission a limité aux évaluations le mandat d'enquête confié au CPA, qui ne s'est donc penché ni sur le monitoring ni sur le control7 8 9 10 11 12 13
DDC, SECO, DSH (2020): La coopération internationale de la Suisse prouve son efficacité. Rapport final sur la mise en oeuvre du message 20172020.
Rapport du CPA du 27.4.2023, chap. 1.3, p. 10 et chap. 4.4, p. 27.
Rapport du CPA du 27.4.2023, chap. 2.2, p. 13.
Rapport du CPA du 27.4.2023, chap. 2.2, p. 13.
Instrument d'observation consistant à rassembler des données comparables de manière permanente, systématique et routinière.
Instrument de direction permettant de suivre les travaux de façon à atteindre les objectifs Rapport du CPA du 27.4.2023, chap. 1.3, p. 10.
4 / 18
FF 2023 2893
ling. Les évaluations d'impact, basées sur des méthodes expérimentales, n'ont pas non plus été étudiées. Le CPA a examiné les évaluations des trois unités administratives concernées pour la période allant de 2018 à 202014.
Pour les évaluations réalisées dans le cadre de la CI suisse, il convient de distinguer les évaluations dites «externes» des évaluations dites «indépendantes» (terminologie de l'administration fédérale); à noter que les unités administratives ne réalisent pas elles-mêmes ces deux types d'évaluation, mais les confient à des spécialistes externes15. Le CPA a examiné les deux types d'évaluation:
Les évaluations externes sont mandatées par les responsables de projet. Elles sont utilisées en premier lieu au niveau des projets, pour le pilotage des projets évalués.
Les évaluations indépendantes sont mandatées par les unités d'évaluation de la DDC, du SECO et de la DPDH. Ces unités d'évaluation sont indépendantes des responsables de projet. Les évaluations indépendantes servent de base aux responsables hiérarchiques pour leurs décisions stratégiques16.
Dans le présent rapport, une distinction est faite entre les évaluations externes et les évaluations indépendantes. Lorsqu'il est question d'«évaluations», il s'agit des deux types d'évaluation à la fois.
La sous-commission s'est penchée sur le rapport final du CPA à sa séance du 9 mai 2023 et a décidé de préparer un projet de rapport à l'intention de la CdG-E.
Le 14 novembre 2023, celle-ci a adopté le présent rapport, ainsi que les recommandations qu'il contient, qu'elle a soumis au Conseil fédéral pour avis. La CdG-E a par ailleurs décidé de publier le présent rapport conjointement avec celui du CPA et les annexes qui l'accompagnent. La CdG-E donne ci-après son appréciation des principales constatations du CPA et en tire six recommandations à l'intention du Conseil fédéral.
2
Constatations et recommandations
Le présent chapitre contient les constatations et les recommandations de la CdG-E, qui s'appuient sur les conclusions du CPA.
2.1
Constatations générales du CPA
Dans son rapport, le CPA conclut que le recours aux évaluations pour mesurer l'efficacité dans la CI est partiellement opportun. Les coûts des évaluations sont établis de manière transparente et ils sont plutôt bas. La qualité des évaluations externes présente à la fois des points forts et des points faibles. Les outils pour gérer les évaluations et 14 15 16
Cf. rapport du CPA du 27.4.2023, chap. 1.2, p. 8 s. pour de plus amples informations sur la méthodologie suivie par le CPA.
Rapport du CPA du 27.4.2023, chap. 2.2, p. 13 s.
Rapport du CPA du 27.4.2023, chap. 2.2, p. 13 s.
5 / 18
FF 2023 2893
garantir leur qualité sont majoritairement appropriés, mais leur étendue varie en fonction du service pris en considération. Les évaluations sont utilisées de manière globalement adéquate pour le pilotage à différents niveaux et les responsables de projet apprécient les évaluations externes pour piloter leurs projets. Le suivi des recommandations des évaluations externes est toutefois lacunaire. En outre, les évaluations externes ne tiennent pas suffisamment compte de la contribution que le projet évalué apporte aux objectifs de la CI. Enfin, l'utilisation des évaluations pour rendre des comptes au Parlement et au public n'est pas appropriée, notamment en ce qui concerne les taux de réussite publiés17.
2.2
Coûts des évaluations
Le CPA a examiné les coûts de toutes les évaluations externes et indépendantes menées par les trois unités administratives (DDC, SECO et DPDH) de 2018 à 2020. Les coûts étudiés représentent les dépenses consacrées à l'externalisation d'évaluations.
Les coûts internes à l'administration n'ont pas été considérés, pas plus que les bénéfices liés à l'utilisation des évaluations (par ex. les économies réalisées grâce à des gains d'efficacité à la suite d'une évaluation)18.
Une évaluation indépendante, qui coûte entre 22 500 à 333 200 francs (coût moyen = 138 000 francs), est plus chère qu'une évaluation externe, qui coûte entre 4700 et 114 700 francs (coût moyen = 34 000 francs). Dans les trois unités sous revue, les coûts des évaluations externes représentent entre 0,8 et 2,5 % des coûts des projets évalués19.
Le CPA conclut que, en général, les coûts des évaluations sont bas et sont établis de manière transparente20, ce dont la CdG-E se félicite.
2.3
Utilisation des évaluations indépendantes pour le pilotage stratégique
Le CPA a constaté que les évaluations indépendantes tout comme les évaluations externes (cf. ch. 2.5.1) étaient globalement utilisées au niveau approprié, à savoir au niveau stratégique. Par ailleurs, les responsables hiérarchiques des trois unités administratives sous revue interrogés par le CPA considèrent que, même si les résultats des évaluations indépendantes apportent rarement des faits totalement nouveaux, leur plus-value est indéniable. Selon eux, cette forme d'expertise externe leur permet en effet de soutenir d'importantes décisions stratégiques et renforce l'apprentissage institutionnel. En outre, le CPA a constaté que l'administration rédigeait systématiquement un avis sur les recommandations des évaluations indépendantes et que les unités 17 18 19
20
Rapport du CPA du 27.4.2023, chap. 6, pp. 3134.
Rapport du CPA du 27.4.2023, chap. 5.1, p. 29.
Rapport du CPA du 27.4.2023, chap. 5.1 et 5.2, pp. 29 et 30Il n'est pas possible de calculer cette proportion pour les évaluations indépendantes, car celles-ci ne sont pas liées à des projets.
Rapport du CPA du 27.4.2023, chap. 5, pp. 2830.
6 / 18
FF 2023 2893
d'évaluation effectuaient systématiquement un suivi de la mise en oeuvre des recommandations. Pour ces raisons, le CPA conclut que l'utilisation des évaluations indépendantes pour le pilotage stratégique est adéquate, notamment pour adapter des programmes et organiser la CI21.
La CdG-E se rallie à l'avis du CPA. Elle salue la qualité et l'utilisation appropriée des évaluations indépendantes, qui permettent de piloter la CI au niveau stratégique.
2.4
Qualité des évaluations externes. Cahiers des charges pour l'attribution des évaluations; outils et processus pour la gestion des évaluations et l'assurance qualité
Le cahier des charges utilisé pour attribuer les évaluations constitue la base du contrat avec les mandataires externes: il doit donc être précis et, notamment, indiquer les critères pour évaluer l'efficacité du projet concerné, les objectifs et les questions d'évaluation, la méthodologie envisagée ainsi que les prestations attendues et le calendrier.
Plusieurs études, tout comme les entretiens menés par le CPA, confirment le lien entre la qualité des cahiers des charges et celle des évaluations22.
Par ailleurs, comme l'administration ne réalise elle-même ni les évaluations externes ni les évaluations indépendantes, elle utilise des outils (par ex. des directives, des manuels ou des instructions) pour gérer les évaluations et l'assurance qualité. La qualité et l'utilisation appropriée de ces outils sont donc d'autant plus importantes.
2.4.1
Les résultats du CPA
Le CPA est parvenu à la conclusion que la qualité des cahiers des charges des trois services fédéraux examinés était en grande partie satisfaisante. Même si les différentes parties des cahiers des charges sont de qualité variable selon l'unité administrative examinée, le CPA a constaté que l'administration disposait globalement des compétences requises pour s'acquitter de la tâche essentielle consistant à rédiger des cahiers des charges.
En ce qui concerne les outils et les processus de l'administration pour la gestion des évaluations et l'assurance qualité, le CPA parvient à des conclusions différentes, en fonction du service fédéral examiné. Parmi les trois unités administratives sous revue, la DDC est celle qui dispose du plus grand nombre de documents relatifs à l'assurance qualité et à la gestion des évaluations. Ces outils sont formulés de manière claire et facile à utiliser; toutefois, ils n'abordent que superficiellement le rapport d'un projet avec les stratégies et les objectifs généraux de la CI. De plus, leur diffusion auprès du personnel est insuffisante et les responsables de projet ne disposent pas de l'expertise nécessaire pour assurer la qualité des évaluations externes. Même si ces lacunes sont
21 22
Rapport du CPA du 27.4.2023, chap. 4.2, p. 24 s.
Rapport du CPA du 27.4.2023, chap. 3.1, p. 15 s.
7 / 18
FF 2023 2893
en partie compensées par le soutien des unités d'évaluation, l'utilisation des outils au sein de la DDC n'est globalement pas appropriée23.
Le SECO dispose de documents d'aide à la réalisation et à l'assurance qualité des évaluations qui sont clairs et faciles à utiliser, et le nombre d'outils disponibles est approprié. Par contre, comme ceux de la DDC, les outils du SECO abordent trop peu le lien entre les projets évalués et les objectifs de la CI. De plus, il y a certaines redondances dans la gestion des évaluations et, parallèlement, les responsables de projet sont limités dans cette tâche par manque de temps24.
La DPDH dispose de considérablement moins d'outils que les deux autres unités. En outre, les documents ne sont pas non plus très détaillés. Toujours est-il que certains documents de la DPDH font plus explicitement référence que ceux des deux autres entités au lien entre un projet et les objectifs et stratégies de la CI. Le CPA estime que les outils de la DPDH sont insuffisants, tout en reconnaissant que la DPDH est un cas particulier dans la mesure où elle dispose d'un budget et de ressources en personnel nettement inférieurs à ceux de la DDC et du SECO et où son personnel n'a que peu d'expérience dans la gestion de projets25.
2.4.2
Appréciation de la CdG-E
La CdG-E constate que la situation est très différente dans les trois unités administratives sous revue en ce qui concerne les cahiers des charges pour l'attribution des évaluations ainsi que les outils et les processus pour la gestion des évaluations et l'assurance qualité. Même si le CPA a relevé des aspects positifs dans les trois unités, la commission est d'avis que les cahiers des charges, les outils et les processus relatifs aux évaluations dans la CI de la Suisse pourraient être améliorés. En outre, la CdG-E arrive à la conclusion que les trois unités administratives sous revue, en dépit de leurs différences, sont confrontées à des problèmes et à des questions similaires en ce qui concerne la gestion et l'assurance qualité des évaluations. Pour cette raison, elle estime qu'il y a un grand potentiel en matière de synergies, d'échanges mutuels de connaissances et d'expériences et donc d'effets d'apprentissage; et ce, non seulement entre les responsables de projet au sein d'une unité, mais aussi et surtout entre les responsables de projet et entre les unités d'évaluation des différentes unités administratives sous revue. Cela devrait d'autant plus concerner la DDC et la DPDH que toutes deux sont rattachées au même département. Selon la commission, les unités administratives concernées devraient disposer de normes communes en matière de gestion des évaluations. La CdG-E formule donc la recommandation suivante à l'intention du Conseil fédéral:
23 24 25
Rapport du CPA du 27.4.2023, chap. 3.4, p. 20 s.
Rapport du CPA du 27.4.2023, chap. 3.4, p. 21 s.
Rapport du CPA du 27.4.2023, chap. 3.4, p. 22.
8 / 18
FF 2023 2893
Recommandation 1
Renforcement de la coopération et des synergies concernant la gestion des évaluations dans la CI
Le Conseil fédéral est invité, en mettant à profit les synergies entre la DDC, le SECO et la DPDH, à renforcer la qualité des cahiers des charges pour l'attribution des évaluations ainsi que des processus et des outils de gestion des évaluations et d'assurance qualité et à établir des normes minimales communes. De plus, le Conseil fédéral est invité à renforcer et institutionnaliser la collaboration et l'échange de connaissances et d'expériences des unités administratives précitées dans ces domaines.
2.5
Qualité des évaluations externes.
Utilisation des évaluations externes pour le pilotage au niveau des projets
La décision d'utiliser ou non un rapport d'évaluation externe pour gérer et améliorer l'efficacité du projet évalué et les modalités de l'utilisation du rapport peuvent dépendre de la qualité du résumé, de l'introduction, du contexte ainsi que des conclusions et des recommandations du rapport26.
En outre, la présentation de la méthodologie et des résultats d'un rapport d'évaluation est essentielle pour rendre compte de l'efficacité des projets de manière fondée27.
2.5.1
Les résultats du CPA
Le CPA a d'abord constaté que les évaluations externes tout comme les évaluations indépendantes (cf. chap. 2.3) étaient globalement utilisées au bon niveau, donc de manière appropriée. Cela signifie que les évaluations externes sont presque exclusivement utilisées pour le pilotage au niveau des projets évalués. Elles ne sont pas mobilisées pour des décisions au niveau stratégique28. En outre, les personnes des trois unités administratives sous revue interrogées par le CPA ont indiqué qu'elles appréciaient le recours à des évaluations externes pour piloter leurs projets29.
En ce qui concerne les différentes parties des rapports d'évaluation externe, le CPA a constaté que les résumés, l'introduction, le contexte et, enfin, les conclusions et les recommandations étaient majoritairement satisfaisants ou très satisfaisants. En conséquence, les rapports sont globalement compréhensibles. Cependant, les recommandations des rapports d'évaluation externe sont trop abstraites: elles s'adressent rarement à des destinataires précis, aucun ordre de priorité n'est établi et, souvent, aucun délai n'est fixé pour la mise en oeuvre30.
26 27 28 29 30
Rapport du CPA du 27.4.2023, chap. 3.2, p. 16.
Rapport du CPA du 27.4.2023, chap. 3.3, p. 18.
Rapport du CPA du 27.4.2023, chap. 4.1, p. 23.
Rapport du CPA du 27.4.2023, chap. 4.1, p. 23.
Rapport du CPA du 27.4.2023, chap. 3.2, pp. 16 à 18.
9 / 18
FF 2023 2893
En outre, le CPA a conclu que le suivi de la mise en oeuvre des recommandations formulées sur la base d'évaluations externes était insuffisant. L'administration ne rédige pas systématiquement d'avis sur les recommandations et la mise en oeuvre de ces dernières n'est pas toujours suivie31. Pour ces deux raisons, et vu que la formulation des recommandations est insuffisante (cf. ci-dessus), on ne sait pas dans quelle mesure les évaluations externes contribuent à améliorer les projets de la CI32.
De plus, dans les rapports d'évaluation externe, la présentation de la méthodologie est en grande majorité insuffisante pour permettre de juger de la qualité et de la fiabilité de la méthodologie. À cela s'ajoute le fait que les rapports faisant une description insuffisante de la méthodologie se caractérisent également par une présentation des résultats peu satisfaisante. Dans l'ensemble, trop peu d'attention est accordée à l'impact et à la viabilité des projets qui figurent parmi les critères d'évaluation du Comité d'aide au développement (CAD) de l'Organisation de coopération et de développement économiques (OCDE) (les autres critères du CAD pris en compte par le CPA sont la pertinence, l'efficacité et l'efficience des projets)33. Cela s'explique aussi par le fait que la plupart des évaluations sont réalisées en cours de projet. Pour cette raison, les évaluateurs et évaluatrices ne peuvent donc pas encore apprécier l'effet des projets dans la durée ou au-delà des éventuels bénéficiaires directs. Le personnel des unités d'évaluation est conscient de ces limites et souhaiterait effectuer plus d'évaluations après la clôture d'un projet (évaluations ex post).
Le CPA a certes envisagé l'hypothèse selon laquelle la méthodologie serait intentionnellement peu détaillée, car il est parfois prévu qu'un rapport distinct précisant les méthodes de l'évaluation soit rédigé en amont de la réalisation d'une évaluation externe. Par ailleurs, les chapitres méthodologiques du rapport d'évaluation sont perçus par les collaborateurs et collaboratrices de l'administration interrogés par le CPA comme étant souvent très académiques et pas directement utiles pour piloter les projets. Sur la base de ces éléments, le CPA estime que la faible qualité de la présentation de la méthodologie dans les rapports d'évaluation externe rend
très difficile l'appréciation de la fiabilité des résultats des évaluations, raison pour laquelle les évaluations externes ne permettent pas de rendre compte de manière fondée de l'efficacité des projets34.
2.5.2
Appréciation de la CdG-E
La CdG-E constate que les évaluations externes sont utilisées au niveau approprié et que les responsables de projet les apprécient en tant qu'instruments de pilotage de leurs projets.
Toutefois, la commission conclut que la présentation de la méthodologie et des résultats, ainsi que la formulation des recommandations dans les rapports d'évaluation ex31 32 33
34
Rapport du CPA du 27.4.2023, chap. 4.2, p. 24.
Rapport du CPA du 27.4.2023, chap. 6.3, p. 32.
Les critères du CAD de I'OCDE ont été complétés fin 2019 par le critère de la cohérence.
Celui-ci n'a pas fait l'objet de l'enquête du CPA, car une partie des évaluations étudiées par le CPA ont été mandatées avant l'introduction de ce critère additionnel.
Rapport du CPA du 27.4.2023, chap. 3.3, p. 18 s.
10 / 18
FF 2023 2893
terne, de même que le suivi de ces recommandations, sont tous à ce point insuffisants que les évaluations externes ne sont pas appropriées pour le pilotage au niveau des projets tant qu'elles n'auront pas été améliorées.
Il va de soi qu'une présentation déficiente de la méthodologie d'une évaluation ne signifie pas que la méthodologie elle-même est déficiente. Toutefois, les résultats d'une évaluation sont tout simplement inutilisables tant que le rapport d'évaluation ne donne pas suffisamment d'indications sur la méthodologie utilisée. À la lecture des conclusions du CPA, la CdG-E a en outre l'impression que certains responsables de projet peuvent méconnaître l'importance de la méthodologie.
En ce qui concerne la présentation des résultats dans la majorité des rapports d'évaluation externe, la commission se félicite de la prise de conscience du problème par le personnel des unités d'évaluation, qui souhaite réaliser davantage d'évaluations ex post. Mais au-delà de la question de la temporalité, la commission estime qu'il faut agir sur la présentation des résultats dans les rapports d'évaluation externe.
Enfin, compte tenu de la manière dont les recommandations sont formulées dans les rapports d'évaluation externe ainsi que du manque de suivi de ces recommandations, il n'est pas possible de savoir dans quelle mesure les évaluations externes contribuent à l'amélioration des projets de la CI.
Pour ces raisons, la CdG-E formule les recommandations suivantes à l'intention du Conseil fédéral en ce qui concerne la présentation de la méthodologie et des résultats ainsi que le traitement des recommandations dans les rapports d'évaluation externe: Recommandation 2
Amélioration de la présentation de la méthodologie et des résultats des évaluations externes et renforcement des connaissances sur la méthodologie d'évaluation
Le Conseil fédéral est invité à définir et à mettre en oeuvre des normes minimales pour la présentation de la méthodologie dans les rapports d'évaluation externe, qui permettent d'analyser réellement les résultats d'une évaluation et l'efficacité des projets de la CI. Il est en outre prié de définir les critères de présentation des résultats dans les rapports d'évaluation externe de manière à ce que la présentation des résultats tienne toujours compte de tous les critères d'évaluation du CAD.
Enfin, il est invité à sensibiliser le personnel concerné, par exemple par des formations, à l'importance de la méthodologie d'une évaluation.
Recommandation 3
Formulation des recommandations dans les rapports d'évaluations externes et suivi des recommandations
Le Conseil fédéral est invité à veiller à ce que les recommandations formulées dans les rapports d'évaluation externe s'adressent toujours à des destinataires spécifiques, à ce que les évaluateurs et les évaluatrices externes proposent une hiérarchisation de ces recommandations et à ce qu'un calendrier soit toujours défini pour leur mise en oeuvre. Il est en outre invité à veiller à ce que les services compétents consignent systématiquement les mesures et les décisions qu'ils prennent
11 / 18
FF 2023 2893
sur la base des recommandations, de manière à en faire des instruments de conduite, et à ce que la mise en oeuvre des recommandations fasse l'objet d'un suivi systématique.
2.6
Utilisation des évaluations pour mesurer la réalisation des objectifs de la CI
Les évaluations externes peuvent être utilisées pour mesurer la réalisation des objectifs du projet évalué. Cet aspect a été approfondi au chap. 2.5. Le chapitre qui suit traite de la manière dont les évaluations externes et indépendantes servent de base pour mesurer la réalisation des objectifs de la CI.
2.6.1
Les résultats du CPA
Le CPA a constaté que les outils utilisés pour gérer et assurer la qualité des évaluations ne donnaient pas expressément pour consigne d'indiquer, dans les rapports d'évaluation, en quoi les projets évalués contribuent à la réalisation des objectifs de la CI (cf. chap. 2.4.1).
En ce qui concerne les évaluations externes, le CPA a également constaté qu'elles mentionnaient parfois leur ancrage dans une stratégie thématique ou régionale, qui peut ensuite être reliée aux objectifs de la CI ou aux crédits-cadres qui se rapportent à la CI. Toutefois, les rapports d'évaluation externe ne contiennent pas systématiquement de liens explicites avec les objectifs de la stratégie CI35.
En outre, le CPA souligne que, pour pouvoir rendre des comptes au Parlement et au public, il faut que les résultats des évaluations soient connus; or, les rapports relatifs aux évaluations externes du SECO et de la DPDH, en particulier, ne sont pas publiés36.
Le CPA a conclu que les évaluations externes ne se penchaient pas assez explicitement sur la contribution du projet évalué à la réalisation des objectifs de la CI et que la politique de publication des rapports d'évaluation était trop limitée. Par conséquent, l'utilisation des évaluations dans le rapport final que le Conseil fédéral adresse au Parlement n'est pas satisfaisante, car l'efficacité de la CI y est démontrée essentiellement à travers des exemples, ou des études de cas, tirés d'évaluations indépendantes37.
35 36 37
Rapport du CPA du 27.4.2023, chap. 4.3, p. 25.
Rapport du CPA du 27.4.2023, chap. 4.3, p. 25.
Rapport du CPA du 27.4.2023, chap. 4.3, p. 26.
12 / 18
FF 2023 2893
2.6.2
Appréciation de la CdG-E
Sur la base des résultats du CPA, la CdG-E arrive à la conclusion que les évaluations externes ne tiennent pas suffisamment compte du degré de réalisation des objectifs de la CI par le projet évalué. Même si les évaluations externes servent en premier lieu au pilotage au niveau des projets, la commission estime qu'elles doivent établir un lien explicite avec les objectifs généraux de la CI. En effet, les différents projets s'inscrivent dans la stratégie CI; par conséquent, ils doivent en fin de compte contribuer à ce que les objectifs de la CI définis dans la stratégie et les crédits-cadres soient réalisés.
Recommandation 4
Référence explicite aux objectifs de la CI dans toutes les évaluations
Le Conseil fédéral est invité à faire en sorte que les évaluations externes et les évaluations indépendantes tiennent compte de la réalisation des objectifs de la CI.
Pour pouvoir mesurer la réalisation des objectifs de la CI, la CdG-E estime en outre qu'il faut plus de transparence que ne le permet la pratique actuelle de l'administration. Il est indispensable que les rapports des évaluations externes, tout comme ceux des évaluations indépendantes, soient systématiquement publiés: ce n'est qu'ainsi que le public comprendra les déclarations faites par le Conseil fédéral sur la base des évaluations dans ses rapports finaux sur la mise en oeuvre de la stratégie CI.
Recommandation 5
Pratique en matière de publication des évaluations
Le Conseil fédéral est invité à mettre à la disposition du public, de façon claire et rapide, l'intégralité des rapports relatifs aux évaluations externes et aux évaluations indépendantes des trois unités administratives examinées.
2.7
Utilisation des évaluations pour rendre des comptes au Parlement et au public
L'efficacité supposée de la CI est mise en évidence à l'aide de chiffres clés comme les taux de réussite, publiés en intégralité dans le rapport final sur la mise en oeuvre du message et partiellement dans la stratégie CI, tous deux adressés au Parlement. Ces taux sont calculés et publiés par la DDC et le SECO, mais pas par la DPDH. Les taux de réussite sont censés refléter la performance des projets et programmes de coopération. Dans le rapport final, on trouve un taux de réussite global ainsi que les taux pour certains critères du CAD. Les taux de réussite globaux de la DDC et du SECO sont les deux supérieurs à 80 %. Ils sont calculés sur la base des rapports d'évaluation externe38.
38
Rapport du CPA du 27.4.2023, chap. 4.4, p. 26 s.
13 / 18
FF 2023 2893
Le présent rapport notamment les chap. 2.5 et 2.6 a déjà fait état des lacunes des rapports d'évaluation externe s'agissant de leur utilisation pour le pilotage au niveau des projets et de la mesure de la réalisation des objectifs dans la CI. Ces aspects ont également des conséquences sur le calcul des taux de réussite lorsqu'il s'agit de rendre des comptes au Parlement et au public.
2.7.1
Les résultats du CPA
Dans son rapport, le CPA souligne quatre aspects concernant les taux de réussite dans les rapports finaux du Conseil fédéral: 1.
Les taux de réussite sont calculés sur la base des évaluations externes portant sur les projets. Or, les évaluations externes ne répondent que partiellement aux exigences de qualité. La notation attribuée au projet est discutable puisqu'elle repose sur des informations peu fiables, notamment en raison de la mauvaise présentation de la méthodologie et des résultats. De plus, une partie importante des évaluations externes sont réalisées au cours d'un projet. Lorsqu'un projet n'est pas encore achevé, l'évaluation externe ne peut pas juger de manière probante son succès à long terme, et encore moins sa viabilité, indépendamment de la présentation déficiente de la méthodologie. En l'absence de telles informations, il est problématique de vouloir quantifier la supposée réussite du projet.
2.
Par le passé, les méthodes de calcul et la représentativité des évaluations externes ont fait l'objet de discussions. En réaction à ces critiques, le calcul des taux de réussite de la DDC et du SECO a été harmonisé et les deux unités ont prévu de présenter des «taux communs» dans les prochaines versions du rapport final.
3.
La représentativité des projets pris en compte dans le calcul des taux de réussite est discutable. Selon les analyses du CPA sur la période 20182020, la part de projets évalués retenus par la DDC pour calculer ses taux représente moins de 5 % de l'ensemble de ses projets; pour le SECO, elle est de 20 %.
Le choix de projets évalués n'est donc pas représentatif et il n'est pas garanti que, en particulier, les échecs de la CI soient fidèlement reflétés à travers ces taux.
4.
Les valeurs élevées des taux suscitent également un certain scepticisme parmi les personnes interrogées par le CPA, car des taux de réussite globaux supérieurs à 80 % ne correspondent pas forcément à leurs propres observations.
De plus, le potentiel d'amélioration de la CI semble quasiment inexistant, au vu de ces taux si élevés.
Le CPA a donc conclu que la publication des taux de réussite est inopportune, car leurs fondements sont problématiques et leur interprétation est équivoque39.
39
Rapport du CPA du 27.4.2023, chap. 4.4, p. 27 s.
14 / 18
FF 2023 2893
2.7.2
Appréciation de la CdG-E
Globalement, la CdG-E part du principe que la Suisse atteint bon nombre de ses objectifs dans la CI et mène des projets utiles qui contribuent à soulager les populations dans le besoin et à lutter contre la pauvreté, ainsi qu'à promouvoir le respect des droits de l'homme, la démocratie, la coexistence pacifique des peuples et la préservation des ressources naturelles. La commission rappelle en outre que l'enquête du CPA s'est concentrée exclusivement sur l'un des instruments de mesure de l'efficacité. Toutefois, même en tenant compte de ces deux aspects, elle critique la pratique actuelle du Conseil fédéral qui consiste à rendre compte de l'efficacité de la CI au public et au Parlement en leur présentant des taux de réussite discutables. La CdG-E est consciente que les taux de réussite ne sont pas les seuls éléments contenus dans les rapports finaux et les messages sur la stratégie CI du Conseil fédéral. Cependant, précisément parce qu'ils donnent une impression de clarté, les taux de réussite peuvent avoir un effet disproportionné sur le public. Ce qui est d'autant plus préoccupant, aux yeux de la commission, c'est le fait que les taux de réussite reposent sur un choix non transparent et non représentatif d'évaluations externes qui, dans leur conception actuelle, ne sont adaptées ni à l'évaluation de l'efficacité des projets de la CI, ni à l'évaluation des objectifs généraux et des stratégies de la CI. La CdG-E se demande également si le projet de mise en commun des taux de réussite de la DDC et du SECO pourra réellement remédier à ces insuffisances. La CdG-E formule donc la recommandation suivante à l'intention du Conseil fédéral: Recommandation 6
Compte rendu de l'efficacité de la CI au Parlement et au public
Le Conseil fédéral est invité à faire part de l'efficacité de la CI d'une manière transparente, représentative et compréhensible par le public et, en attendant que les taux de réussite reposent sur des bases correctes, à ne plus publier ces taux.
3
Conclusions et suite de la procédure
La mesure de l'efficacité dans la CI est d'une importance capitale pour un pilotage transparent et efficace de la CI. Les travaux du CPA et l'appréciation de la CdG-E ont montré que les évaluations constitueraient théoriquement un instrument approprié pour mesurer l'efficacité dans la CI et qu'elles étaient appréciées par les différentes personnes concernées. Eu égard à la pratique actuelle en la matière, il est toutefois clairement nécessaire de prendre certaines mesures, et ce, même si les coûts sont présentés de manière transparente et restent modestes, si les évaluations indépendantes sont utilisées au niveau approprié et si la qualité des évaluations externes n'est pas toujours mauvaise. C'est pourquoi la CdG-E formule dans le présent rapport un total de six recommandations à l'intention du Conseil fédéral. Celles-ci portent sur les cahiers des charges, les outils et les processus pour la gestion des évaluations et l'assurance qualité (recommandation 1), la qualité des évaluations externes utilisées pour le pilotage au niveau des projets (recommandations 2 et 3), l'utilisation des évaluations pour mesurer la réalisation des objectifs de la CI (recommandations 4 et 5) et l'utili15 / 18
FF 2023 2893
sation des évaluations pour rendre des comptes au Parlement et au public (recommandation 6).
Du point de vue de la CdG-E, deux aspects revêtent une importance particulière. Premièrement, il y a lieu de prendre les mesures nécessaires pour que les évaluations externes puissent effectivement remplir leur objectif, à savoir donner des informations sur la réalisation des objectifs au niveau des projets, et pour qu'elles puissent être utilisées de manière appropriée par le personnel des trois unités administratives étudiées. En particulier, l'accent doit être mis sur la présentation de la méthodologie et des résultats ainsi que sur la formulation et le suivi des recommandations dans les rapports d'évaluation externe (recommandations 2 et 3). Deuxièmement, la CdG-E considère qu'il est urgent de faire en sorte que les comptes que le Conseil fédéral rend au Parlement et au public reposent sur des bases solides s'agissant de la mesure de la réalisation des objectifs de la CI. Outre les mesures mentionnées pour améliorer la qualité des évaluations externes, cela implique que celles-ci fassent référence à la réalisation non seulement des objectifs des projets, mais aussi des objectifs de la CI dans son ensemble; cela implique également, et surtout, que le calcul des taux de réussite en matière d'efficacité dans la CI soit transparent, représentatif et compréhensible par le public (recommandations 46).
La CdG-E invite le Conseil fédéral à tenir compte, pour autant que cela soit possible, des recommandations contenues dans le présent rapport lors de l'élaboration de son message sur la stratégie de coopération internationale 20252028 et de les mettre en oeuvre au plus tard dans le cadre du rapport sur la prochaine période stratégique. Par ailleurs, elle le prie de prendre position sur ses constatations et ses recommandations ainsi que sur le rapport d'évaluation du CPA d'ici au 21 février 2024 et de lui indiquer par quelles mesures et dans quel délai il entend mettre en oeuvre les recommandations.
14 novembre 2023
Au nom de la Commission de gestion du Conseil des États Le président, Matthias Michel La secrétaire, Ursina Jud Huwiler Le président de la sous-commission DFAE/DDPS, Charles Juillard Le secrétaire de la sous-commission DFAE/DDPS, Mirdin Gnägi
16 / 18
FF 2023 2893
Liste des abréviations al.
alinéa
art.
article
CAD
Comité d'aide au développement de l'Organisation de coopération et de développement économiques
CdG
Commissions de gestion des Chambres fédérales
CdG-E
Commission de gestion du Conseil des États
Chap.
Chapitre
CI
Coopération internationale
CPA
Contrôle parlementaire de l'administration
Cst.
Constitution fédérale du 18.4.1999 (RS 101)
DDC
Direction du Développement et de la coopération du DFAE
DDPS
Département fédéral de la défense, de la protection de la population et des sports
DEFR
Département fédéral de l'économie, de la formation et de la recherche
DFAE
Département fédéral des affaires étrangères
DPDH
Division Paix et droits de l'homme
DSH
Division Sécurité humaine
FF
Feuille fédérale
Loi CaD-AH
Loi fédérale du 19.3.1976 sur la coopération au développement et l'aide humanitaire internationales (RS 974.0)
Loi Est
Loi fédérale du 30.9.2016 sur la coopération avec les États d'Europe de l'Est (RS 974.1)
Loi Sécurité humaine
Loi fédérale du 19.12.2003 sur des mesures de promotion civile de la paix et de renforcement des droits de l'homme (RS 193.9)
OCDE
Organisation de coopération et de développement économiques
p.
page
s.
et suivant
SECO
Secrétariat d'État à l'économie du DEFR
17 / 18
FF 2023 2893
18 / 18