BBl 2024 www.fedlex.admin.ch Massgebend ist die signierte elektronische Fassung
Wirksamkeitsmessung in der internationalen Zusammenarbeit Bericht der Geschäftsprüfungskommission des Ständerates vom 14. November 2023 Stellungnahme des Bundesrates vom 21. Februar 2024
Sehr geehrter Herr Kommissionspräsident Sehr geehrte Damen und Herren Zum Bericht der Geschäftsprüfungskommission des Ständerates vom 14. November 2023 betreffend Wirksamkeitsmessung in der internationalen Zusammenarbeit nehmen wir nach Artikel 158 des Parlamentsgesetzes nachfolgend Stellung.
Wir versichern Sie, sehr geehrter Herr Kommissionspräsident, sehr geehrte Damen und Herren, unserer vorzüglichen Hochachtung.
21. Februar 2024
Im Namen des Schweizerischen Bundesrates Die Bundespräsidentin: Viola Amherd Der Bundeskanzler: Viktor Rossi
2024-0497
BBl 2024 556
BBl 2024 556
Stellungnahme 1
Ausgangslage
Die Geschäftsprüfungskommissionen der eidgenössischen Räte haben am 25. Januar 2022 eine Inspektion der Wirksamkeitsmessung in der internationalen Zusammenarbeit (IZA) beschlossen und die Durchführung der Inspektion der Subkommission EDA/VBS der Geschäftsprüfungskommission des Ständerates (GPK-S) zugewiesen.
Diese beauftragte am 23. Mai 2022 die Parlamentarische Verwaltungskontrolle (PVK) mit einer entsprechenden Untersuchung. Auf der Grundlage des Berichts der PVK vom 27. April 20231 hat die GPK-S am 14. November 20232 einen Bericht über die Wirksamkeitsmessung in der internationalen Zusammenarbeit verabschiedet.
Die GPK-S ersucht den Bundesrat, die Empfehlungen des Berichts bei der Ausarbeitung seiner Botschaft zur Strategie der internationalen Zusammenarbeit 20252028 möglichst zu berücksichtigen und spätestens bis zur Berichterstattung über die nächste Strategieperiode umzusetzen. Weiter wird der Bundesrat ersucht, zu den Feststellungen und Empfehlungen des Berichts sowie zum Evaluationsbericht der PVK bis zum 21. Februar 2024 Stellung zu nehmen und der Kommission mitzuteilen, mit welchen Massnahmen und bis wann er die Empfehlungen umsetzen will.
Der Untersuchungsgegenstand wurde auf das Instrument der Evaluation eingeschränkt. Dabei wird unterschieden zwischen sog. externen Evaluationen von Projekten und Programmen, die in erster Linie durch die zuständigen Programmbeauftragten, auch in den Aussenstellen, in Auftrag gegeben werden, und sog. unabhängigen strategischen Evaluationen, welche von den zentralen IZA-Evaluationsdiensten in Auftrag gegeben werden.
Die internationale Zusammenarbeit des Bundes wird im Rahmen der Strategie der internationalen Zusammenarbeit 20212024 umgesetzt. Die Verantwortung liegt bei der Direktion für Entwicklung und Zusammenarbeit (DEZA) des Eidgenössischen Departements für auswärtige Angelegenheiten (EDA), dem Leistungsbereich Wirtschaftliche Zusammenarbeit und Entwicklung des Staatsekretariats für Wirtschaft (SECO) des Eidgenössischen Departements für Wirtschaft, Bildung und Forschung (WBF) sowie der Abteilung Frieden und Menschenrechte des Staatssekretariats EDA (AFM). Die erwähnten Einheiten verfügen über Fachdienste für Wirkungsmessung und Evaluation. Evaluationen dienen der Steuerung von Projekten und Programmen sowie dem institutionellen Lernen und tragen
zur Rechenschaftslegung bei. Methodisch richten sie sich nach den sechs vom Entwicklungshilfeausschuss der Organisation für wirtschaftliche Zusammenarbeit (OECD-DAC) verabschiedeten internationalen Evaluationskriterien.
Die zentralen Evaluationsdienste der DEZA, des SECO und der AFM sind zuständig für die Planung und Vergabe von Evaluationen auf thematischer Ebene (insgesamt 3 5 pro Jahr). Der Hauptteil der Evaluationstätigkeit im Rahmen der Schweizer IZA 1 2
2/8
BBl 2023 2894 BBl 2023 2893
BBl 2024 556
betrifft die von den Aussenstellen mandatierten Projekte. Pro Jahr werden ungefähr 130 solcher Projekt- oder Programmevaluationen in Auftrag gegeben.
2
Stellungnahme des Bundesrates
Der Bundesrat nimmt nach Einbezug der für die IZA zuständigen Verwaltungseinheiten wie folgt Stellung: Der Bundesrat begrüsst die Überprüfung der GPK-S. Die betreffenden Verwaltungseinheiten wurden durch die PVK konsultiert und konnten ihre Sichtweise zu den einzelnen Diskussionspunkten einbringen.
Der Bericht der PVK bezieht sich weitgehend auf die Projektevaluationen bzw. auf die Qualität und den Nutzen der Evaluationsberichte. Dabei setzt der PVK-Bericht sehr hohe Qualitätsanforderungen voraus, die trotz bestehender Vorgaben nicht immer vollständig eingehalten werden. Zudem beleuchtet der Bericht der PVK mit den Projektevaluationen nur einen Teilaspekt der Wirkungsmessung der Schweizer IZA.
Obwohl die Arbeit der zuständigen Evaluationsdienste insgesamt als positiv beurteilt wird, anerkennt der Bundesrat, dass bei der Qualität der Projektevaluationen noch Verbesserungsbedarf besteht und hat diesbezüglich bereits Massnahmen ergriffen.
Die Massnahmen sind in Anhang aufgelistet.
Was die Beurteilung der Evaluationsberichte betrifft, so nimmt der Bundesrat die Einschätzung der PVK zur Kenntnis, dass deren Qualität trotz des aufgezeigten Verbesserungsbedarfs vergleichbar oder leicht besser als diejenige anderer staatlicher Entwicklungsagenturen ist. Die Wirkungsmessung der IZA bleibt aber auch auf internationaler Ebene z. B. bei der OECD-DAC eine debattierte Frage.
Der Bundesrat betrachtet die insgesamt sechs Empfehlungen des Berichts der GPK-S grundsätzlich als zielführend und umsetzbar. Zu den Empfehlungen der GPK-S im Einzelnen möchte der Bundesrat Folgendes festhalten: Der Bundesrat ist mit den Empfehlungen 15 einverstanden, dies mit einem Teilvorbehalt bei der Empfehlung 2 (siehe unten). Verschiedene Massnahmen zur Umsetzung der Empfehlungen wurden bereits ergriffen. So hat das SECO 2021 seine Vorlage für Evaluationen erneuert. Die DEZA überarbeitet zurzeit ihre Evaluationsleitlinien und entwickelt ein Ausbildungsprogramm zur Stärkung des internen Evaluationswissens.
Projektevaluationen sollen in Zukunft vermehrt den Bezug zur IZA-Strategie herstellen, und eine systematische Nachverfolgung der Empfehlungen von Projektevaluationen soll sichergestellt werden. Bei der Veröffentlichungspraxis akzeptiert der Bundesrat die Unterschiede zwischen den einzelnen IZA-Einheiten: Die DEZA publiziert
bereits sämtliche Evaluationsberichte auf der Forschungsinformationsplattform des Bundes (ARAMIS), das SECO und die AFM nur einen Teil.
Ein Vorbehalt besteht bei der Empfehlung 2, dergemäss Evaluationen «immer alle DAC-Evaluationskriterien» abdecken sollen. Die IZA-Einheiten befolgen die Empfehlung des OECD-DAC, wonach Evaluationen eine Priorisierung und Gewichtung der sechs Evaluationskriterien vornehmen sollen. Dies geschieht abhängig vom kon-
3/8
BBl 2024 556
kreten Erkenntnisinteresse. Somit erscheint eine bedarfsorientierte Anwendung der DAC-Kriterien gerechtfertigt.
Die Empfehlung 6 befasst sich mit der Wirkungsmessung zum Zweck der Rechenschaftslegung. Die IZA-Strategie wird auf Ebene der geografischen und thematischen Programme umgesetzt, welche die Ziele der IZA-Strategie konkretisieren. Das Aggregieren der stark kontextabhängigen Resultate stellt eine Herausforderung dar. Hier fehlt noch die notwendige Methodologie für die Gesamtbeurteilung der Wirkung.
Evaluationen erlauben Aussagen über die Wirkung von Projekten und Programmen: daraus ein objektives Gesamtbild der Wirkung der IZA-Strategie zu gewinnen, bleibt eine grosse Herausforderung. Die IZA-Einheiten sind beauftragt, diesbezüglich Fortschritte zu machen, die Methode für eine aussagekräftige Bewertung der Wirkung der internationalen Zusammenarbeit zu verbessern und den Bundesrat im Rahmen der regelmässigen Berichterstattung zu informieren.
Trotzdem eignen sich Evaluationen nur begrenzt als Mittel zur Rechenschaftslegung gegenüber dem Parlament und der Öffentlichkeit, da jährlich nur eine bestimmte Anzahl von Projekten evaluiert wird für die DEZA und das SECO sind dies jährlich ca.
10 Prozent des aktiven Projektportfolios und oftmals nur spezifische Projektaspekte angeschaut werden. In Zukunft planen die DEZA und das SECO, vermehrt Evaluationen von abgeschlossenen Projekten durchführen, um bessere Aussagen zur Wirkung und Nachhaltigkeit von Projekten machen zu können.
Für die Wirkungsmessung spielen vor allem die Monitoringinstrumente eine wichtige Rolle. Auch hier wurden bereits Massnahmen für eine verbesserte Wirksamkeitsmessung ergriffen. Dank der Entwicklung einer neuen Software für das Results Data Management (RDM) konnte die Erhebung der Projektresultate in der DEZA 2023 erstmals digital durchgeführt werden, was auch in Zukunft eine verbesserte und übergreifende Datenanalyse und Berichterstattung zu den spezifischen Zielen der IZAStrategie erlaubt. Mittelfristig ist geplant, die im Rahmen des RDM systematisch erhobenen Daten auch der Öffentlichkeit zugänglich zu machen, was einen transparenten Einblick in die Tätigkeit der DEZA und die Umsetzung der IZA-Strategie erlauben wird.
Zur Umsetzung der Empfehlungen der GPK-S hinsichtlich der Verbesserung der Wirksamkeitsmessung in der Schweizer IZA hat der Bundesrat verbindliche Massnahmen beschlossen. Diese sind im Anhang aufgeführt und werden bis Ende 2026 umgesetzt.
4/8
BBl 2024 556
Anhang Empfehlungen GPK-S* (Hervorhebungen durch DEZA/SECO/AFM)
Umsetzungsmassnahmen
1 Stärkung der Zusammenarbeit und Synergien beim Evaluationsmanagement in der IZA
1.
Der Bundesrat wird aufgefordert, unter Ausnutzung der Synergien von DEZA, SECO und AFM die Qualität der Pflichtenhefte für die Vergabe von Evaluatio- 2.
nen sowie die Prozesse und Hilfsmittel zum Evaluationsmanagement und zur Qualitätssicherung zu verbessern und gemeinsame Minimalstandards zu etablieren.
Die DEZA, das SECO und die AFM werden prüfen, wie weit eine formale Angleichung der internen Evaluationsleitlinien und Vorlagen sinnvoll und möglich ist.
Der bestehende Wissens- und Erfahrungsaustausch zwischen den Evaluationsdiensten der DEZA, des SECO und der AFM wird in einem comité de pilotage Evaluation formalisiert.
Weiter wird der Bundesrat aufgefordert, die Zusammenarbeit, den Wissensund Erfahrungsaustausch der genannten Verwaltungseinheiten in diesen Bereichen zu stärken und zu institutionalisieren.
3.
Die bereits bestehenden Minimalstandards im Evaluationsbereich werden in einem gemeinsamen Dokument festgehalten.
2 Bessere Darstellung der Methodik und der Ergebnisse der externen Evaluationen sowie Stärkung des Wissens zur Evaluationsmethodik
4.
Die Sensibilisierung und Weiterbildung der Programmbeauftragten und Mitarbeitenden in Aussenstellen im Bereich Evaluationsmanagement wird mittels Schulungsmodulen vertieft.
Der Bundesrat wird ersucht, Minimalstandards für die Darstellung der Methodik in den Berichten zu externen Evaluationen festzulegen und umzusetzen, die tatsächlich eine Beurteilung der Ergebnisse einer Evaluation und eine Beurteilung 5.
der Wirksamkeit von IZA-Projekten erlauben.
Der Bundesrat wird weiter ersucht, die Kriterien für die Darstellung von Ergebnissen in den Berichten zu externen Evaluationen so festzulegen, dass die Ergebnisdarstellung immer allen DAC-Evaluationskriterien Rechnung trägt.
Der Bundesrat wird schliesslich ersucht, die betroffenen Mitarbeitenden hinsichtlich der Bedeutung der Methodik einer Evaluation zu sensibilisieren, z. B. mittels Schulungen.
Die Qualität der externen Evaluationsberichte (Projektevaluationen) wird mit einer unabhängigen Metaanalyse überprüft (betrifft die DEZA und das SECO). Die Erkenntnisse fliessen in die kontinuierliche Verbesserung der Evaluationspraxis der IZA ein.
Die AFM wird künftig anstelle von Projektevaluationen Evaluationen von ganzen Friedensprozessen bzw.
diplomatischen Initiativen in Auftrag geben.
5/8
BBl 2024 556
Empfehlungen GPK-S* (Hervorhebungen durch DEZA/SECO/AFM)
Umsetzungsmassnahmen
3 Formulierung der Empfehlungen in Berichten zu externen Evaluationen und Nachverfolgung der Empfehlungen
6.
Die Vorgaben an die Evaluatorinnen und Evaluatoren betreffend Formulierung und Priorisierung von Evaluationsempfehlungen werden konkretisiert.
7.
Die Umsetzung der im Rahmen der sog. management responses festgelegten Massnahmen und deren Nachverfolgung (tracking) wird verstärkt.
8.
Die internen Leitlinien der DEZA und die entsprechenden Vorgaben des SECO halten fest, dass der Bezug zwischen den evaluierten Projekten und den übergeordneten Zielen der jeweiligen IZA-Strategie in künftigen Evaluationen aufgenommen wird.
9.
Die IZA-Einheiten des Bundes werden prüfen, wie weit die Publikationspraxis in Bezug auf Projektevaluationen verbessert werden kann und welche Plattform sich hierfür am besten eignet.
Der Bundesrat wird aufgefordert, dafür zu sorgen, dass die Empfehlungen in Berichten zu externen Evaluationen immer an spezifische Adressaten gerichtet sind, dass die externen Evaluatoren eine Priorisierung dieser Empfehlungen vorschlagen und für ihre Umsetzung immer auch einen zeitlichen Rahmen definieren.
Weiter wird der Bundesrat aufgefordert, dafür zu sorgen, dass die zuständigen Dienststellen systematisch die Massnahmen und Beschlüsse, die sie aufgrund der Empfehlungen beschliessen, als Führungsinstrument schriftlich festhalten und dass die Umsetzung der Empfehlungen systematisch nachkontrolliert wird.
4 Explizite Bezugnahme auf die IZA-Ziele in allen Evaluationen Der Bundesrat wird ersucht, die Berücksichtigung der Erreichung der IZA-Ziele in den externen wie in den unabhängigen Evaluationen umzusetzen.
5 Veröffentlichungspraxis hinsichtlich der Evaluationen Der Bundesrat wird eingeladen, Berichte zu externen wie zu unabhängigen Evaluationen aller drei untersuchten Verwaltungseinheiten umfassend, zeitnah und auf übersichtliche Weise öffentlich zugänglich zu machen.
6/8
BBl 2024 556
Empfehlungen GPK-S* (Hervorhebungen durch DEZA/SECO/AFM)
Umsetzungsmassnahmen
6 Rechenschaftslegung zur Wirksamkeit der IZA gegenüber Parlament und Öffentlichkeit
10. Die Evaluationsdienste werden prüfen, wie externe Projektevaluationen noch systematischer benutzt werden können, um robuste Aussagen über die Wirkung der IZA-Projekte machen zu können. Zudem planen die DEZA und das SECO, künftig mehr Evaluationen von abgeschlossenen Projekten durchzuführen, um bessere Aussagen zur längerfristigen Wirkung und Nachhaltigkeit von Projekten machen zu können.
Der Bundesrat wird aufgefordert, künftig auf transparente, repräsentative und öffentlich nachvollziehbare Weise über die Wirksamkeit der IZA zu kommunizieren und bis zur Behebung der Mängel der Grundlagen, auf denen die Erfolgsquoten beruhen, keine Erfolgsquoten mehr zu publizieren.
11. Das 2023 eingeführte digitalisierte RDM der DEZA ermöglicht die systematische Erfassung von Resultatdaten, was repräsentative und nachvollziehbare Aussagen zur Wirksamkeit der IZA erlaubt. Mittelfristig ist geplant, die im Rahmen des RDM systematisch erhobenen Daten auch der Öffentlichkeit zugänglich zu machen, was einen transparenten Einblick in Tätigkeit der DEZA und die Umsetzung der IZA Strategie erlauben wird.
12. Die DEZA und das SECO werden die sogenannte Erfolgsquote weiterhin für interne Zwecke nutzen. Im Falle einer Publikation werden die methodischen Einschränkungen transparent gemacht, um irreführenden Interpretationen vorzubeugen. Das SECO publiziert seine Erfolgsquote weiterhin als Bestandteil des Voranschlags mit integriertem Aufgaben- und Finanzplan.
* BBl 2023 2893
7/8
BBl 2024 556
8/8