BBl 2023 www.fedlex.admin.ch Massgebend ist die signierte elektronische Fassung
Wirksamkeitsmessung in der internationalen Zusammenarbeit Bericht der Parlamentarischen Verwaltungskontrolle zuhanden der Geschäftsprüfungskommission des Ständerates vom 27. April 2023
2023-3466
BBl 2023 2894
BBl 2023 2894
Schlüsselbegriffe
Strategie der internationalen Zusammenarbeit Alle vier Jahre erläutert der Bundesrat dem Parlament in einer Botschaft seine Strategie der internationalen Zusammenarbeit (IZA-Strategie) und beantragt die entsprechenden Rahmenkredite.
Für den Zeitraum 20212024 belaufen sich die Kredite auf 11,25 Milliarden Franken.
Bereichsübergreifende Umsetzung Umgesetzt wird die IZA-Strategie von der Direktion für Entwicklung und Zusammenarbeit (DEZA) und der Abteilung Frieden und Menschenrechte (AFM) des Eidgenössischen Departements für auswärtige Angelegenheiten (EDA) sowie vom Staatssekretariat für Wirtschaft (SECO) des Eidgenössischen Departements für Wirtschaft, Bildung und Forschung (WBF).
Externe und unabhängige Evaluationen In der IZA werden so genannt «externe» Evaluationen zu spezifischen Projekten oder Interventionen sowie «unabhängige» Evaluationen zu strategischen Themen gemacht. Beide Arten von Evaluationen führen externe Auftragnehmende durch.
Erfolgsquoten Auf der Grundlage der externen Evaluationen berechnen die DEZA und das SECO die Erfolgsquoten ihrer Interventionen im Ausland. Diese Erfolgsquoten werden im Schlussbericht zur Umsetzung der IZA-Strategie ausgewiesen, um gegenüber dem Parlament und der Öffentlichkeit Rechenschaft abzulegen.
2 / 44
BBl 2023 2894
Das Wichtigste in Kürze Der Einsatz von Evaluationen, um die Wirksamkeit der internationalen Zusammenarbeit (IZA) zu messen, ist insgesamt teilweise zweckmässig. Evaluationen werden für die Steuerung der IZA auf unterschiedlichen Ebenen verwendet und kostentransparent durchgeführt. Die Evaluationsberichte sowie die Rechenschaftslegung zuhanden des Parlaments und der Öffentlichkeit weisen jedoch Mängel auf.
Im Januar 2022 beauftragten die Geschäftsprüfungskommissionen der eidgenössischen Räte (GPK) die Parlamentarische Verwaltungskontrolle (PVK), die Wirksamkeitsmessung in der IZA zu evaluieren.
Die zuständige Subkommission EDA/VBS der GPK des Ständerates (GPK-S) entschied, dass sich die PVK auf ein bestimmtes Instrument der Wirksamkeitsmessung konzentrieren soll: die Evaluation. Die PVK untersuchte die Wirksamkeit der IZA folglich nicht selber, sondern befasste sich vielmehr mit der Art und Weise, wie die drei für die IZA zuständigen Verwaltungseinheiten die Direktion für Entwicklung und Zusammenarbeit (DEZA), das Staatssekretariat für Wirtschaft (SECO) und die Abteilung Frieden und Menschenrechte (AFM) die Wirksamkeit ihrer Interventionen anhand von Evaluationen messen und darüber Rechenschaft ablegen.
Die PVK analysierte die Hilfsmittel für die Durchführung von Evaluationen sowie die Kosten der Evaluationen. Sie führte mit mehr als dreissig Mitarbeitenden der Bundesverwaltung und Fachleuten Interviews. Im Rahmen einer extern vergebenen MetaEvaluation wurde die Qualität der Evaluationen analysiert. Die Analysen kamen im Wesentlichen zu folgenden Ergebnissen: Die externen Evaluationen weisen Stärken, aber auch Schwächen auf Die DEZA, das SECO und die AFM messen die Wirksamkeit ihrer Projekte insbesondere anhand von externen Evaluationen, die sie in Auftrag geben. Die Pflichtenhefte der Verwaltung, die auch einen Einfluss auf die Qualität der Evaluationen haben, sind insgesamt zufriedenstellend (Ziff. 3.1). Die Evaluationsberichte enthalten klare Zusammenfassungen, transparent dargestellte Daten und kohärente Schlussfolgerungen, was besonders hilfreich ist, um die Evaluationen für die Projektsteuerung zu nutzen (Ziff. 3.2). Die Darstellung der Methodik und der Ergebnisse ist hingegen nicht zufriedenstellend, was sich negativ auf die Nachvollziehbarkeit der externen Evaluationen und somit auf
ihre Nützlichkeit für die Rechenschaftslegung auswirkt. Trotz dieser Mängel ist die Qualität der Evaluationen mit jener in anderen Ländern vergleichbar (Ziff. 3.3).
Die Hilfsmittel für das Evaluationsmanagement sind mehrheitlich angemessen, jedoch unterschiedlich umfangreich Die Verwaltung führt die Evaluationen nicht selber durch, muss sie jedoch steuern und ihre Qualität sicherstellen. Die Analyse der Richtlinien und Prozesse, in denen die einzelnen Schritte und Verantwortlichkeiten beschrieben werden, ergaben bei den drei untersuchten Verwaltungseinheiten ein heterogenes Bild. Die Hilfsmittel der DEZA und des SECO sind klar und umfassend, wobei die Dokumente bei der DEZA
3 / 44
BBl 2023 2894
sehr zahlreich sind und wenig verwendet werden. Die AFM hingegen verfügt über wenige und nicht besonders ausführliche Hilfsmittel. Sie ist zwar bedeutend kleiner als die beiden anderen Einheiten, ihre Hilfsmittel scheinen jedoch unzureichend, um die Qualität der Evaluationen sicherzustellen. In allen drei Einheiten schätzen die Projektverantwortlichen die Fachkompetenz und die Unterstützung ihrer jeweiligen Evaluationseinheiten (Ziff. 3.4).
Die Evaluationen werden für die Steuerung insgesamt angemessen genutzt Die Evaluationen sollen der Steuerung der IZA auf unterschiedlichen Ebenen dienen.
Die externen Evaluationen werden in erster Linie für die Steuerung der evaluierten Projekte genutzt (Ziff. 4.1). Die unabhängigen Evaluationen hingegen dienen den Führungsverantwortlichen vor allem als Basis für ihre strategischen Entscheidungen (Ziff. 4.2). Diese unterschiedliche Nutzung der Evaluationen kann als angemessen bezeichnet werden. Allerdings werden die Empfehlungen der externen Evaluationen nicht systematisch nachverfolgt, weshalb ihr Mehrwert im Hinblick auf eine Verbesserung der IZA-Projekte nicht bekannt ist (Ziff. 4.1).
Die Nutzung von Evaluationen für die Rechenschaftslegung gegenüber Parlament und Öffentlichkeit ist nicht angemessen Es ist fundamental, dass das Parlament und die Öffentlichkeit Kenntnis von der Wirksamkeit der IZA erhalten. Allerdings machen die Evaluationen oft keine expliziten Angaben dazu, inwiefern die jeweiligen Interventionen zur Erreichung der Ziele beitragen, die in der Botschaft über die IZA-Strategie genannt sind. Die Schlussberichte zur Umsetzung der IZA-Strategie zuhanden des Parlamentes präsentieren einige Ergebnisse, jedoch keine systematische Bilanz zur Zielerreichung (Ziff. 4.3). Die Erfolgsquoten, die in den Schlussberichten Rechenschaft über die Wirksamkeit der IZA ablegen sollten, widerspiegeln nicht die Gesamtheit der Interventionen der IZA und sind nicht aussagekräftig (Ziff. 4.4).
Die Kosten der Evaluationen sind transparent und insgesamt tief Die Evaluationskosten können für alle drei Verwaltungseinheiten transparent ermittelt werden (Ziff. 5.1). Sie machen im Allgemeinen weniger als 2,5 Prozent der Kosten der evaluierten Interventionen aus. Im internationalen Vergleich liegt dieser Prozentsatz eher am unteren Ende dessen, was in der IZA für Evaluationen ausgegeben wird (Ziff. 5.2).
4 / 44
BBl 2023 2894
Inhaltsverzeichnis Schlüsselbegriffe
2
Das Wichtigste in Kürze
3
1
Einleitung 1.1 Ausgangslage und Fragestellungen der Evaluation 1.2 Vorgehen 1.3 Mehrwert und Grenzen der Evaluation der PVK 1.4 Aufbau des Berichts
7 7 8 9 11
2
Die internationale Zusammenarbeit und die Messung ihrer Wirksamkeit 2.1 Bereiche der internationalen Zusammenarbeit 2.2 Wirksamkeitsmessung mittels Evaluationen
11 11 12
3
4
5
6
Qualität der externen Evaluationen 3.1 Die Pflichtenhefte für die Vergabe von Evaluationen sind weitgehend zufriedenstellend 3.2 Die Evaluationen sind für die Steuerung nutzbar, die Empfehlungen sind jedoch zu abstrakt 3.3 Die Evaluationen ermöglichen keine fundierte Rechenschaftslegung 3.4 Die Hilfsmittel für das Evaluationsmanagement und die Qualitätssicherung sind je nach Einheit unterschiedlich gut
15
Nutzung der Evaluationen für Steuerung und Rechenschaftslegung 4.1 Externe Evaluationen werden vor allem für die Steuerung der evaluierten Projekte genutzt 4.2 Unabhängige Evaluationen sind für die strategische Steuerung angemessen 4.3 Die Evaluationen werden ungenügend genutzt, um die Zielerreichung zu messen 4.4 Die veröffentlichen Erfolgsquoten der IZA-Interventionen sind nicht aussagekräftig
23
Kosten der Evaluationen 5.1 Die Kosten der in Auftrag gegebenen Evaluationen sind transparent 5.2 Die Kosten der Evaluationen sind im Allgemeinen tief
29
Schlussfolgerungen 6.1 Die externen Evaluationen weisen Stärken, aber auch Schwächen auf 6.2 Die Hilfsmittel für das Evaluationsmanagement sind mehrheitlich angemessen, jedoch unterschiedlich umfangreich
31
15 17 18 20
23 24 25 26
29 30
31 32 5 / 44
BBl 2023 2894
6.3 6.4 6.5
Die Evaluationen werden für die Steuerung insgesamt angemessen genutzt Die Nutzung von Evaluationen für die Rechenschaftslegung gegenüber Parlament und Öffentlichkeit ist nicht angemessen Die Kosten der Evaluationen sind transparent und insgesamt tief
32 33 34
Abkürzungen
35
Literaturverzeichnis
36
Verzeichnis der Interviewpartnerinnen und -partner
38
Anhänge 1 Herangehensweise der Evaluation 2 Bewertungskriterien
40 41
Impressum
44
6 / 44
BBl 2023 2894
Bericht 1
Einleitung
1.1
Ausgangslage und Fragestellungen der Evaluation
Da die internationale Zusammenarbeit (IZA) ihre Aktivitäten im Ausland entfaltet, ist es wichtig, gegenüber den Schweizer Steuerzahlerinnen und Steuerzahlern Transparenz über ihre Wirksamkeit zu schaffen. Die Wirksamkeitsmessung dient daher nicht nur dazu, die Interventionen1 und die Steuerung der IZA zu verbessern, sondern hat auch den Zweck, gegenüber dem Parlament und der Öffentlichkeit Rechenschaft abzulegen über die Ergebnisse und die Zielerreichung der IZA im Ausland. In Berichten präsentiert der Bundesrat die Ergebnisse seines Auslandsengagements anhand von Erfolgsquoten, die über dem internationalen Durchschnitt liegen.2 Da diese Zahlen auf der Grundlage von Evaluationen berechnet werden, ist es wichtig, dass letztere von guter Qualität sind. Auch ist zu fragen, ob die für Evaluationen bereitgestellten finanziellen Ressourcen angemessen sind und wie diese genutzt werden, insbesondere für die Steuerung und die Rechenschaftsablage.
Vor diesem Hintergrund beauftragten die Geschäftsprüfungskommissionen der eidgenössischen Räte (GPK) am 25. Januar 2022 die Parlamentarische Verwaltungskontrolle (PVK), die Wirksamkeitsmessung in der Entwicklungszusammenarbeit zu evaluieren. Die zuständige Subkommission EDA/VBS der Ständerates (GPK-S) beschloss auf der Grundlage einer Projektskizze der PVK am 23. Mai 2022, dass sich die PVK mit der Evaluation als Instrument der Wirksamkeitsmessung in allen Bereichen der IZA befassen soll.3 Die folgenden Fragestellungen werden jeweils in einem separaten Kapitel beantwortet:
1 2
3
Stimmt die Qualität der Evaluationen in der IZA? (Kap. 3)
Werden die Evaluationen angemessen für die Steuerung der IZA und die Rechenschaftslegung gegenüber dem Parlament und der Öffentlichkeit genutzt?
(Kap. 4)
Sind die Evaluationskosten angemessen? (Kap. 5)
Der Ausdruck «Intervention» steht in diesem Bericht für jedwede Form von Projekt, Programm oder Strategie im Rahmen der IZA.
Botschaft vom 19.2.2020 zur Strategie der internationalen Zusammenarbeit 20212024 (IZA-Strategie 20212024, BBl 2020 2597). Im Folgenden: «Strategie» oder «Botschaft».
DEZA, SECO, AMS (2020): Die internationale Zusammenarbeit der Schweiz wirkt.
Schlussbericht zur Umsetzung der Botschaft 20172020. Im Folgenden: Schlussbericht 2020.
Bei der Erarbeitung der Projektskizze zeigte sich, dass die Wirksamkeitsmessung und die damit verbundenen Probleme in der Entwicklungszusammenarbeit für alle Bereiche der IZA gleich sind (vgl. Ziff. 2.1). Die PVK erweiterte deshalb den Untersuchungsgegenstand auf die gesamte IZA.
7 / 44
BBl 2023 2894
Die PVK evaluiert folglich nicht selber die Wirksamkeit der IZA, sondern analysiert vielmehr die Art und Weise, wie die Wirksamkeit mittels Evaluationen gemessen wird.
1.2
Vorgehen
Zur Beantwortung der Evaluationsfragestellungen verwendete die PVK die in Tabelle 1 aufgeführten Methoden der Datenerhebung und Datenanalyse. Anhang 1 des Berichts enthält eine Übersicht der Herangehensweise der Evaluation. Die von der PVK angewandten Bewertungskriterien sind in Anhang 2 beschrieben.
Tabelle 1 Methodenübersicht Evaluationsfragestellungen
Qualität der Evaluationen
Meta-Evaluation Dokumenten- Interviews (externer Auftrag) analyse
Nutzung der Evaluationen Kosten der Evaluationen
()
()
()
()
Gruppengespräche
Kostenanalyse
()
Legende: = Hauptbeitrag zur Analyse; () = sekundärer Beitrag zur Analyse
Die Qualität der Evaluationen wurde anhand einer Meta-Evaluation4 der externen Evaluationen der drei für die IZA zuständigen Verwaltungseinheiten (DEZA, SECO und AFM) bewertet (vgl. Ziff. 2.2). Die DEZA hatte 2021 die Firma CEval GmbH mit einer Analyse ihrer externen Evaluationen beauftragt; diese wurde 2022 abgeschlossen.5 Deshalb beauftragte auch die PVK diese Firma mit der Analyse der externen Evaluationen des SECO und der AFM6. Damit die Ergebnisse zu den drei Einheiten vergleichbar sind, wurde dasselbe Vorgehen angewandt. Die Auftragnehmerin untersuchte in der Folge die Pflichtenhefte, sofern sie verfügbar waren, sowie insgesamt 114 Evaluationsberichte7.
4
5 6
7
Eine Meta-Evaluation bewertet die Qualität einer Reihe von Evaluationen und ihre Übereinstimmung mit den auf dem Gebiet der Evaluation anerkannten Best Practices (Standards).
CEval (2022). Concept note: Meta-evaluation of 50 decentralized project evaluations of the DEZA. Nicht veröffentlicht.
CEval (2023). Wirksamkeitsmessung in der internationalen Zusammenarbeit: Metaevaluation DEZA/SECO/AFM. Im Auftrag der Schweizer Parlamentarischen Verwaltungskontrolle.
60 Evaluationen der DEZA (vgl. CEval 2022), 42 des SECO und 12 der AFM aus dem Zeitraum 20182020. Bei der AFM handelt es sich um alle im Analysezeitraum durchgeführten Evaluationen. Bei der DEZA und beim SECO handelt es sich um eine repräsentative Auswahl an Evaluationen, die zur Berechnung der Erfolgsquoten verwendet wurden. Zur Stichprobe der DEZA kommen 12 Evaluationen hinzu, die zwar die Auswahlkriterien für die Erfolgsquoten nicht erfüllen, deren Qualität sich aber nicht signifikant unterscheidet (vgl. CEval 2022, 2023).
8 / 44
BBl 2023 2894
Die PVK führte zudem eine Dokumentenanalyse durch, um die Qualität der Richtlinien und Dokumente für das Evaluationsmanagement und die Qualitätssicherung sowie die Prozesse und Verantwortlichkeiten in den drei Verwaltungseinheiten zu beurteilen. Darüber hinaus machte sie eine kurze Literaturanalyse zur Qualität der Evaluationen in der IZA, um die Schweiz mit anderen Ländern vergleichen zu können. Schliesslich befasste sie sich auch mit der IZA-Strategie 202120248 und dem Schlussbericht 20209, den beiden wichtigsten Berichten für die Rechenschaftslegung gegenüber dem Parlament und der Öffentlichkeit.
Um zu untersuchen, wie die Evaluationen zur Steuerung der IZA auf verschiedenen Ebenen genutzt werden, führte die PVK Interviews mit Mitarbeitenden durch, die in den drei untersuchten Verwaltungseinheiten Evaluationen auf verschiedenen hierarchischen Stufen in Auftrag geben, managen und nutzen.10 Zudem führte die PVK Interviews mit einigen verwaltungsexternen Fachpersonen. Das Verzeichnis der Interviewpartnerinnen und -partner (36 Personen) befindet sich im hinteren Teil dieses Berichts.
Mit Mitarbeitenden der operativen Einheiten des SECO und der AFM wurden Gruppengespräche durchgeführt, um die Arbeitsmethoden im Zusammenhang mit dem Management und der Nutzung von Evaluationen zu vergleichen. In der DEZA wurde diese Vorgehensweise nicht angewandt, weil der PVK die Ergebnisse einer Umfrage und Interviews mit zehn DEZA-Mitarbeitenden, die von CEval durchgeführt worden waren, zur Verfügung standen.11 Schliesslich führte die PVK eine Analyse der Evaluationskosten durch, um beurteilen zu können, ob sie transparent ausgewiesen wurden und im Verhältnis zu den Kosten der evaluierten Interventionen und der Qualität der Evaluationen angemessen sind.
Die Datenerhebung und -analyse fand von August bis November 2022 statt. Die wichtigsten Ergebnisse ihrer Evaluation diskutierte die PVK mit jeweils einem Geschäftsleitungsmitglied der DEZA, des SECO und der AFM. Im Februar 2023 wurden die betroffenen Departemente zu den Berichtsentwürfen der PVK und der CEval konsultiert.
1.3
Mehrwert und Grenzen der Evaluation der PVK
Die PVK evaluierte die Wirksamkeit der IZA nicht selber, sondern analysierte, wie die Verwaltung die Wirksamkeit misst und darüber mittels Evaluationen Rechenschaft ablegt. Konkret informiert der Bundesrat das Parlament und die Öffentlichkeit 8 9 10
11
IZA-Strategie 20212024 (BBl 2020 2597).
Schlussbericht 2020.
Die DEZA, das SECO und die AFM verwenden unterschiedliche Personalbezeichnungen.
Im Sinne der Kohärenz verwendet die PVK für Mitarbeitende der operativen Einheiten, die externe Evaluationen in Auftrag geben und managen, die Bezeichnung Projektverantwortliche. Für Evaluationseinheiten, die unabhängige Evaluationen managen, wird die Bezeichnung Mitarbeitende der Evaluationseinheiten verwendet (vgl. Ziff. 2.2). Für Mitarbeitende, die eine Sektion oder eine Abteilung leiten, sowie für Geschäftsleitungsmitglieder wird die Bezeichnung Führungsverantwortliche verwendet.
CEval (2022).
9 / 44
BBl 2023 2894
in Form einer Botschaft12 und eines Schlussberichts13. Letzterer beruht auf Informationen aus dem internen Projektmonitoring und insbesondere in Bezug auf die Erfolgsquoten auf den Ergebnissen externer Evaluationen. Es ist deshalb von zentraler Bedeutung, ob die Qualität dieser Evaluationen ausreichend ist und ob die Ergebnisse zuverlässig sind.
Die Evaluationen sollten ausserdem Erkenntnisse liefern, die für die Steuerung der IZA sowohl auf Projekt- wie auch auf Strategieebene hilfreich sind. Die vorliegende Analyse untersucht deshalb, ob die Evaluationen verständlich sind und ob die Empfehlungen dazu dienen, die Interventionen der IZA zu verbessern.
Gemäss dem Entscheid der zuständigen Subkommission (vgl. Ziff. 1.1) konzentriert sich die Analyse ausschliesslich auf die Evaluation als Instrument der Wirksamkeitsmessung und der Rechenschaftslegung. Die anderen Instrumente wie Monitoring14 und Controlling15 sind für diese Zwecke weniger geeignet, da sie keinen Zusammenhang zwischen einer Intervention und ihren Wirkungen herleiten (vgl. Ziff. 2.2). Sie sind deshalb nicht Gegenstand dieses Berichts. Impakt-Evaluationen, die auf experimentellen Methoden beruhen, wurden ebenfalls nicht untersucht. Nur die DEZA hat einige solche Evaluationen durchgeführt, das SECO und die AFM verwendeten sie nicht. Die Wirksamkeitsmessung in der IZA war zudem bereits Gegenstand mehrerer Studien; diese wurden in vorliegender Evaluation berücksichtigt.16 Die von der PVK in Auftrag gegebene Meta-Evaluation17 betrachtete ausschliesslich externe Evaluationen. Dies rechtfertigt sich dadurch, dass vor allem deren Qualität infrage gestellt wurde und sie zur Berechnung der Erfolgsquoten herangezogen werden. Zudem machen sie den Grossteil der Evaluationen aus (vgl. Ziff. 3.3 und 4.4).
Die Meta-Evaluation basiert zudem auf einem normativen Ansatz und berücksichtigt anerkannte Standards mit festgelegten Merkmalen eines idealen Evaluationsberichts.
In der Praxis wird nicht erwartet, dass ein Bericht allen Standards entspricht, sondern lediglich, dass die Bewertungskriterien mehrheitlich als zufriedenstellend beurteilt werden (vgl. Bewertungskriterien, Anhang 2).
12 13 14 15 16
17
IZA-Strategie 20212024 (BBl 2020 2597).
Schlussbericht 2020.
Instrument zur Beobachtung mittels permanenter, systematischer und routinemässiger Sammlung von vergleichbaren Daten.
Führungsinstrument zur prozessbegleitenden Steuerung der Zielerreichung.
BSS Economic Consultants (2020): Assessing the performance of the Swiss international cooperation, 8.6.2020; CEVAL (2022): Concept note: Meta-evaluation of 50 decentralized project evaluations of the DEZA; Grasso, Patrick G. (2020): Peer review of four evaluation functions. November 2020; OECD (2019): Reviews der OECD über die schweizerische Entwicklungshilfe: Schweiz 2019. Eidgenössische Finanzkontrolle (EFK) (2017); EFK (2019a); EFK (2019b); EFK (2020); EFK (2022); EFK (Veröffentlichung für 2023 geplant): Die vollständige Liste der EFK-Prüfungen findet sich im Literaturverzeichnis.
CEval (2023), Kap. 2.
10 / 44
BBl 2023 2894
1.4
Aufbau des Berichts
Kapitel 2 stellt die Bereiche der IZA und die Evaluation als Instrument der Wirksamkeitsmessung vor. Die drei darauffolgenden Kapitel beantworten jeweils eine der Fragestelllungen der Evaluation. Kapitel 3 geht auf die Qualität der externen Evaluationen ein. Kapitel 4 befasst sich mit der Nutzung der Evaluationen zur Steuerung der IZA und zur Rechenschaftslegung. Kapitel 5 behandelt die Kosten der Evaluationen und Kapitel 6 enthält die Schlussfolgerungen.
2
Die internationale Zusammenarbeit und die Messung ihrer Wirksamkeit
Dieses Kapitel stellt die Bereiche der IZA (Ziff. 2.1) und die Evaluation als Instrument für die Messung von deren Wirksamkeit vor (Ziff. 2.2).
2.1
Bereiche der internationalen Zusammenarbeit
Die IZA der Schweiz dient dem verfassungsmässigen Ziel, zur Linderung von Not und Armut in der Welt, zur Achtung der Menschenrechte und zur Förderung der Demokratie, zu einem friedlichen Zusammenleben der Völker sowie zur Erhaltung der natürlichen Lebensgrundlagen beizutragen (Art. 54 Abs. 2 BV18).
Der Bundesrat unterbreitet dem Parlament alle vier Jahre eine Botschaft über die IZAStrategie der Schweiz und einen Antrag auf die entsprechenden Rahmenkredite. Die Strategie umfasst drei Bereiche19, die in verschiedenen Bundesgesetzen20 geregelt sind: die Entwicklungszusammenarbeit, die humanitäre Hilfe sowie die Förderung des Friedens und der menschlichen Sicherheit. Für die Umsetzung der Strategie sind drei Verwaltungseinheiten aus zwei Departementen zuständig: die Direktion für Entwicklung und Zusammenarbeit (DEZA) und die Abteilung Frieden und Menschenrechte (AFM)21, die zum Eidgenössischen Departement für auswärtige Angelegenheiten (EDA) gehören, sowie das Staatssekretariat für Wirtschaft im Eidgenössischen Departement für Wirtschaft, Bildung und Forschung (WBF). Für die IZA-Strategie 2021-202422 ist ein Budget von 11,25 Milliarden Franken vorgesehen, welches auf die drei Bereiche und Verwaltungseinheiten verteilt ist (Abbildung 1).
18 19
20
21 22
Bundesverfassung vom 18.4.1999 (BV; SR 101).
IZA-Strategie 20212024 (BBl 2020 2597). In dieser Strategie ist von «Instrumenten» die Rede. Die PVK spricht allerdings von «Bereichen», um eine Verwechslung mit den Instrumenten der Wirksamkeitsmessung zu vermeiden.
Bundesgesetz vom 19.3.1976 über die internationale Entwicklungszusammenarbeit und humanitäre Hilfe (SR 974.0) nachfolgend EZA-HH-Gesetz); Bundesgesetz vom 30.9.2016 über die Zusammenarbeit mit den Staaten Osteuropas (SR 974.1; nachfolgend Ostgesetz); Bundesgesetz vom 19.12.2003 über Massnahmen zur zivilen Friedensförderung und Stärkung der Menschenrechte (SR 193.9; nachfolgend MS-Gesetz).
In mehreren Berichten, die in diesem Dokument erwähnt werden, findet sich noch die alte Bezeichnung der AFM: Abteilung Menschliche Sicherheit (AMS).
IZA-Strategie 20212024 (BBl 2020 2597).
11 / 44
BBl 2023 2894
Abbildung 1 Bereiche der internationalen Zusammenarbeit und zuständige Verwaltungseinheiten
Legende: Die Prozentangaben entsprechen dem Anteil am Rahmenkredit der IZA-Strategie 2021-2024.
Für die Entwicklungszusammenarbeit sind die DEZA (65 % des Rahmenkredits) und das SECO (13,6 %) zuständig. Die humanitäre Hilfe ist Aufgabe der DEZA (19,1 % des Rahmenkredits), für die Förderung des Friedens und der menschlichen Sicherheit ist die AFM zuständig (2,3 %).
2.2
Wirksamkeitsmessung mittels Evaluationen
Der Bundesrat ist von Rechts wegen verpflichtet, für eine wirksame Verwendung der finanziellen Mittel für die IZA zu sorgen, regelmässige Evaluationen zu veranlassen sowie der Bundesversammlung darüber für jede Kreditperiode Rechenschaft abzulegen.23 Der Rechenschaftsbericht zum letzten Zeitraum (20172020)24 fasst die Ergebnisse der IZA, untermauert von Zahlen und Beispielen, auf rund 10 Seiten zusammen
23
24
Art. 9 Abs. 3 EZA-HH-Gesetz, Art. 17 Ostgesetz, Art. 5 MS-Gesetz. Evaluationen sind nur in den beiden letztgenannten Gesetzen, die jüngeren Datums sind, ausdrücklich genannt.
Schlussbericht 2020.
12 / 44
BBl 2023 2894
und vertieft sie pro Verwaltungseinheit (DEZA, SECO, AFM) in einem Anhang.25 Die wichtigsten Ergebnisse aus dem Schlussbericht26 wurden in die gleichzeitig verabschiedete Botschaft für die nächste Kreditperiode27 übernommen.
In der IZA wird der Begriff «Wirksamkeit» vom Entwicklungshilfeausschuss (DAC) der Organisation für wirtschaftliche Zusammenarbeit und Entwicklung (OECD) definiert. Wirksamkeit bezeichnet demnach das Ausmass, in dem die Ziele und Resultate einer Entwicklungsmassnahme erreicht worden sind oder voraussichtlich erreicht werden.28 Gemäss derselben Quelle bestehen die Resultate, die zur Wirksamkeit gehören, aus den Ergebnissen eines Projekts, das heisst Leistungen, Wirkungen und Impakte.29 In diesem Bericht wird die Wirksamkeitsmessung in diesem weiteren Sinne verstanden.
Die Evaluation als Instrument ist eine vertiefte und zeitlich begrenzte Untersuchung anhand wissenschaftlicher Methoden. Sie stellt eine kausale Beziehung zwischen einer Intervention und den beobachteten Wirkungen her, weshalb die Evaluation für die Wirksamkeitsmessung das Hauptinstrument darstellt. Im Vergleich dazu haben Monitoring und Controlling eine allgemeinere Reichweite, werden regelmässig oder kontinuierlich durchgeführt und sind oberflächlicher.30 Gemäss der Definition des DAC31 dient eine Evaluation der systematischen und objektiven Beurteilung von laufenden oder abgeschlossenen Projekten, Programmen oder Politikmassnahmen bzw. von deren Konzept, Umsetzung und Ergebnissen. Generell wird einerseits zwischen der Nutzung von Evaluationen zur Steuerung und der Nutzung für Lernprozesse auf verschiedenen Ebenen (Projekt, Programme, Strategien der Verwaltungseinheit oder der IZA) unterschieden. Andererseits werden Evaluationen zur Erfüllung der Rechenschaftspflicht verwendet, d. h um Rechenschaft darüber abzulegen, welche Ergebnisse mit den bereitgestellten Ressourcen erzielt wurden.
25
26 27 28 29
30
31
Das Parlament hatte den Bundesrat zusätzlich beauftragt, in der Mitte der letzten Kreditperiode über die Zielerreichung und Wirksamkeit Bericht zu erstatten. Vgl. DEZA, SECO, AFM (2018): Die internationale Zusammenarbeit der Schweiz. Halbzeitbericht zur Umsetzung der Botschaft 20172020. Für die laufende Botschaft hat das Parlament keinen Halbzeitbericht verlangt.
Schlussbericht 2020.
IZA-Strategie 20212024 (BBl 2020 2597).
DAC (2021): Better criteria for better evaluation: Revised evaluation criteria definitions and principles for use.
Leistungen (Outputs) sind Produkte, Güter oder Dienstleistungen, die unmittelbar Ergebnisse eines Kooperationsprojektes sind. Direkte Wirkungen (Outcomes) sind kurz- oder langfristige Effekte, die ein Projekt bei den Zielgruppen erzielt. Entwicklungswirkungen (Impacts) sind Langzeiteffekte, die direkt oder indirekt, beabsichtigt oder unbeabsichtigt durch ein Projekt verursacht werden.
Widmer, Thomas/De Rocchi, Thomas (2012): Evaluation: Grundlagen, Ansätze und Anwendungen. Zürich: Rüegger Verlag, 1721. Interdepartementale Kontaktgruppe «Wirkungsprüfungen» (IDEKOWI) (2004): Anhang 3 Inhalt und Instrumente der Wirksamkeitsüberprüfung (Definitionen der Begriffe «Evaluation, Controlling und Monitoring»).
Die DEZA und das SECO sind daran, neue Monitoringsysteme einzuführen, die auf standardisierten Indikatoren beruhen.
DAC (2011): Evaluating development cooperation: Summary of key norms and standards (2. Ausgabe).
13 / 44
BBl 2023 2894
Im Rahmen der Schweizer IZA werden zwei Arten von Evaluationen32 durchgeführt: externe und unabhängige Evaluationen.33 Tabelle 2 enthält eine Übersicht der beiden Evaluationsarten.
Tabelle 2
Beschreibung
Anzahl (pro Jahr)1 und durchschnittliche. Kosten einer Evaluation2
Evaluationsauftrag
Evaluationsmanagement
Externe Evaluationen
Von externen Auftragnehmenden durchgeführt.
Betreffen Projekte der IZA.
Machen die Mehrheit der durchgeführten Evaluationen aus.
DEZA: 80100 SECO: 2530 AFM: 57 Durchschnittliche Kosten: 34 000 Franken
Operative Einheiten
Operative Einheiten (Projektverantwortliche)
Unabhängige Evaluationen
Eigenschaften von externen und unabhängigen Evaluationen
Von externen Auftragnehmenden durchgeführt.
Betreffen strategische Themen auf verschiedenen Ebenen: Länderoder Regionalstrategien, Querschnittsthemen oder institutionelle Fragen.
DEZA: 35 SECO: 12 AFM: <1 Durchschnittliche. Kosten: 138 000 Franken
DEZA und AFM: Geschäftsleitung SECO: externes Evaluationskomitee
Evaluationseinheiten (Steuerungsgruppe in der AFM)
1 2
Die Zahl der pro Jahr durchgeführten Evaluationen variiert; es handelt sich um eine Grössenordnung.
Durchschnittliche Kosten der im Zeitraum 20182020 für alle drei Einheiten durchgeführten Evaluationen (vgl. Kap. 5).
Quelle: Angaben der DEZA, des SECO und der AFM.
Die operativen Einheiten, die externe Evaluationen in Auftrag geben und managen, sind meist im Ausland für die Projekte der IZA zuständig. Die in der Schweiz ansässigen Evaluationseinheiten34 sind von den operativen Einheiten unabhängig. Sie 32
33
34
Von den operativen Einheiten selbst durchgeführte interne Evaluationen wurden in diesem Bericht nicht untersucht, da sie nicht denselben Qualitätsanforderungen unterliegen.
Die wenigen verfügbaren Impakt-Evaluationen wurden ebenfalls nicht untersucht (vgl. Ziff. 1.3).
In der DEZA zählen Evaluationen von Kooperationsprogrammen sowie institutionelle und thematische Evaluationen zu den unabhängigen Evaluationen. In der AFM ist manchmal auch von strategischen Evaluationen die Rede.
Die Evaluationseinheiten haben unterschiedliche Strukturen und Ressourcen.
DEZA: Die Sektion «Evaluation und Controlling» verfügt über 5,4 Vollzeitäquivalente (VZÄ), von denen sich 4,4 VZÄ vollzeitlich mit Evaluationen befassen. In Qualitätsfragen, beispielsweise bei der Erarbeitung von Richtlinien, wird sie punktuell von der Fachstelle «Qualitätssicherung und interne Digitalisierung» unterstützt.
SECO: Das Ressort «Qualität und Ressourcen» verfügt über 2,3 VZÄ, von denen 1,2 VZÄ für Evaluationen zuständig sind.
AFM: Eine einzige Person ist für Evaluationen zuständig. Sie ist dem Stab angegliedert: Von den insgesamt 0,8 VZÄ werden 0,2 für Evaluationen eingesetzt.
14 / 44
BBl 2023 2894
sind für die Qualität aller Evaluationen zuständig und managen die unabhängigen Evaluationen.
3
Qualität der externen Evaluationen
Die PVK stützt sich auf die Meta-Evaluation35, um die Qualität der Pflichtenhefte und der externen Evaluationsberichte zu bewerten. Dabei wurden auch die Unterschiede zwischen den Verwaltungseinheiten untersucht. Die Angemessenheit der Instrumente für das Management und die Qualitätssicherung der Evaluationen beurteilte die PVK anhand der Dokumentenanalysen und Interviews, die sie durchgeführt hat (vgl. Bewertungskriterien in Anhang 2).
Zusammenfassung: Die PVK stellt fest, dass die Qualität der externen Evaluationen je nach betrachtetem Aspekt unterschiedlich ausfällt. Die Pflichtenhefte sind mehrheitlich zufriedenstellend (Ziff. 3.1) und die Berichte verständlich (Ziff. 3.2), aber zu wenig fundiert, da die Darstellung der Methodik und der Ergebnisse wenig zufriedenstellend ist (Ziff. 3.3). Die Hilfsmittel für das Evaluationsmanagement sind mehrheitlich angemessen, jedoch unterschiedlich umfangreich (Ziff. 3.4).
3.1
Die Pflichtenhefte für die Vergabe von Evaluationen sind weitgehend zufriedenstellend
Es ist äusserst wichtig, dass die Verwaltung ein präzises Pflichtenheft erstellt.36 Es ist das grundlegende Dokument des Vertrags mit den externen Auftragnehmenden. Während Inhalt und Format unterschiedlich sein können, sollte es zumindest die Kriterien zur Beurteilung der Wirksamkeit des evaluierten Projekts, die Zielsetzungen und Fragestellungen der Evaluation, den Kontext des Projekts, das massgebende Vorgehen sowie die erwarteten Leistungen, die Verantwortlichkeiten und den Zeitplan enthalten.37
35 36 37
CEval (2023).
Bei gemeinsam mit Partnern durchgeführten Evaluationen kann es vorkommen, dass die Pflichtenhefte von den Partnern verfasst werden.
CEval (2023), Ziff. 3.2.
15 / 44
BBl 2023 2894
Abbildung 2 Qualität der Pflichtenhefte der externen Evaluationen Pflichtenhefte (n=80)
9%
DEZA (n=26) SECO (n=42)
61%
15%
26% 73%
7%
8% 4%
55%
AFM (n=12)
33%
58% 0%
Sehr zufriedenstellend
4%
10%
20%
30%
Zufriedenstellend
5%
42% 40%
50%
60%
Wenig zufriedenstellend
70%
80%
90%
100%
Überhaupt nicht zufriedenstellend
Quelle: Daten gemäss Bericht CEval (2023), Aufbereitung durch die PVK.
Die Qualität der Pflichtenhefte der drei untersuchten Einheiten ist grösstenteils zufriedenstellend (vgl. Abb. 2). Beinahe 90 Prozent der Pflichtenhefte der DEZA sind zufriedenstellend oder sehr zufriedenstellend. Allerdings ist dieses Ergebnis nicht repräsentativ, da bei 60 analysierten Evaluationsberichten dieser Einheit lediglich 26 Pflichtenhefte verfügbar waren. Beim SECO und der AFM, die sämtliche Pflichtenhefte bereitgestellt hatten, waren rund 60 Prozent zufriedenstellend. Das externe Gutachten stellte Schwächen in Bezug auf die Durchführbarkeit gewisser Evaluationen fest, z. B. dass die erwarteten Leistungen nicht mit dem Budget oder dem vorgesehenen Zeitplan vereinbar sind. Ausserdem sind die methodischen Anforderungen nicht immer ausreichend präzisiert.
Die DEZA formuliert die Evaluationsfragen und -kriterien gut. Einzig das SECO beschreibt die Rechtfertigung und das Ziel der Evaluation zufriedenstellend, die Fragestellungen, die Kriterien und die Kontextbeschreibung hingegen sind unbefriedigend. So ist die Zahl der zu beantwortenden Fragen mit Blick auf den Zeitplan der Evaluation bisweilen extrem hoch. Der AFM gelingt es am besten, den Gegenstandsbereich der avisierten Evaluation adäquat abzugrenzen. Während die Fragestellungen, Kriterien und organisatorischen Aspekte der Evaluation zufriedenstellend sind, werden die Methodik sowie der Hintergrund und der Zweck der Evaluation lückenhaft beschrieben.
Der in anderen Studien38 bestätigte Zusammenhang zwischen der Qualität der Pflichtenhefte und der Qualität der Evaluationen wurde auch in den Interviews erwähnt. Die PVK stellt fest, dass es sich bei diesen um ein in der Regel von der Verwaltung formuliertes Dokument handelt. Es ist folglich positiv zu beurteilen, dass die Verwaltung insgesamt über die erforderliche Fachkompetenz verfügt, um diese entscheidende Aufgabe wahrzunehmen.
38
CEval (2023), Ziff. 3.1.
16 / 44
BBl 2023 2894
3.2
Die Evaluationen sind für die Steuerung nutzbar, die Empfehlungen sind jedoch zu abstrakt
Damit ein Evaluationsbericht leicht verständlich ist und von den Projektverantwortlichen tatsächlich zur Steuerung und Verbesserung der Wirksamkeit ihrer Interventionen genutzt wird, ist die Qualität der Zusammenfassung, der Einleitung, der Ausgangslage sowie der Schlussfolgerungen und Empfehlungen wichtig.
Abbildung 3 Qualität folgender Berichtsteile der externen Evaluationen: Zusammenfassung, Einleitung und Kontextanalyse, Schlussfolgerungen und Empfehlungen
Quelle: Daten gemäss Bericht CEval (2023), Aufbereitung durch die PVK.
Mehr als 75 Prozent der Zusammenfassungen der Evaluationsberichte sind zufriedenstellend oder sehr zufriedenstellend (vgl. Abb. 3). Diese eher positive Bewertung ist in erster Linie auf die gute Verständlichkeit der Zusammenfassungen zurückzuführen.
Sie sind eigenständig verständlich, ohne dass der gesamte Bericht gelesen werden muss. Die Zusammenfassungen stimmen ausserdem inhaltlich mit dem Rest des Berichts überein. Bei der AFM ist allerdings ein Drittel der Zusammenfassungen wenig zufriedenstellend oder überhaupt nicht zufriedenstellend, insbesondere weil diese nicht vollständig sind.
Einleitung und Kontextanalyse sind mehrheitlich wenig zufriedenstellend. Die Einleitungen erläutern den politischen Hintergrund der Intervention insgesamt zu wenig.
Die Analyse der Ausgangslage ist bei der AFM besonders lückenhaft, was insofern
17 / 44
BBl 2023 2894
ungünstig ist, als diese Einheit in sensiblen politischen Kontexten tätig ist, die ausführlicher beschrieben werden sollten.
Die Schlussfolgerungen und Empfehlungen schliesslich sind mehrheitlich zufriedenstellend oder sehr zufriedenstellend. Der Bezug der Schlussfolgerungen und Empfehlungen zu den Ergebnissen ist schlüssig dargelegt. Allerdings sind die Empfehlungen wie auch aus den von der PVK durchgeführten Interviews hervorging selten an spezifische Adressaten gerichtet, es findet keine Priorisierung statt und für die Umsetzung wird kein zeitlicher Rahmen angegeben. Dies ist bei allen drei Einheiten der Fall, wobei die Empfehlungen in den Berichten zuhanden des SECO besser sind. Letztere enthalten teilweise auch eine Zusammenfassung der Lehren aus der Evaluation, was für die Projektsteuerung nützlich ist (vgl. Ziff. 4.1).
Für die PVK ist es natürlich positiv zu werten, dass die Berichte insgesamt verständlich sind. Die Projektverantwortlichen müssen im Hinblick auf die Steuerung und die Verbesserung ihrer Interventionen rasch und einfach von den wichtigsten Lehren Kenntnis nehmen können. Es ist hingegen bedauerlich, dass die Empfehlungen nicht direkt nutzbar sind.
3.3
Die Evaluationen ermöglichen keine fundierte Rechenschaftslegung
Die Darstellung der Methodik und der Ergebnisse ist entscheidend für eine fundierte Rechenschaftslegung über die Wirksamkeit der Interventionen.
Abbildung 4 Qualität der Methodik- und Ergebnisdarstellung in den Berichten externer Evaluationen
Quelle: Daten gemäss Bericht CEval (2023), Aufbereitung durch die PVK.
18 / 44
BBl 2023 2894
Die Darstellung der Methodik wurde bei der Untersuchung der Evaluationsberichte am schlechtesten benotet (vgl. Abb. 4). Dieser Mangel wurde bei allen drei Einheiten gleichermassen festgestellt. Bei mindestens 75 Prozent der untersuchten Berichte war die Darstellung des Vorgehens, der Stichprobenziehung und der Datenanalyse wenig zufriedenstellend oder überhaupt nicht zufriedenstellend. Auch bei der Darstellung der Datenerhebung weisen die Berichte Schwächen auf, und auf die Grenzen der Evaluation wird ungenügend eingegangen. Die ausführliche Analyse der Vorgehensbeschreibung ergab zumindest einen positiven Aspekt: Die Informationen zu den Datenquellen sind detailliert, und bei der AFM wird die Qualität der Daten zum Teil zufriedenstellend erörtert.39 Die Berichte mit einer ungenügenden Beschreibung der Methodik weisen auch eine wenig zufriedenstellend Ergebnisdarstellung auf (vgl. Abb. 4).40 Bei der Analyse der Qualität der Ergebnisdarstellung wird auch berücksichtigt, ob den DACEvaluationskriterien Rechnung getragen wurde. Das Kriterium der Effektivität wurde in den Evaluationsberichten am besten erfüllt. Allerdings werden in der Effektivitätsanalyse die Kausalzusammenhänge nicht ausreichend dargestellt. Zudem werden der langfristige und umfassende Impakt sowie die Nachhaltigkeit der Projekte nicht berücksichtigt. Diese Dimensionen sind jedoch für eine zuverlässige Beurteilung der Wirksamkeit der Intervention notwendig (vgl. Ziff.2.2). Diese Unzulänglichkeit ist insbesondere auf die Tatsache zurückzuführen, dass die meisten externen Evaluationen im Verlauf des Projekts durchgeführt werden, noch bevor dieses seine gesamte Wirkung entfalten kann.41 Die Evaluatorinnen und Evaluatoren können zu diesem Zeitpunkt noch nicht beurteilen, wie wirksam die Intervention langfristig oder auch über allfällige direkt Begünstigte hinaus sein wird. Aus den Interviews der PVK geht hervor, dass sich die Mitarbeitenden der Evaluationseinheiten dieser Limitationen bewusst sind und dass sie vermehrt Evaluationen nach Projektabschluss durchführen möchten (Ex-post-Evaluationen). Im Übrigen wurde bereits in einer früheren Analyse ein Ausbau dieser Art von Evaluationen empfohlen.42 Die Meta-Evaluation ergab zudem, dass das Kriterium der Effizienz in den Ergebnissen ebenfalls unzureichend erörtert wird, während das Kriterium
der Relevanz angemessen dargestellt ist.
Die PVK bedauert schliesslich die geringe Qualität der Darstellung der Methodik. Sie ist der Meinung, dass dieser Teil der Evaluation eine Voraussetzung ist, um die Zuverlässigkeit der Ergebnisse beurteilen zu können. Es ist jedoch möglich, dass die Ausführungen zur. Methodik bewusst kurz gehalten sind, weil in den Prozessen und Richtlinien der drei evaluierten Einheiten vorgesehen ist, dass ein Bericht zum methodischen Vorgehen der Evaluation (Inception Report) im Vorfeld einer externen Evaluation erstellt werden kann. Diese Berichte waren nicht Gegenstand der vorliegenden Untersuchung. Aus den Interviews mit den Vertreterinnen und Vertretern der 39 40 41
42
CEval (2023), Ziff. 3.4.
CEval (2023), Ziff. 3.4.
Nur das SECO war in der Lage, der PVK diesbezüglich Zahlen zu liefern: Es wurden gleichviel Evaluationen im Verlauf des Projekts (Mid-term) wie bei Projektschluss (End of term) durchgeführt, nämlich je 47 %. Der Anteil der nach Abschluss des Projekts durchgeführten Evaluationen (Ex-post) beträgt 6 %. Dass der Impakt in den Evaluationen dieser Einheit so wenig berücksichtigt wird, ist auch darauf zurückzuführen, dass die Richtlinien des SECO dies bis 2020 nicht verlangten.
BSS (2020).
19 / 44
BBl 2023 2894
Verwaltung ging ausserdem hervor, dass die Methodenkapitel oft als sehr akademisch wahrgenommen werden und für die Steuerung der Interventionen keine direkte Nützlichkeit haben. Gerade deshalb ist es problematisch, dass in den Evaluationsergebnissen nicht systematisch eine Erörterung der DAC-Kriterien stattfindet und dass die Evaluationen laufende Interventionen betreffen, deren Wirksamkeit nicht schlüssig gemessen werden kann. Die PVK ist deshalb der Auffassung, dass die externen Evaluationen die Wirksamkeit der IZA zu wenig fundiert wiedergeben und somit zur Rechenschaftslegung kaum geeignet sind.
Kasten 1 Evaluation der Schweizer IZA im internationalen Vergleich Wie steht die unterschiedliche Qualität der Evaluationen der Schweizer IZA im internationalen Vergleich da? Eine kurze Analyse der Fachliteratur43 zur Qualität der Evaluationen in Deutschland, Österreich und Finnland zeigt, dass die Qualität der externen Evaluationen der Schweiz mit jener anderer Länder vergleichbar ist, ja sogar leicht darüber liegt. Dieses Ergebnis ist jedoch mit Vorsicht zu geniessen, weil in der konsultierten Literatur nicht genau dieselben Arten von Evaluationen oder Entwicklungsinterventionen verglichen werden.
3.4
Die Hilfsmittel für das Evaluationsmanagement und die Qualitätssicherung sind je nach Einheit unterschiedlich gut
Die Verwaltung führt die Evaluationen nicht selbst durch. Aus diesem Grund ist es wichtig, dass die Verwaltung über geeignete Hilfsmittel für das Management von Evaluationen und die Qualitätssicherung verfügt. Die im Folgenden beschriebenen Hilfsmittel gelten sowohl für die externen als auch für die unabhängigen Evaluationen.
In der DEZA stehen den Mitarbeitenden zahlreiche Dokumente für die Qualitätssicherung und das Management der einzelnen Evaluationsarten zur Verfügung. Sie sind klar und benutzerfreundlich. In Richtlinien werden beispielsweise die Schritte zur Umsetzung einer Evaluation ausführlich sowie ansprechend und verständlich beschrieben. Zudem bestehen konkrete Prozesse und eine angemessene Regelung der Zuständigkeiten.44 Dass Evaluationen einen klaren Bezug zu den Strategien und den 43
44
Siehe z. B. Väth, Susanne Johanna et al. (2022), Metaevaluation of MFA's project and programme evaluations in 20172020, im Auftrag des Aussenministeriums Finnlands; Silvestrini, Stefan et al. (2018), Metaevaluation of MFA's project and programme evaluations in 20152017, im Auftrag des Aussenministeriums Finnlands; Silvestrini, Stefan et al. (2019), Meta-Evaluation of ADA Project and Programme Evaluations, im Auftrag der Agentur der Österreichischen Entwicklungszusammenarbeit; Stockmann, Reinhard & Silvestrini, Stefan (2012), Synthese und Meta-Evaluierung, Berufliche Bildung, 2011, im Auftrag des deutschen Bundesministeriums für wirtschaftliche Zusammenarbeit und Entwicklung.
Zwei frühere Untersuchungen kamen zum selben Schluss: OECD (2019) und CEval (2022).
20 / 44
BBl 2023 2894
Zielen der IZA haben sollten, wird allerdings nur oberflächlich thematisiert. Auf der Grundlage ihrer Dokumentenanalyse und der Mitarbeiterbefragungen stellte die PVK ausserdem fest, dass in der DEZA besonders viele Hilfsmittel für die Durchführung von Evaluationen vorhanden sind: mindestens zwanzig Dokumente, in der Regel mit ausführlichen Konzepten, Anleitungen oder Beispielen (zum Vergleich: das SECO hat rund fünfzehn und die AFM rund zehn derartige Dokumente). Die hohe Anzahl und eine ungenügende Verbreitung mögen dazu beitragen, dass die Mitarbeitenden bestimmte Hilfsmittel nicht kennen, wie aus einer früheren Analyse hervorging.45 Laut dieser Analyse und einer weiteren Studie46 verfügen die Projektverantwortlichen nicht über das erforderliche Fachwissen, um die Qualität der von ihnen in Auftrag gegebenen externen Evaluationen sicherzustellen. Den Mitarbeitenden der Evaluationseinheiten hingegen wird die erforderliche Fachkompetenz attestiert und ihre Unterstützung der operativen Einheiten wird geschätzt. Weil die Evaluationseinheit die externen Evaluationen nicht direkt kontrolliert, gestaltet sich die Qualitätssicherung schwierig (vgl. z. B. die Qualität der Darstellung der Methodik und der Ergebnisse, Ziff. 3.3).
Abbildung 5 Titelseiten der wichtigsten Richtlinien der DEZA des SECO und der AFM zum Management von Evaluationen
Quelle: DEZA (2020), SECO (undatiert) und AFM (2019)
Die Dokumente des SECO zur Durchführung von Evaluationen und zur Qualitätssicherung sind klar und benutzerfreundlich und enthalten oft zahlreiche Illustrationen, unter anderem Vorlagen. Die Anzahl der verfügbaren Hilfsmittel ist angemessen. Die 45 46
CEval (2022).
CEval (2022) und Grasso (2020).
21 / 44
BBl 2023 2894
Prozesse sind präzise, ein besonderes Augenmerk gilt der Erstellung der Pflichtenhefte, was angesichts der Bedeutung dieses Schritts sinnvoll ist (vgl. Ziff. 3.1). Bereits in früheren Untersuchungen wurde die insgesamt gute Qualität hervorgehoben47. Wie bei der DEZA gehen aber auch die Hilfsmittel des SECO nur oberflächlich auf den Bezug der evaluierten Interventionen zu den Zielen der IZA ein. Aus den Interviews der PVK ging ausserdem hervor, dass die Projektverantwortlichen bei den Prozessen insofern Doppelspurigkeiten sehen, als am Ende einer Projektphase neben einer allfälligen Evaluation auch eine Berichterstattung zu erfolgen hat. Sie schätzen hingegen die Unterstützung durch die Evaluationseinheiten. Die Interviews haben gezeigt, dass die Projektverantwortlichen mit den Evaluationskonzepten vertraut sind und über eine gewisse Erfahrung verfügen, aber beim Management von Evaluationen an Grenzen stossen, weil es an den dafür notwendigen Ressourcen fehlt.
Die AFM verfügt über viel weniger Hilfsmittel als die anderen beiden Einheiten. Es gibt nur wenige Richtlinien und Prozesse, die spezifisch auf die Qualität der Evaluationen ausgerichtet sind, und sie sind auch nicht sehr detailliert. Die wichtigste Richtlinie zur Evaluation in der AFM zeigt die wesentlichen Phasen einer Evaluation auf und beschreibt detailliert den Inhalt von Pflichtenheften, insbesondere anhand von Vorlagen. Dies ist durchaus bemerkenswert, denn gute Pflichtenhefte wirken sich positiv auf die Qualität der Evaluationsberichte aus (vgl. Ziff. 3.1). Aus den in der AFM geführten Interviews ging hervor, dass es in der Praxis wesentliche Schritte der Qualitätssicherung gibt, obwohl diese in den Prozessdokumenten nur knapp beschrieben sind. Ausserdem gibt es in der AFM Dokumente, die expliziter als in den anderen Einheiten Bezug auf ihre Ziele und Strategien auf verschiedenen Ebenen nehmen.
Kasten 2 Besonderheiten der AFM Die AFM verfügt mit 2,3 Prozent des Rahmenkredits der IZA-Strategie 2021 202448 über sehr viel weniger Budget und somit personelle Ressourcen als die DEZA und das SECO (vgl. Ziff. 2.1). Die Mitarbeitenden der AFM, meist Diplomatinnen und Diplomaten, haben ausserdem nur wenig Erfahrung im Projektzyklusmanagement, zu dem auch die Evaluation gehört. Die Mitarbeitenden unterstehen, genauso wie ein Teil des
DEZA-Personals, der Versetzungspflicht und bleiben selten länger als vier Jahre in der AFM, jene mit einem befristeten Vertrag sogar noch weniger lang. Diese begrenzte Verweildauer und die geringe Grösse der Einheit führen dazu, dass die Projektverantwortlichen nicht oft Evaluationen managen, weshalb sie kaum spezifisches Fachwissen in diesem Bereich aufbauen können.
Da die AFM nicht sehr gross ist, ist ein häufiger Austausch zwischen der verantwortlichen Person der Evaluationseinheit und den Projektverantwortlichen möglich. Letztere sagten in den Interviews, dass sie diesen Austausch und die lockeren Prozesse schätzen. Sie sind der Meinung, dass eine zu strikte Vereinheitlichung nicht sinnvoll 47 48
OECD (2019a).
IZA-Strategie 20212024 (BBl 2020 2597).
22 / 44
BBl 2023 2894
wäre, weil ihre Projekte stets einzigartig sind. Die PVK kommt zum Schluss, dass die beschränkte Begleitung der Evaluationen bei der AFM allenfalls auf diese Besonderheiten zurückzuführen ist. Dennoch ist sie der Auffassung, dass die Hilfsmittel und insbesondere die Prozesse angesichts der fragwürdigen Qualität der externen Evaluationen der AFM (vgl. Ziff. 3.2 und 3.3) unzureichend sind.
4
Nutzung der Evaluationen für Steuerung und Rechenschaftslegung
Dieses Kapitel befasst sich mit der Frage, inwiefern Evaluationen im Hinblick auf die Steuerung und die Rechenschaftslegung gegenüber dem Parlament und der Öffentlichkeit ihren Zweck erfüllen. Die PVK stützt sich bei ihrer Analyse in erster Linie auf die geführten Interviews und auf frühere Studien. Sie untersuchte insbesondere die Nutzung der Ergebnisse und Empfehlungen auf der Ebene des evaluierten Projekts (Projektsteuerung) sowie auf den strategischen Ebenen (strategische Steuerung), die Ausrichtung der Evaluationen auf die Ziele der IZA sowie die Aussagekraft der veröffentlichen Erfolgsquoten (vgl. Anhang 2).
Zusammenfassung: Die PVK ist der Ansicht, dass die Nutzung von Evaluationen für die Steuerung und die Rechenschaftslegung insgesamt teilweise zufriedenstellend ist.
Die unterschiedliche Nutzung von externen und unabhängigen Evaluationen für die Steuerung ist insgesamt angemessen (Ziff. 4.1 und 4.2). Die Nutzung von Evaluationen zur Rechenschaftslegung gegenüber dem Parlament und der Öffentlichkeit ist nicht angemessen. Die Evaluationen werden nur ungenügend zur Messung der Zielerreichung genutzt (Ziff. 4.3) und die veröffentlichten Erfolgsquoten sind nicht aussagekräftig (Ziff. 4.4).
4.1
Externe Evaluationen werden vor allem für die Steuerung der evaluierten Projekte genutzt
Aus den von der PVK durchgeführten Interviews und anderen Berichten49 geht hervor, dass externe Evaluationen fast ausschliesslich für die Steuerung auf der Ebene der evaluierten Projekte eingesetzt werden. Sie werden nicht für Entscheidungen auf strategischer Ebene herangezogen. In der Regel werden Evaluationen vor dem Beginn einer neuen Projektphase in Auftrag gegeben. Die Projektverantwortlichen gaben an, dass ihnen externe Evaluationen selten neue Informationen liefern, sie aber dennoch sehr nützlich sind, um die von ihnen betreuten Projekte anzupassen.
Im SECO und in der DEZA werden die Lehren aus externen Evaluationen manchmal über das evaluierte Projekt hinaus genutzt, z. B. für die Steuerung von Projekten auf regionaler Ebene oder bei der Anwendung besonders erfolgreicher Interventionen auf andere Kontexte. Zu diesem Zweck werden thematische Workshops oder Netzwerke für die operativen Mitarbeitenden organisiert, wobei ein solcher Austausch nicht systematisch stattfindet. Die zweijährlichen Performance-Berichte des SECO enthalten 49
CEval (2022).
23 / 44
BBl 2023 2894
dagegen eine vertiefte Analyse der aus Evaluationen gezogenen Lehren (vgl.
Ziff. 4.3). Zu erwähnen sind auch einige Rechenschaftsberichte, in denen Ergebnisse zusammengefasst oder evaluierte Projekte als Vorbild genannt werden, wobei bei der DEZA eine systematische Analyse der Lehren aus den Evaluationen fehlt. In der AFM fliessen die Lehren kaum in andere Projekte ein. Die Kontexte, in denen die AFM ihre Interventionen durchführt, sind derart heterogen, dass die Lehren aus den Evaluationen nur selten von einer Region in eine andere übertragen werden können. So sind beispielsweise die Lehren aus Friedensverhandlungen in Lateinamerika nicht direkt auf Konflikte im Nahen Osten anwendbar.
Bei den Empfehlungen, die auf der Grundlage der externen Evaluationen formuliert wurden, stellte die PVK eine lückenhafte Nachverfolgung fest. In einem ersten Schritt sollte grundsätzlich eine Stellungnahme im Sinne einer Antwort der Verwaltung erarbeitet werden, in der festgehalten wird, welche Empfehlungen umgesetzt werden.
Ausserdem ist zu begründen, warum andere nicht oder nur teilweise umgesetzt werden (management response). Die Umsetzung der Empfehlungen wird üblicherweise im Rahmen einer Nachkontrolle überprüft. Bei den externen Evaluationen handhaben die operativen Einheiten das gesamte Verfahren unterschiedlich. Stellungnahmen werden nicht systematisch verfasst und die Umsetzung der Empfehlungen wird nicht systematisch nachkontrolliert.50 Die PVK ist daher der Ansicht, dass die Nutzung externer Evaluationen für die Steuerung auf Projektebene nur teilweise angemessen ist. Nur manchmal und nicht überall werden aus ihnen Lehren für andere Interventionen gezogen. Darüber hinaus sind die Empfehlungen in den externen Evaluationen lückenhaft. Die Verwaltung kann nicht einschätzen, inwiefern die Evaluationen konkrete Verbesserungen bei den IZAProjekten ermöglichen.
4.2
Unabhängige Evaluationen sind für die strategische Steuerung angemessen
Gemäss den Interviewpartnerinnen und -partnern und den analysierten Dokumenten werden unabhängige Evaluationen für die Steuerung auf strategischer Ebene genutzt, unabhängig davon, ob die Evaluationen institutionelle, regionale oder Querschnittsthemen betreffen. So diente beispielsweise eine Evaluation zur Struktur der DEZA als Grundlage für deren Reorganisation. Im SECO tragen Evaluationen zu Querschnittsthemen wie Klima oder Engagement mit dem Privatsektor zur strategischen Ausrichtung in diesen Bereichen bei. In der AFM ging die Entscheidung des Bundesrates, sich aus der Genfer Initiative51 zurückzuziehen, auf eine unabhängige Evaluation zurück. Die Führungsverantwortlichen der drei Einheiten sind der Ansicht, dass die Ergebnisse der unabhängigen Evaluationen zwar selten völlig neue Fakten liefern, ihr Mehrwert aber unbestreitbar ist. Der Beizug von externem Fachwissen dient zur Absicherung wichtiger strategischer Entscheidungen und stärkt das institutionelle Lernen. In der Regel sind es die Führungsverantwortlichen und die von den unabhängigen 50 51
Nur das SECO hat in einem Antragsformular für Projektkredite eine Rubrik «Lehren».
2003 in Genf unterzeichneter Friedensplan zum israelisch-palästinensischen Konflikt.
24 / 44
BBl 2023 2894
Evaluationen betroffenen Einheiten, die zu den Empfehlungen eine Stellungnahme verfassen. Danach nehmen die Evaluationseinheiten eine Nachkontrolle zur Umsetzung vor. Die PVK stellte fest, dass die DEZA, das SECO und die AFM dieses Verfahren im Gegensatz zu den externen Evaluationen rigoros und transparent durchführen. Einige sind jedoch der Ansicht, dass die Empfehlungen auch auf dieser Ebene oft zu abstrakt formuliert sind, z. B. in Bezug auf den vorgeschlagenen Zeitrahmen oder die betroffenen Akteure.
Die PVK kommt zum Schluss, dass die Nutzung unabhängiger Evaluationen zur strategischen Steuerung angemessen ist, insbesondere im Hinblick auf die Anpassung von Programmen und zur Ausgestaltung der IZA.
4.3
Die Evaluationen werden ungenügend genutzt, um die Zielerreichung zu messen
Evaluationen dienen nicht nur zur Steuerung, sondern auch zur Rechenschaftslegung und zur Erfüllung der Rechenschaftspflicht. Idealerweise helfen Evaluationen neben dem Monitoring und Controlling den Entscheidungsträgerinnen und Entscheidungsträgern bei der Beurteilung, ob die Ziele der IZA erreicht wurden.
Insgesamt und wie in Ziffer 3.4 erwähnt, schreiben die Instrumente des Evaluationsmanagements und der Qualitätssicherung nicht ausdrücklich vor, dass in den Evaluationsberichten auszuführen ist, inwiefern die Evaluationen zur Erreichung der IZA beitragen.
Die externen Evaluationen stellen nicht systematisch einen expliziten Bezug zu den Zielen der IZA-Strategie her52, die Analysen der PVK und das externe Gutachten53 haben jedoch gezeigt, dass sie manchmal auf ihre Verankerung in einer thematischen oder regionalen Strategie hinweisen (vgl. Ziff. 3.2). Auf Ersuchen der PVK übermittelten die analysierten Einheiten ausserdem Informationen, die es erlauben, die evaluierten Interventionen mit den Zielen der IZA (SECO und AFM) oder mit den Rahmenkrediten für die IZA (DEZA) zu verknüpfen, aber es fehlt ein direkter Bezug.
Die unabhängigen Evaluationen orientieren sich stärker an den Zielen der IZA. Im Gegensatz zu den externen Evaluationen, die den Fortschritt der IZA vor Ort messen, sind unabhängige Evaluationen auf strategische Fragestellungen ausgerichtet und enthalten somit mehr Daten zur Erreichung der Ziele der IZA. Unabhängige Evaluationen werden im Übrigen im Schlussbericht54 mehrheitlich zur Veranschaulichung der Wirksamkeit der IZA genutzt.
Für die Rechenschaftslegung gegenüber dem Parlament und der Öffentlichkeit müssen die Ergebnisse der Evaluationen zudem bekannt sein, das heisst, die Berichte müssen veröffentlicht werden. Obwohl alle drei Einheiten in ihren Richtlinien die Absicht äussern, die Evaluationen einem breiten Publikum zugänglich zu machen, veröffentlichen das SECO und die AFM in der Praxis lediglich ihre unabhängigen Evaluatio52 53 54
IZA-Strategie 20212024 (BBl 2020 2597).
CEval (2023), Ziff. 3.3.
Schlussbericht 2020.
25 / 44
BBl 2023 2894
nen, während externe Evaluationen nur auf Anfrage erhältlich sind. Die DEZA hingegen zeigt sich offener und veröffentlicht einen Grossteil ihrer Evaluationsberichte55.
Zusätzlich zum Schlussbericht zur IZA-Strategie veröffentlichen die DEZA und das SECO ihre eigenen Berichte, in denen die Lehren aus externen und unabhängigen Evaluationen verwertet werden, die DEZA56 z. B. als Videos, das SECO57 in Form von zweijährlichen Performance-Berichten. Diese zweijährlichen SECO-Berichte enthalten namentlich Statistiken über den Erfolg der Projekte oder ausführlich dokumentierte Betrachtungen zu deren Performance. Obwohl die Qualität der Berichte der DEZA und des SECO unumstritten ist, gehen diese nicht systematisch auf die Erreichung der Ziele der IZA ein. Die AFM ihrerseits setzt andere Instrumente zur Bewertung ihrer Fortschritte ein.58 Aber auch diese sind nicht direkt auf die Erreichung ihres Ziels für Frieden und Menschenrechte ausgerichtet.
Zusammenfassend lässt sich sagen, dass externe Evaluationen zu wenig explizit zur Erreichung der IZA-Ziele beitragen und dass die Evaluationsberichte zu eingeschränkt publiziert werden. Die Verwertung der Evaluationen im Schlussbericht59 zuhanden des Parlaments ist nicht zufriedenstellend, da die Wirksamkeit der IZA dort vor allem anhand von Beispielen bzw. Fallstudien aus unabhängigen Evaluationen ausgewiesen wird. Es fehlt eine systematische Bilanz zur Erreichung der Strategieziele.
4.4
Die veröffentlichen Erfolgsquoten der IZA-Interventionen sind nicht aussagekräftig
Die Wirksamkeit der IZA wird anhand von Kennzahlen wie den Erfolgsquoten ausgewiesen, die vollständig im Schlussbericht60 zur Umsetzung der Botschaft und teilweise in der IZA-Strategie, beide zuhanden des Parlaments, veröffentlicht werden.
Nur die DEZA und das SECO berechnen und veröffentlichen Erfolgsquoten. Die AFM berechnet keine, was angesichts der geringen Anzahl der von ihr durchgeführten Evaluationen gerechtfertigt erscheint. In diesem Abschnitt ist die AFM folglich nicht berücksichtigt.
55 56 57 58
59 60
Auf der Website der DEZA oder in ARAMIS, der Forschungsdatenbank der Bundesverwaltung.
DEZA: Wirkungsberichte nach Themen und Jahresberichte unter www.eda.admin.ch/deza > Wirkung > Berichte der DEZA.
SECO: Rechenschafts- und Wirksamkeitsberichte unter www.seco-cooperation.admin.ch > Dokumentation > Berichte > Rechenschafts- und Wirksamkeitsberichte.
Bei einem Benchmarking wird anhand einer Analyse der Ausgangslage der Mehrwert des Schweizer Engagements ermittelt. Bei einer Peer-Review werden die Projekte einer Region von AFM-Mitarbeitenden, die auf eine andere Region spezialisiert sind, begutachtet. Mit dem Tracking von Markern schliesslich wird der politische Einfluss des Schweizer Engagements eruiert, indem in Reden oder offiziellen Dokumenten Sprachmarker identifiziert werden, die vorgelagerten Äusserungen der AFM-Akteure gleichen.
Schlussbericht 2020.
Ebd.
26 / 44
BBl 2023 2894
Die Erfolgsquoten sollen die Performance der Kooperationsprojekte und -programme widerspiegeln.61 Im Schlussbericht62 finden sich eine gesamthaft berechnete Erfolgsquote sowie die Erfolgsquoten gemäss bestimmten DAC-Kriterien (Abbildung 6). Die Gesamterfolgsquote liegt sowohl bei der DEZA als auch beim SECO bei über 80 Prozent. Die Relevanz der Projekte wird am besten und die Dauerhaftigkeit (Nachhaltigkeit) am tiefsten bewertet. In der aktuellen Botschaft werden die Erfolgsquoten der beiden Einheiten mit jenen der vorherigen Botschaft verglichen. Die Berechnung basiert auf den externen Evaluationsberichten63. Die Erfolgsquoten lassen mehrere Probleme erkennen, die in den folgenden Absätzen beleuchtet werden.
Abbildung 6 Erfolgsquoten der DEZA und des SECO gemäss Schlussbericht zur Umsetzung der Botschaft 20172020
Quelle: Schlussbericht zur Umsetzung der Botschaft 20172020, Annex DEZA, S. 2 (links) bzw. Annex SECO, S. 3 (rechts).
Erstens: Die Erfolgsquoten werden auf der Grundlage der projektspezifischen, externen Evaluationen berechnet. Allerdings erfüllen die externen Evaluationen, wie bereits erwähnt, die Qualitätsanforderungen nur teilweise (siehe Kap. 3). Aus diesem Grund ist die Projektbewertung fragwürdig, da sie auf unzuverlässigen Informationen beruht, was insbesondere auf die mangelhafte Darstellung der Methodik und der Er61 62 63
Beiträge an multilaterale Partner, die an sich keine Projekte sind, werden in den Erfolgsquoten nicht abgebildet.
Ebd.
Berechnung der Erfolgsquote der DEZA: Auf der Grundlage der externen Evaluationsberichte vergibt ein DEZA-externes Büro eine Note für die DAC-Kriterien (Relevanz, Effektivität, Effizienz und Dauerhaftigkeit, auch Nachhaltigkeit genannt, der Intervention).
Die Gesamterfolgsquote entspricht dem Durchschnitt der Notenwerte. 92 externe Evaluationen (von insgesamt über 150) wurden zur Berechnung der Erfolgsquote herangezogen.
Berechnung der Erfolgsquote des SECO: Das Evaluationsteam benotet jedes Projektkriterium selbst. Das SECO validiert die Benotung auf der Grundlage der externen Evaluationen. Die Gesamterfolgsquote entspricht dem Anteil der Projekte, die eine zufriedenstellende bis sehr gute Bewertung haben. Das SECO verwendet zur Berechnung der Erfolgsquote alle seine externen Evaluationen.
27 / 44
BBl 2023 2894
gebnisse zurückzuführen ist (vgl. Ziff. 3.3). Darüber hinaus werden sehr viele externe Evaluationen im Verlauf des Projekts durchgeführt. Da Letzteres noch nicht abgeschlossen ist, kann die Evaluation folglich keine zuverlässige Aussage zum Erfolg des Projekts, insbesondere auf lange Sicht, und noch weniger zur Nachhaltigkeit machen.
In Ermangelung solcher Informationen ist es problematisch, den vermeintlichen Erfolg des Projekts quantifizieren zu wollen.
Zweitens: Die Berechnungsmethoden und die Repräsentativität der externen Evaluationen, die der Berechnung zugrunde liegen, wurden infrage gestellt. Aufgrund der Kritik wurde die Berechnung der Erfolgsquote der DEZA und des SECO vereinheitlicht. Dessen ungeachtet sind die unterschiedlichen Werte dieser beiden Einheiten laut einer früheren Studie64 statistisch irrelevant. Die DEZA und das SECO haben daher geplant, in den nächsten Versionen des Schlussberichts und der IZA-Strategie «gemeinsame Quoten» zu präsentieren.
Drittens: Auch die Repräsentativität der bei der Berechnung der Erfolgsquoten berücksichtigten Projekte ist fraglich. Gemäss den Analysen der PVK für den Zeitraum 20182020 macht der Anteil der evaluierten Projekte, die von der DEZA zur Berechnung ihrer Quoten berücksichtigt wurden, weniger als 5 Prozent aller Projekte aus.
Beim SECO liegt der Anteil bei 20 Prozent. In beiden Fällen ist die Auswahl der evaluierten Projekte somit nicht repräsentativ für die Gesamtheit der Interventionen dieser Einheiten, weshalb nicht gewährleistet ist, dass die Erfolge und insbesondere die Misserfolge der IZA durch diese Quoten getreu abgebildet werden. Projekte, die klar gescheitert sind, werden nämlich nicht immer extern evaluiert, weil man einerseits davon ausgeht, dass man aus ihnen wenig lernen kann, und weil man andererseits die Kosten vermeiden will.65 Die Erfolgsquoten fallen höher aus, wenn sie auf überwiegend positiven Evaluationen basieren. Die Auswahl der evaluierten Projekte mag also für die Nutzung der Evaluationen zur Steuerung der Projekte relevant sein, nicht aber für die Berechnung der Erfolgsquoten oder die Rechenschaftslegung.
Viertens: Die hohen Werte der Quoten geben auch bei den Interviewpartnerinnen und -partnern der PVK Anlass zu Skepsis. Die Gesamterfolgsquoten liegen über 80 Prozent, was darauf hindeutet, dass die Projekte
grossmehrheitlich erfolgreich sind. Die Mitarbeitenden der Verwaltung und die Fachleute sagen jedoch, dass es im Bereich der IZA normal ist, neue Interventionsformen auszuprobieren, und dass Projekte nicht selten erfolglos bleiben. Würden die Erfolgsquoten diesem Umstand tatsächlich Rechnung tragen, wären sie niedriger. Ausserdem wird von solchen Indikatoren in der Regel erwartet, dass sie sich im Laufe der Jahre verbessern. Ein positiver Trend gilt nämlich häufig als Zeichen der Verbesserungsfähigkeit. Angesichts der bereits hohen Werte stellt sich hingegen die Frage, ob eine weitere Steigerung überhaupt noch glaubwürdig wäre.
Abschliessend ist festzuhalten, dass die Mehrheit der Mitarbeitenden der Evaluationseinheiten und der Führungsverantwortlichen die veröffentlichten Erfolgsquoten kritisch beurteilt und die genannten Feststellungen teilt. Einige weisen jedoch darauf hin, dass es die Quoten trotz der Vorbehalte ermöglichen, eine Fülle an Informationen in wenigen, leicht verständlichen Zahlen zusammenzufassen. Die PVK ist der Ansicht, 64 65
BSS (2020), Ziff. 2.3.1.
BSS (2020), Ziff. 2.2.2.
28 / 44
BBl 2023 2894
dass die Erfolgsquoten zwar anschaulich sind, ihre Veröffentlichung jedoch unangebracht ist, da sie auf einer problematischen Grundlage beruhen und missverständlich interpretiert werden können.
5
Kosten der Evaluationen
Die PVK analysierte, ob die Kosten der Evaluationen, welche die drei Einheiten in Auftrag geben, angemessen sind. Die von den Einheiten zur Verfügung gestellten Zahlen wurden für einige Analysen66 auch an die externe Auftragnehmerin weitergeleitet. In diesem Kapitel werden die Kostentransparenz, das Verhältnis zwischen Kosten und Qualität der Evaluationen sowie zwischen den Kosten der Evaluationen und den Kosten der Interventionen untersucht (vgl. Anhang 2).
Zusammenfassung: Die PVK stellt fest, dass die Kosten transparent ausgewiesen werden (Ziff. 5.1), und dass sie im Verhältnis zum Gesamtbudget der Interventionen tief sind (Ziff. 5.2).
5.1
Die Kosten der in Auftrag gegebenen Evaluationen sind transparent
Die drei untersuchten Einheiten legten auf Ersuchen der PVK je eine Tabelle mit den Kosten ihrer Evaluationen vor Diese Tabellen enthalten die Kosten aller externen und unabhängigen Evaluationen, die von den drei Einheiten im Untersuchungszeitraum (20182020) durchgeführt wurden.67 Eine unabhängige Evaluation verursacht höhere Kosten: Die Kosten einer solchen Evaluation, die sich in der Regel mit einem strategischen Aspekt oder einem Querschnittsthema befasst, liegen zwischen 22 500 und 333 200 Franken (Durchschnitt = 138 000 Franken), während eine externe Evaluation, die sich auf ein bestimmtes Projekt oder Programm konzentriert, zwischen 4700 und 114 700 Franken (Durchschnitt = 34 000 Franken) kostet. Einige Projekte und Evaluationen werden von Partnern, die in denselben Bereichen tätig sind, mitfinanziert. Beispielsweise machte das SECO auch genaue Angaben über die Kosten der Evaluationen, die von anderen Organisationen übernommen wurden. In den Evaluationseinheiten war die Erstellung der Kostenübersicht teilweise mit hohem Arbeitsaufwand verbunden, die PVK ist jedoch der Ansicht, dass die Kostentransparenz angemessen ist.
Es muss betont werden, dass es sich bei diesen Kosten um die Ausgaben für externe Evaluationen handelt. Die verwaltungsinternen Kosten für die Erstellung des Pflichtenhefts, die Auswahl der Evaluatorinnen und Evaluatoren, die Stellungnahmen zu Empfehlungen oder die Nachkontrolle von deren Umsetzung sind in diesen Zahlen nicht berücksichtigt, weder bei den externen noch bei den unabhängigen Evaluationen. Ebenso wenig berücksichtigt sind die Vorteile, die durch die Nutzung der Evalu66 67
CEval (2023).
Der Unterschied zwischen externen und unabhängigen Evaluationen wird in Ziff. 2.2 erläutert.
29 / 44
BBl 2023 2894
ationen entstehen. So können Evaluationen die Effizienz der IZA steigern und erhebliche Einsparungen ermöglichen. Dieser Mehrwert ist nicht einberechnet.
5.2
Die Kosten der Evaluationen sind im Allgemeinen tief
Gemäss den zur Verfügung gestellten Zahlen liegen die Kosten für externe Evaluationen in den drei untersuchten Einheiten zwischen 0,8 und 2,5 Prozent der Kosten der evaluierten Interventionen (Tabelle 3).
Tabelle 3 Durchschnittliche Kosten der externen Evaluationen (effektiv und anteilsmässig) Verwaltungseinheit
Durchschnittliche Kosten einer externen Evaluation1
Durchschnittlicher Anteil der Kosten der externen Evaluation 1 an den Kosten der Intervention2
DEZA
39 751 Franken
1,2 %
SECO
28 082 Franken
0,8 %
AFM
23 361 Franken
2,5 %
1 2
Kosten des externen Evaluationsauftrags (von der jeweiligen Einheit finanzierter Anteil).
Kosten der Intervention gemäss bereitgestelltem Budget im Zeitraum 20182020.
Quelle: Eigene Berechnungen, basierend auf den Angaben der DEZA, des SECO und der AFM.
Es gibt keine strikten Regeln dafür, welcher Anteil des Budgets einer Intervention oder eines Projekts für die Evaluation aufzuwenden ist. Dies hängt von einer Vielzahl von Faktoren ab, z. B. von der Art (öffentlich oder privat) und dem Budget der betreffenden Organisation, der betroffenen Region oder der Art und dem Umfang der Evaluation. Während eine Faustregel besagt, dass 10 Prozent des Budgets einer Intervention für die Evaluation ausgegeben werden sollten68, geben andere Quellen Prozentsätze zwischen 0,5 und 20 Prozent an69. Die Werte für die DEZA, das SECO und die AFM liegen also am unteren Ende der Bandbreite. Ein Teil der befragten Personen ist der Meinung, dass die betreffenden Einheiten im Vergleich zu anderen Ländern eher wenig evaluieren, die Mehrheit ist sich jedoch einig, dass die derzeitigen Anteile angesichts des Kosten-Nutzen-Verhältnisses eher angemessen sind. Darüber hinaus 68 69
Lagarde, François / Kassirer, Jay & Lotenberg, Lynne (2012): Budgeting for Evaluation: Beyond the 10 % Rule of Thumb. Social Marketing Quarterly 18: 247251.
Twersky, Fay & Arbreton Amy (2014): Benchmarks for spending on evaluation.
The William and Flora Hewlett Foundation; Corporation for National and Community Service AmeriCorps (2014): Budgeting for Evaluation. State and National Symposium (PPT-Präsentation); Australian Social Value Bank: Evaluation What percentage of your budget should you spend?, 1.11.2018, https://asvb.com.au > About ASVB > What's new (Stand: 1.2.2023); BetterEvaluation.org: Identify what resources are available for the evaluation and what will be needed (pas de date), www.betterevaluation.org > Manager's guide to evaluation > Scope Evaluation (Stand: 1.2.2023); https://zewo.ch/de/ > Organisatorische Voraussetzungen > Budget (Stand: 20.3.2023).
30 / 44
BBl 2023 2894
besteht laut der Analyse der externen Auftragnehmerin kein statistischer Zusammenhang zwischen den Kosten einer externen Evaluation und den verschiedenen Qualitätsaspekten der Evaluation.70 Externe Evaluationen kosten im Vergleich zu unabhängigen Evaluationen (durchschnittlich 138 000 Franken, vgl. Ziff. 2.2) oder anderen Evaluationen der Bundesverwaltung relativ wenig (durchschnittlich zwischen 23 000 und 40 000 Franken). Sie müssen notwendigerweise mit beschränkten Ressourcen durchgeführt werden, und es ist daher eher verständlich, dass ihre methodische Qualität insgesamt unzureichend ist (vgl. Ziff. 3.3).
6
Schlussfolgerungen
Die PVK evaluierte, wie die Verwaltung die Wirksamkeit der IZA misst, aber nicht die Wirksamkeit der IZA an sich. Die PVK kommt insgesamt zum Schluss, dass die Wirksamkeitsmessung der IZA mittels Evaluationen teilweise zweckmässig ist. Bei der Qualität der externen Evaluationen wurden Stärken, aber auch Schwächen festgestellt (Ziff. 6.1). Die Hilfsmittel für das Evaluationsmanagement und die Qualitätssicherung sind mehrheitlich angemessen, jedoch unterschiedlich umfangreich (Ziff. 6.2). Die Nutzung der Evaluationen für die Steuerung auf verschiedenen Ebenen ist insgesamt angemessen. Die Nachfolgerung der Empfehlungen der externen Evaluationen ist jedoch lückenhaft (Ziff. 6.3). Die Nutzung der Evaluationen zur Rechenschaftslegung gegenüber dem Parlament und der Öffentlichkeit ist zudem insbesondere bezüglich der veröffentlichten Erfolgsquoten nicht angemessen (Ziff. 6.4). Die Kosten der Evaluationen schliesslich werden transparent ausgewiesen und sind eher niedrig (Ziff. 6.5).
6.1
Die externen Evaluationen weisen Stärken, aber auch Schwächen auf
Die Qualität der externen Evaluationen, d. h. die Evaluationen zu Projekten, die von den operativen Einheiten der DEZA, des SECO, und der AFM in Auftrag gegeben wurden, ist uneinheitlich: Bei der DEZA und beim SECO ist die Qualität vergleichbar, während die Evaluationen der AFM im Allgemeinen mehr Mängel aufweisen (Ziff. 3.1, 3.2 und 3.3), was namentlich auf die Besonderheiten dieser Verwaltungseinheit zurückzuführen ist (Ziff. 3.4).
Die Qualität der Pflichtenhefte, auf denen die externen Evaluationen beruhen, ist im Allgemeinen zufriedenstellend. Die externe Meta-Evaluation bestätigt, dass gute Pflichtenhefte von entscheidender Bedeutung sind, da sich diese auf die Qualität der Evaluationsberichte auswirken (Ziff. 3.1). Insgesamt betrachtet liegen die Stärken der Evaluationsberichte in der guten Verständlichkeit der Zusammenfassungen und der 70
CEval (2023), Ziff. 4.4 und Anhang, Ziff. 7.4.1. Die Berichte des SECO bilden eine Ausnahme: Hier führen die höheren Ausgaben zu einer besseren Qualität der Beschreibung der Methodik.
31 / 44
BBl 2023 2894
Transparenz der Datenquellen. Die meisten Evaluationen beschreiben ihren Untersuchungsgegenstand angemessen, die Zusammenfassungen sind von hoher Qualität und die Kohärenz zwischen den Ergebnissen und Schlussfolgerungen ist zufriedenstellend. Dies erleichtert das Verständnis der Evaluationen und erhöht ihre Nützlichkeit für die Projektsteuerung, auch wenn die Empfehlungen zu vage formuliert sind (Ziff. 3.2). Diesen Stärken stehen einige Schwächen gegenüber. Dazu gehört namentlich die nicht zufriedenstellende Darstellung der Methodik und der Ergebnisse. Diese Mängel machen deutlich, dass sich die Wirksamkeit von IZA-Projekten anhand der Berichte zu den externen Evaluationen nur beschränkt nachweisen lässt, was die Grenzen externer Evaluationen im Hinblick auf die Rechenschaftslegung gegenüber dem Parlament und der Öffentlichkeit unterstreicht (Ziff. 3.3).
Ein kurzer Vergleich mit anderen Ländern wie Deutschland, Österreich oder Finnland zeigt jedoch, dass die Evaluationen der Schweizer IZA eine vergleichbare Qualität aufweisen (Ziff. 3.3).
6.2
Die Hilfsmittel für das Evaluationsmanagement sind mehrheitlich angemessen, jedoch unterschiedlich umfangreich
Da die Verwaltung die Evaluationen nicht selbst durchführt, ist es wichtig, dass sie über geeignete Hilfsmittel für das Evaluationsmanagement und die Qualitätssicherung verfügt. Die DEZA und das SECO haben insgesamt klare Richtlinien, Prozesse und Verantwortlichkeiten für die Ausübung dieser Aufgaben. Bei der DEZA sind die Dokumente allerdings sehr zahlreich, was mit ein Grund dafür sein könnte, dass diese Hilfsmittel wenig genutzt werden. Die AFM hingegen verfügt über wenige und nicht besonders ausführliche Hilfsmittel (Ziff. 3.4). Dies ist zum Teil auf die geringe Grösse und die besonderen Aufgaben dieser Einheit zurückzuführen. Die wenigen bestehenden Prozesse erlauben jedoch keine ausreichende Qualitätssicherung bei den externen Evaluationen (Ziff. 3.2 und 3.3). Schliesslich ist zu betonen, dass die Projektverantwortlichen die Hilfe und das Know-how der Mitarbeitenden der Evaluationseinheiten der DEZA, des SECO und der AFM schätzen. Sie fühlen sich bei ihren Aufgaben im Rahmen des Evaluationsmanagements unterstützt (Ziff. 3.4).
6.3
Die Evaluationen werden für die Steuerung insgesamt angemessen genutzt
Die Verwaltung nutzt die beiden Arten von Evaluationen (externe und unabhängige) unterschiedlich.
Externe Evaluationen, die von den operativen Einheiten in Auftrag gegeben werden und sich auf Kooperationsprojekte beziehen, werden hauptsächlich zur Steuerung der evaluierten Projekte genutzt. In der DEZA und im SECO werden die aus den Evaluationen gewonnenen Lehren gelegentlich bei anderen Interventionen berücksichtigt, z. B. auf regionaler Ebene oder indem erfolgreiche Projekte auf andere Kontexte übertragen werden. Bei der AFM ist ein solcher Transfer der Lehren aufgrund der Beson32 / 44
BBl 2023 2894
derheit der Interventionen weniger üblich (Ziff. 4.1). Die PVK ist zudem der Ansicht, dass die Empfehlungen, die sich aus den Ergebnissen der externen Evaluationen ergeben, unzureichend nachverfolgt werden. Tatsächlich gibt es nicht systematisch eine Stellungnahme der Verwaltung oder eine Nachkontrolle zur Umsetzung der Empfehlungen. Folglich ist nicht bekannt, inwiefern die Evaluationen zu einer Verbesserung der IZA-Projekte beitragen (Ziff. 3.2 und 4.1).
Unabhängige Evaluationen, die von den Evaluationseinheiten in Auftrag gegeben werden und eher Querschnittsthemen betreffen, werden für die Steuerung der IZA auf verschiedenen strategischen Ebenen genutzt. Diese Evaluationen kommen selten zu völlig neuen Ergebnissen, dienen den Führungsverantwortlichen jedoch zur Absicherung strategischer Entscheidungen. Auf dieser Ebene findet eine strikte Nachverfolgung der Empfehlungen statt (Ziff. 4.2).
6.4
Die Nutzung von Evaluationen für die Rechenschaftslegung gegenüber Parlament und Öffentlichkeit ist nicht angemessen
Die politischen Entscheidungsträgerinnen und Entscheidungsträger müssen wissen, ob die Ziele, die in der von ihnen genehmigten IZA-Strategie71 festgelegt sind, erreicht wurden. Da die IZA ihre Aktivitäten im Ausland entfaltet, ist es auch von entscheidender Bedeutung, dass die Schweizer Steuerzahlenden über die Wirksamkeit der IZA informiert werden. Die Evaluation ist das einzige Instrument, das ausreichend in die Tiefe geht, um einen Zusammenhang zwischen einer Intervention und ihren Wirkungen herleiten zu können. Ausserdem werden Evaluationen im Bereich der IZA im Gegensatz zum Monitoring, das von der Verwaltung selbst durchgeführt wird, an externe Auftragnehmende vergeben, was sie unabhängiger macht. Die Evaluation erfüllt explizit den Zweck der Rechenschaftspflicht (Ziff. 2.2).
Externe Evaluationen, die bei Weitem den grössten Teil der durchgeführten Evaluationen ausmachen, weisen qualitative Schwächen auf (vgl. Ziff. 6.1) und nicht alle werden der Öffentlichkeit zugänglich gemacht, weshalb sie nur bedingt zur Erfüllung der Rechenschaftspflicht geeignet sind. Obwohl einige Evaluationen ihre Verankerung in einer thematischen oder regionalen Strategie erwähnen, beziehen sie sich nicht direkt auf die Erreichung der Ziele der IZA-Strategie. Unabhängige Evaluationen hingegen sind in der Regel stärker auf strategische Ziele ausgerichtet, und gewisse Lehren daraus fliessen in den Schlussbericht72 zuhanden des Parlaments und der Öffentlichkeit ein, was positiv zu bewerten ist. Der Schlussbericht enthält jedoch keine klare Bilanz zur Erreichung der Ziele der IZA-Strategie. Das EDA und das WBF verweisen auf Verbesserungen im Monitoring, es bleibt jedoch abzuwarten, inwiefern dieses Instrument fundierte und systematische Informationen über die Erreichung der Ziele der Strategie liefern wird (Ziff. 4.3).
71 72
IZA-Strategie 20212024 (BBl 2020 2597).
Schlussbericht 2020.
33 / 44
BBl 2023 2894
Im Schlussbericht73 werden Erfolgsquoten ausgewiesen, welche die Wirksamkeit der IZA-Projekte wiedergeben sollen. Zwar haben diese Zahlen den Vorteil, dass sie stark zusammenfassen, doch sie sind nicht aussagekräftig. Sie beruhen auf unzureichend fundierten externen Evaluationen und widerspiegeln nicht die Gesamtheit der IZAProjekte, was zur Folge hat, dass die Werte sehr hoch ausfallen. Insgesamt ist die PVK der Ansicht, dass die Erfolgsquoten die Wirksamkeit der IZA nicht zuverlässig widerspiegeln und keinen Mehrwert bieten, der ihren vorrangigen Stellenwert in den Berichten an das Parlament und die Öffentlichkeit rechtfertigen würde (Ziff. 4.4).
6.5
Die Kosten der Evaluationen sind transparent und insgesamt tief
Die Kosten der Evaluationen werden transparent ausgewiesen. Die drei evaluierten Einheiten konnten der PVK die Kosten für ihre externen und ihre unabhängigen Evaluationen klar angeben. Bei Projekten, die von anderen Partnern mitfinanziert wurden, wurde zum Teil sogar zwischen den von der betreffenden Einheit getragenen Kosten und den Gesamtkosten der Evaluation unterschieden (Ziff. 5.1).
Die externen Evaluationen der drei untersuchten Einheiten kosten im Durchschnitt zwischen 23 000 und 40 000 Franken, was zwischen 0,8 und 2,5 Prozent des Budgets der evaluierten Interventionen entspricht. Im internationalen Vergleich liegt dieser Prozentsatz eher am unteren Ende dessen, was in der IZA für Evaluationen ausgegeben wird (Ziff. 5.2). Angesichts der begrenzten Ressourcen, die für externe Evaluationen bereitgestellt werden, ist es verständlich, dass die Evaluationen methodologische Schwächen aufweisen (Ziff. 3.3), es gibt jedoch keinen statistischen Zusammenhang zwischen den Kosten und der Qualität dieser Evaluationen (Ziff. 5.2).
73
Ebd.
34 / 44
BBl 2023 2894
Abkürzungen Abb.
Abbildung
Abs.
Absatz
AFM
Abteilung Frieden und Menschenrechte
Art.
Artikel
BBl
Bundesblatt
Bst.
Buchstabe
BV
Bundesverfassung (SR 101)
DAC
Ausschuss für Entwicklungshilfe der Organisation für wirtschaftliche Zusammenarbeit und Entwicklung (OECD)
DEZA
Direktion für Entwicklung und Zusammenarbeit
EDA
Eidgenössisches Departement für auswärtige Angelegenheiten
EFK
Eidgenössische Finanzkontrolle
EZA-HH
Bundesgesetz vom 19.3.1976 über die internationale Entwicklungszusammenarbeit und humanitäre Hilfe (SR 974.0)
GmbH
Gesellschaft mit beschränkter Haftung
GPK
Geschäftsprüfungskommissionen der eidgenössischen Räte
GPK-N
Geschäftsprüfungskommission des Nationalrates
GPK-S
Geschäftsprüfungskommission des Ständerates
IZA
Internationale Zusammenarbeit
Kap.
Kapitel
OECD
Organisation für wirtschaftliche Zusammenarbeit und Entwicklung (Organisation for Economic Co-operation and Development)
PVK
Parlamentarische Verwaltungskontrolle
SECO
Staatssekretariat für Wirtschaft
SR
Systematische Sammlung des Bundesrechts
Vgl.
Vergleiche
VZÄ
Vollzeitäquivalente
WBF
Eidgenössisches Department für Wirtschaft, Bildung und Forschung
Ziff.
Ziffer
35 / 44
BBl 2023 2894
Literaturverzeichnis BSS Economic Consultants (2020): Assessing the performance of the Swiss international cooperation.
DAC (2011): Evaluating development cooperation: Summary of key norms and standards (2. Ausgabe).
DAC (2021): Better criteria for better evaluation: Revised evaluation criteria definitions and principles for use.
CEval (2022). Concept note: Meta-evaluation of 50 decentralized project evaluations of the DEZA. Nicht veröffentlicht.
CEval (2023). Wirksamkeitsmessung in der internationalen Zusammenarbeit: Metaevaluation DEZA/SECO/AFM. Im Auftrag der Schweizer Parlamentarischen Verwaltungskontrolle.
Bundesrat (2020): Botschaft vom 19.2.2020 zur Strategie der internationalen Zusammenarbeit 20212024 (IZA-Strategie 20212024, BBl 2020 2597).
Eidgenössische Finanzkontrolle (2017): Audit des critères pour la stratégie d'attribution par pays des projets d'aide bilatérale au développement Direction du développement et de la coopération.
Contrôle fédéral des finances (2019a): Audit de subvention dans le domaine de la promotion de la paix et de la politique de sécurité humaine Département fédéral des affaires étrangères.
Contrôle fédéral des finances (2019b): Programme global Eau et Programme global Changement climatique et Environnement Audits de projets au Sénégal, au Pérou, en Uruguay et en Suède.
Eidgenössische Finanzkontrolle (2020): Audit de la durabilité des projets de coopération bilatérale au développement Direction du développement et de la coopération.
Eidgenössische Finanzkontrolle (2022): Audit de subventions auprès des ONG suisses dans le domaine de l'aide humanitaire Direction du développement et de la coopération Croix-Rouge Suisse Caritas Suisse.
Contrôle fédéral des finances (publication prévue pour 2023b): COVID-19: Audit de subvention sur l'utilisation des moyens supplémentaires pour les pays en développement Direction du développement.
Corporation for National and Community Service AmeriCorps (2014): Budgeting for Evaluation. State and National Symposium (présentation PPT).
DDC, Evaluation and Corporate Controlling Section / Quality Assurance and Poverty Reduction Section (2020): How-to Note Evaluation, Swiss Agency for Development and Cooperation, A toolkit for programme and project evaluation.
DEZA, SECO, AMS (2018): Rapport intermédiaire sur la mise en oeuvre du message 20172020.
36 / 44
BBl 2023 2894
DEZA, SECO, AMS (2020): Die internationale Zusammenarbeit der Schweiz wirkt.
Schlussbericht zur Umsetzung der Botschaft 20172020 (Schlussbericht 2020).
DPDH (2019): Evaluation in der AFM, Anleitung.
Grasso, Patrick G. (2020): Peer review of four evaluation functions. November 2020.
Interdepartementale Kontaktgruppe «Wirkungsprüfungen» (IDEKOWI) (2004): Wirksamkeit von Bundesmassnahmen: Vorschläge zur Umsetzung von Artikel 170 der Bundesverfassung bei Bundesrat und Bundesverwaltung. Bericht an die Generalsekretärenkonferenz der Schweizerischen Eidgenossenschaft, Bern.
Lagarde, François / Kassirer, Jay & Lotenberg, Lynne (2012): Budgeting for Evaluation: Beyond the 10 % Rule of Thumb. Social Marketing Quarterly 18: 247251.
Massey, Oliver T. (2011): A proposed model for the analysis and interpretation of focus groups in evaluation research. Evaluation and Program Planning, 34(1), 2128.
OECD Reviews der OECD über die schweizerische Entwicklungshilfe: Suisse. Examens de l'OCDE sur la coopération pour le développement, Éditions OCDE, Paris.
SECO (ohne Datum): Evaluation Guidelines SECO/WE.
Silvestrini, Stefan / Väth, Susanne Johanna / Römling, Cornelia / Lieckefett, Michael / Mikkolainen, Petra (2018): Metaevaluation of MFA's project and programme evaluations in 20152017, sur mandat du Ministère des affaires étrangères de Finlande.
Helsinki: Ministry for Foreign Affairs of Finland, 2018/3.
Silvestrini, Stefan / Bäthge, Sandra (2019): Meta-Evaluation of ADA Project and Programme Evaluations, sur mandat de l'Agence autrichienne de développement. Vienne: Austrian Development Agency.
Stockmann, Reinhard & Silvestrini, Stefan (2012), Synthese und Meta-Evaluierung, Berufliche Bildung, 2011, im Auftrag des deutschen Bundesministeriums für wirtschaftliche Zusammenarbeit und Entwicklung. Bonn: Deutsche Gesellschaft für Internationale Zusammenarbeit (GIZ) GmbH.
Twersky, Fay & Arbreton Amy (2014): Benchmarks for spending on evaluation. The William and Flora Hewlett Foundation.
Väth, Susanne Johanna / Silvestrini, Stefan / Gaus, Hansjörg / Mikkolainen, Petra / Flaig, Maja / Wicke, Janis (2022): Metaevaluation of MFA's project and programme evaluations in 20172020, sur mandat du Ministère des affaires étrangères de Finlande. Helsinki: Ministry for Foreign Affairs of Finland, 2022/1.
Widmer, Thomas/De Rocchi, Thomas (2012): Evaluation: Grundlagen, Ansätze und Anwendungen. Zürich: Rüegger Verlag.
37 / 44
BBl 2023 2894
Verzeichnis der Interviewpartnerinnen und -partner Im nachstehenden Verzeichnis ist die Funktion der betreffenden Person zum Zeitpunkt, in dem sie von der PVK interviewt wurde, aufgeführt.
Bay-Scheidegger, Emilie Bernasconi, Jean-Luc Bieler, Peter Bloch, Massimo Brüschweiler, Sabine Büchel, Konstantin Conus, Vincent de Sá Kirchknopf, Liliana Demaurex, Grégoire Friedmann, Rémy Gass, Thomas Gehring, Rea Geissbühler, Simon Inglin, Andrea Krapp, Stefanie Leibundgut, Irène Locher, Martina Michaelowa, Katharina Nigg, Reto Orjales, Carlos Paravicini, Dominique
38 / 44
Programmbeauftragte, Sektion Frieden MENA, AFM Chef, Abteilung Grundlagen und Qualität, DEZA Chef, Sektion Ost- und südliches Afrika, DEZA Wiss. Mitarbeiter WEIF, Ressort Privatsektorförderung, SECO Spezialistin Finanzen/Administration, Fachstelle Evaluation und Controlling, DEZA Dr., Volkswirtschaftliches Institut, Universität Bern Diplomatische Mitarbeiter, Sektion Frieden, Sicherheit, AFM Ressortleiterin WEIF, Ressort Privatsektorförderung, SECO Prüfungsexperte, Finanzaufsichtsprüfungen, EFK Senior Advisor, Sektion Menschenrechtsdiplomatie, AFM Vizedirektor und Chef des Bereichs Südzusammenarbeit, DEZA Stv. Chefin Sektion Frieden und Menschenrechte Geografisch, AFM Chef, Sektion Frieden und Menschenrechte AFM, Botschafter, AFM Programmbeauftragte, Sektion Wirtschaft und Bildung, DEZA Dr., Leiterin Bereich Evaluation, Zentrum für universitäre Weiterbildung (ZUW), Universität Bern Leiterin, Stab AFM Wiss. Mitarbeiterin WEHU, Ressort Handelsförderung, SECO Prof. Dr., Institut für Politikwissenschaft, Universität Zürich Chef, Fachstelle Qualitätssicherung und interne Digitalisierung, DEZA Wiss. Mitarbeiter WEMU, Ressort Makroökonomische Unterstützung, SECO Leistungsbereichsleiter WE, Leistungsbereich Wirtschaftliche Zusammenarbeit und Entwicklung, SECO
BBl 2023 2894
Piaget, Jenny Ramming, Martina Saladin, Martin Schilling, Raphael Schneider, Johannes Schneller, Lukas Sguaitamati, Damiano Sturm, Valérie Swedor, Geneviève Tedeschi, Romana Terberger, Eva Thönen, Reto Vogel, Dagmar Widmer, Thomas Windisch, Roman
Chefin, Sektion Menschenrechtsdiplomatie, AFM Beraterin für Sektorpolitik, Sektion Wirtschaft und Bildung, CLP +Netzwerk QS, DEZA Leiter Operation WEOP / stv. LB-Leiter, Operationen Süd/Ost, SECO Präsident Evaluationskomitee SECO, Southpole Group Ressortleiter WEQA, Ressort Qualität und Ressourcen, SECO Ressortleiterin WEPO, Ressort Politik und Dienste, SECO Programmbeauftragter, Sektion Humanitäre Diplomatie, AFM Wiss. Mitarbeiter/in WEQA, Qualität und Ressourcen, SECO Programmbeauftragte, Sektion Frieden Afrika, AFM Chefin, Fachstelle Evaluation und Controlling, DEZA Prof. Dr., Mitglied Evaluationskomitee SECO, Universität Mannheim Programmbeauftragter, Fachstelle Evaluation und Controlling, DEZA Ressortleiterin WEIN, Ressort Infrastrukturfinanzierung, SECO Prof. Dr., Institut für Politikwissenschaft, Universität Zürich Programmverantwortlicher WEIN, Ressort Infrastrukturfinanzierung, SECO
39 / 44
BBl 2023 2894
Anhang 1
Herangehensweise der Evaluation
Ziele der Politik:
Mit der Wirksamkeitsmessung der IZA sollen deren Steuerung und weil die Interventionen im Ausland durchgeführt werden die Rechenschaftslegung gegenüber dem Parlament und der Öffentlichkeit verbessert werden.
Mittel, diese zu erreichen:
Die DEZA, das SECO und die AFM sind für die Umsetzung der IZA zuständig und messen die Wirksamkeit ihrer Interventionen anhand von drei Instrumenten: Evaluation, Monitoring und Controlling. Die Evaluation ist das Hauptinstrument der Wirksamkeitsmessung.
Gegenstand der Evaluation:
Fragestellung en der Evaluation:
Durchgeführte Analysen:
Diese Analyse untersucht, wie die Evaluationen zur Wirksamkeitsmessung der IZA von der Verwaltung, d. h. von der DEZA, dem SECO und der AFM, eingesetzt werden.
Stimmt die Qualität der Evaluationen in der IZA?
Werden die Evaluationen angemessen für die Steuerung der IZA und die Rechenschaftslegung gegenüber dem Parlament und der Öffentlichkeit genutzt?
Sind die Evaluationskosten angemessen?
Meta-Evaluation (externer Auftrag)
Dokumentenanalyse
Kostenanalyse
Interviews
Interviews
Dokumentenanalyse
Gruppengespräche
Gruppengespräche
Interviews
40 / 44
Meta-Evaluation (externer Auftrag)
BBl 2023 2894
Anhang 2
Bewertungskriterien Kriterium
Bewertungselemente
Qualität der externen Evaluationen (Kap. 3) Erfüllung der Qualitätskriterien
Die Qualitätskriterien müssen mehrheitlich als zufriedenstellend bewertet sein.
Qualität der Pflichtenhefte
Die von der Verwaltung erstellten Pflichtenhefte sind mehrheitlich zufriedenstellend.
Qualität der externen Evaluationsberichte
Um für die Steuerung nützlich zu sein, sind Zusammenfassung, Einleitung, Ausgangslage sowie Schlussfolgerungen und Empfehlungen zufriedenstellend. Um anhand fundierter Ergebnisse Rechenschaft ablegen zu können, ist die Darstellung der Methodik und der Ergebnisse zufriedenstellend.
Angemessenheit der Qualitätsunterschiede zwischen den Einheiten
Die Qualitätsunterschiede zwischen den drei Verwaltungseinheiten lassen sich aufgrund der Besonderheiten ihrer Aufgaben, ihrer Ressourcen und der Ausgangslage bei der Durchführung der Evaluationen rechtfertigen.
Angemessenheit der Hilfsmittel für das Evaluationsmanagement und die Qualitätssicherung
Die Richtlinien und weiteren Dokumente für das Management der verschiedenen Arten von Evaluationen sind klar, benutzerfreundlich und nicht redundant. Die Qualitätsanforderungen an die verschiedenen Evaluationsarten sind klar definiert. Die Arbeitsschritte und die Zuständigkeiten sind klar, nicht unnötig, nicht redundant und in einem Prozess beschrieben. Der Umfang der Hilfsmittel ist angemessen.
Zweckmässigkeit der Fachkompetenz im Bereich des Evaluationsmanagements
Die für die Qualitätssicherung verantwortlichen Mitarbeitenden verfügen über die geeignete Fachkompetenz im Bereich des Evaluationsmanagements. Sie tragen zum Evaluationsmanagement bei.
Angemessenheit der Nutzung der Evaluationen (Kap. 4) Nützlichkeit der Evaluationsergebnisse und der Empfehlungen
Die Evaluationsergebnisse und Empfehlungen sind fundiert, verständlich und nützlich. Sie liefern neue Erkenntnisse und fliessen sowohl auf der Ebene der evaluierten Interventionen als auch auf strategischer Ebene in die Entscheidungsfindung ein. Die Empfehlungen richten sich an einen klar definierten Empfängerkreis, sind priorisiert und terminiert. Die Evaluationsberichte werden publiziert.
41 / 44
BBl 2023 2894
Kriterium
Bewertungselemente
Einfluss der Evaluationen auf die Steuerung auf verschiedenen Ebenen
Die Evaluationsergebnisse werden für die Steuerung auf verschiedenen Ebenen genutzt: Anpassung oder Verbesserung der evaluierten Interventionen; Anpassung anderer Interventionen; Anpassung thematischer oder regionaler Strategien; organisatorische Anpassung der Verwaltungseinheiten; Anpassung der IZA-Strategie.
Angemessenheit der Nachfolgerung der Empfehlungen
Die Empfehlungen der Evaluationen sind Gegenstand einer Stellungnahme, in der ausgeführt wird, welche Empfehlungen wie umgesetzt werden sollen (management response).
Die Umsetzung der Massnahmen wird regelmässig kontrolliert.
Ausrichtung der Evaluationen auf die Ziele der IZA
Die Evaluationen oder zumindest die evaluierten Interventionen beziehen sich explizit auf die Ziele der IZABotschaft und beurteilen den Beitrag der Interventionen zur Erreichung dieser Ziele. Der Grad der Zielerfüllung ist somit bestimmbar.
Summative Ausrichtung der Evaluationen
Die externen Evaluationen sind im Wesentlichen summativ: Sie beurteilen die Zielerreichung der Interventionen und dienen der Rechenschaftslegung. Die meisten Evaluationen sind Schluss- und Ex-post-Evaluationen, die wenigsten sind Zwischenevaluationen. Bei Letzteren kann die Zielerreichung nur teilweise gemessen werden.
Aussagekraft der ver- Eine in Bezug auf Anzahl, Kosten und/oder Erfolg repräsenöffentlichten Erfolgs- tative Stichprobe an Interventionen wurde evaluiert. Die zur quoten Berechnung der Erfolgsquote verwendeten Evaluationen sind repräsentativ, vergleichbar und von guter Qualität.
Die Berechnungsmethoden sind einheitlich und transparent.
Die Quoten sind unmissverständlich nachvollziehbar.
Angemessenheit der Evaluationskosten (Kap. 5) Kostentransparenz
Die Verwaltung kann die externen Kosten sowie die Gesamtkosten jeder einzelnen Evaluation angeben. Mängel können erklärt werden. Die Kosten gemeinsam finanzierter Evaluationen werden detailliert ausgewiesen.
Angemessenheit des Verhältnisses zwischen Kosten und Qualität der Evaluationen
Aufwändigere externe Evaluationen führen zu qualitativ besseren Evaluationen, was höhere Kosten rechtfertigt.
42 / 44
BBl 2023 2894
Kriterium
Bewertungselemente
Angemessenheit des Verhältnisses zwischen den Kosten der Evaluationen und den Kosten der Interventionen
Die Kosten der externen Evaluationen entsprechen rund 10 Prozent der Kosten der Intervention. Höhere oder tiefere Kosten sind insbesondere durch die Qualität der Evaluationen oder den Einfluss der Evaluationen auf die Steuerung begründet.
43 / 44
BBl 2023 2894
Impressum Durchführung der Evaluation Dr. Raoul Kaenzig, PVK (Projektleitung) Dr. Simone Ledermann, PVK (Projektleitung ad interim) Marion Baud-Lavigne, PVK (wissenschaftliche Mitarbeit) Andreas Tobler, PVK (wissenschaftliche Mitarbeit)
Externer Expertenbericht: Meta-Evaluation Dr. Stefan Silvestrini, CEval GmbH (Projektleitung) Julie Ngo, CEval GmbH (wissenschaftliche Mitarbeit)
Dank Die PVK dankt der Bundesverwaltung und insbesondere den Evaluationseinheiten der DEZA, des SECO und der AFM für die Zurverfügungstellung der Daten, die Erläuterungen und die Koordination der Interviews. Ausserdem dankt sie den oben genannten Auftragnehmenden für die Durchführung der Meta-Evaluation. Ein aufrichtiger Dank gilt zudem allen befragten Personen für ihre bereitwillige Teilnahme an den Interviews und die erteilten Auskünfte.
Kontakt Parlamentarische Verwaltungskontrolle Parlamentsdienste CH-3003 Bern Tel. +41 58 322 97 99 E-Mail: pvk.cpa@parl.admin.ch www.parl.ch > Organe > Kommissionen > PVK
Originalsprache des Berichts: Französisch
44 / 44