Sorgfältig geprüft
Wie die GIZ ihre Arbeit evaluiert, was sie daraus lernt und warum kein Politikfeld in Deutschland besser durchleuchtet wird, erklärt Martha Gutierrez.
Die GIZ sieht sich häufig mit der Frage konfrontiert: Wirken eure Projekte überhaupt? Nützen sie jemandem? Darauf kann die Stabsstelle Evaluierung eine klare Antwort geben. Denn sie nimmt die Arbeit der GIZ permanent unter die Lupe.
Und zwar zu einem erheblichen Teil: Im Jahr beleuchten wir im Schnitt über 80 Projekte weltweit. Beispielsweise wird jeder dritte Euro, den die GIZ für das Bundesentwicklungsministerium (BMZ) umsetzt, unabhängig evaluiert. Hinzu kommen Spezialanalysen zu unternehmenspolitischen Themen und für andere Auftraggebende. Tatsächlich ist die Entwicklungszusammenarbeit das am besten evaluierte Politikfeld der Bundesregierung. Auch im internationalen Vergleich stehen wir als GIZ dabei an der Spitze: auf Platz zwei, nach Südkorea.
Das alles machen wir aus zwei Gründen: zum einen, um der Öffentlichkeit darzulegen, dass die GIZ mit Steuergeldern verantwortungsbewusst umgeht. Wir können zeigen, wo wir erfolgreich sind und wo nicht. Das sind wichtige Informationen für die Bundesregierung, für die Partner – und für die interessierte Öffentlichkeit. Aber es gibt noch eine zweite Funktion: Wir nutzen unsere eigenen Evaluierungen, aber auch externe Evidenz, um besser zu werden. So kann die GIZ aus Fehlern lernen und Ansätze weiterentwickeln.
Martha Gutierrez
Martha Gutierrez leitet die Stabsstelle Evaluierung der GIZ, die direkt dem Vorstand untersteht.
Dieser Aufgabe können wir auch deshalb so gut nachkommen, weil wir unabhängig handeln. Unsere Stabsstelle ist nicht in das operative Geschäft der GIZ eingebunden. Das schafft die nötige Distanz für konstruktive Kritik. Außerdem begutachten die Projekte nicht wir selbst, sondern unabhängige Evaluator*innen. Alle drei Jahre findet eine europaweite Ausschreibung statt, bei der wir am Ende einen Pool von etwa 100 Evaluator*innen bilden. Wichtig zu wissen ist, dass für Evaluierungen nicht Einzelpersonen, sondern immer Teams unterwegs sind: Sie setzen sich aus nationalen und internationalen Fachleuten zusammen, zu denen stets jemand aus dem Partnerland gehört. Diese Teams vergeben dann auch die Bewertungen.
Evaluierung nach OECD-Kriterien
Dabei folgen die Evaluierungen anerkannten Kriterien der Organisation für wirtschaftliche Zusammenarbeit und Entwicklung (OECD): Nachhaltigkeit, Relevanz, Kohärenz, Effektivität, Wirkung und Effizienz. Für die vom BMZ beauftragten Vorhaben haben wir noch ein entscheidendes Qualitätsmerkmal zusätzlich eingebaut: Wenn ein Projekt in einem der OECD-Kriterien Effektivität, übergeordnete entwicklungspolitische Wirkungen und Nachhaltigkeit mit 4, 5 oder 6 auf der mit Schulnoten vergleichbaren Sechser-Skala abschneidet, gilt es insgesamt als erfolglos. Wir nennen diese drei Kriterien deshalb „K.-o.-Kriterien“.
Die Evaluierungen finden in der Regel im letzten Jahr eines Projekts statt. Warum? Damit Veränderungen in die Planung der Folgephase einfließen oder für den Sektor genutzt werden können. Es geht also um weit mehr als Noten. Wir nennen diesen Dreiklang: Wirkungen erfassen, Wirkungen kommunizieren und aus Wirkungen lernen.
Obwohl sie nur einen Teil der Evaluierungsarbeit abbilden, stoßen die Bewertungen immer auf besonderes Interesse. Im Durchschnitt erzielten die Projekte, die die GIZ für das BMZ umsetzt, zwischen 2018 und Mitte 2022 eine Bewertung zwischen 2,2 und 2,3 auf der Schulnoten-Skala. Im Zeitraum von Mitte 2022 bis Mitte 2024 liegt die Bewertung zwischen 2,5 und 2,6. Das bedeutet, die große Mehrheit der Projekte schneidet gut ab. Warum? Häufig haben sie ein gutes System, den Weg zur Zielerreichung zu beobachten, und können bei Fehlentwicklungen rechtzeitig umsteuern. Die besten Werte gab es bei der Berufsbildung sowie bei Klima und Energie. Nur ein Bruchteil der Projekte wird als „nicht erfolgreich“ eingestuft.
Lernen aus Begutachtungen
Was Begutachtungen auslösen können, zeigen folgende Beispiele: In Vietnam hat die Befassung mit den Evaluierungsergebnissen dazu geführt, dass die Strategie des gesamten Sektors überarbeitet und eine grundlegende Umorientierung vorgenommen wurde. Die Förderung einzelner Berufsschulen soll künftig stärker in Kooperation mit der Privatwirtschaft erfolgen. Außerdem wird verstärkt die Regierung darin beraten, wie diese Einzelprojekte längerfristig abgesichert und in andere Landesteile übertragen werden können. So entsteht nachhaltige Wirkung.
Manchmal lernen auch Partnerorganisationen voneinander, wie in Kirgisistan. Bei einem Mutter-Kind-Projekt hatte sich das sogenannte patientenzentrierte Modell in der Evaluierung als besonders zielführend erwiesen. Von dieser Erkenntnis profitieren anschließend die Nachbarländer Tadschikistan und Usbekistan, die das Modell nun in einem gemeinsamen Regionalvorhaben anwenden wollen.
Gelernt haben wir überdies aus einer Querschnittsauswertung zur GIZ-Arbeit in fragilen Kontexten. Das ist deshalb besonders relevant, weil die Mehrzahl der Einsatzländer in diese Kategorie fällt. Dabei stellte sich unter anderem heraus, dass es gerade bei instabilen Verhältnissen wichtig ist, auch jenseits der Hauptstadt präsent zu sein. Oder: Eine unternehmensstrategische Evaluierung hatte vor einigen Jahren ergeben, dass das Sicherheits- und Risikomanagement-System der GIZ grundsätzlich gut aufgestellt ist, aber nicht flächendeckend mit einheitlichen Standards umgesetzt wird. Daraufhin wurde die Stabsstelle Unternehmenssicherheit gegründet, die das Thema übergreifend bearbeitet.
Kurz gesagt, mit den Evaluierungen, die jede und jeder im Internet unter www.giz.de/wissenwaswirkt nachlesen kann, hinterfragen wir uns permanent selbst. Damit lösen wir Denk- und Verbesserungsprozesse aus, die am Ende sicherstellen, dass die GIZ-Arbeit kein Selbstzweck ist, sondern tatsächlich wirkt!