Von Frank Bliss
Die Anforderungen an die Wirkungskontrolle von Entwicklungsprogrammen – staatlichen wie nichtstaatlichen – wachsen. Doch trotz ausgefeilter Methoden ist in vielen Fällen schwierig zu erfassen, welche entwicklungspolitischen Effekte ein Vorhaben gehabt hat. Offen ist auch, inwieweit die Zielgruppe tatsächlich in die Wirkungsmessung einbezogen werden kann.
Evaluierung ist in der deutschen staatlichen Entwicklungszusammenarbeit (EZ) keine neue Erfindung. Schon seit mehr als 30 Jahren werden Planung, Verwirklichung und Wirkung von Hilfsprojekten überprüft. Zunächst stand der Inspektionsgedanke im Mittelpunkt, also die Kontrolle, ob das Geld ordnungsgemäß in einem Projekt ausgegeben wurde. Seit den 1980er Jahren ist mehr und mehr die Frage in den Vordergrund getreten, was die Ausgabe entwicklungspolitisch bewirkt hat. Dies gilt sowohl für die staatliche EZ als auch für die meisten nichtstaatlichen Organisationen wie die Deutsche Welthungerhilfe, das katholische Hilfswerk Misereor oder den Evangelischen Entwicklungsdienst und „Brot für die Welt“.
Evaluierungen sollen Aufschluss darüber geben, ob das Ziel einer Maßnahme erreicht wurde. Anhand der Darstellung der erzielten Wirkungen soll Rechenschaft über das aufgewendete Geld abgelegt werden. Zugleich ist die Evaluierung ein Steuerungsinstrument für die weitere Arbeit: Sie soll zeigen, ob die ausgewählten Ziele und die zu ihrer Erreichung unternommenen Schritte sinnvoll waren oder sind. Auf dieser Grundlage kann entschieden werden, ob man in der einmal eingeschlagenen Richtung weitermachen soll oder nicht. Das kann auch zu dem Ergebnis führen, dass ein EZ-Vorhaben sinnlos ist und besser eingestellt werden sollte. So hatte sich zum Beispiel bei einer Untersuchung herausgestellt, dass ein in Westafrika gebauter Schlachthof von den Viehzüchtern gar nicht beliefert wurde. Der weitere Ausbau wurde sofort gestoppt.
Evaluiert werden alle Bereiche der Zusammenarbeit. Bis vor wenigen Jahren war das das sogenannte „Projekt“, das in einem bestimmten Gebiet für eine bestimmte Zielgruppe verwirklicht wird. Es hat ein begrenztes Ziel, etwa den Brunnenbau in einem Bezirk des afrikanischen Tschad und damit die Bereitstellung von sauberem Trinkwasser zur Verbesserung der Gesundheit. Komplexer und schwieriger sind Evaluierungen von Programmen, die auf die Verbesserung der Lebensbedingungen von mehreren Millionen Menschen in einer gesamten Region abzielen, oder von ganzen Länderprogrammen. Darüber hinaus gibt es Querschnittsevaluationen, bei denen beispielsweise die deutschen Maßnahmen weltweit im Trinkwasserbereich analysiert werden oder auch Instrumente der EZ. Hier werden umfassende Fragen gestellt wie nach dem Nutzen der Entsendung von Entwicklungshelfern oder dem Beitrag von Länderkonzepten zum Erfolg von Projekten und Programmen.
Auch früher hatten Evaluierungen oft zum Ziel, „Wirkungen“ eines Projektes in Erfahrung zu bringen. Dabei wurde allerdings häufig übersehen, dass es erhebliche Unterschiede gibt zwischen einem guten Projektergebnis (output) und tatsächlichen Entwicklungswirkungen. Zum Beispiel untersuchte in Somalia eine internationale Organisation kleine städtische Wasserversorgungssysteme, bestehend aus einem Brunnen, einem Wasserturm und einigen öffentliche Zapfstellen. Die Gutachter fanden heraus, dass dieses System technisch hervorragend gebaut war, und lobten deshalb das Projekt. Kritiker waren weniger begeistert, denn man hatte wegen der hohen Preise kaum Menschen an den Zapfstellen angetroffen. Das Ziel, dass breite Kreise der Bevölkerung tatsächlich das saubere Wasser nutzen, war nicht erreicht worden, das Projekt mithin ein Fehlschlag.
Die Evaluation eines Handpumpenprojektes im Niger hingegen ergab, dass vor den Pumpen lange Schlangen von Menschen standen, um sich Wasser zu holen. Alle Haushalte im Dorf waren „Kunde“; entsprechend erhielt dieses Projekt von den Gutachtern die allerbesten Noten, denn die Nutzung der Pumpen (outcome) war unbestritten. Andere Gutachter stellten jedoch fest, dass die Menschen zwar das saubere Wasser der Pumpbrunnen nutzten, die hygienischen Verhältnisse beim Wassertransport und der Lagerung in den Gehöften jedoch katastrophal waren. Das Wasser befand sich in offenen, teilweise angebrochenen Tonkrügen, die im Hof standen, umgeben von Hühnern, Hunden und Schweinen. Getrunken wurde aus alten Plastikbechern, die nach der Benutzung irgendwo hingestellt wurden, oft einfach auf den Boden. Von entwicklungspolitischen Wirkungen (impact) konnte daher nicht die Rede sein, denn die Gesundheitsprobleme infolge von verschmutztem Wasser waren nahezu dieselben wie zuvor.
Moderne Evaluierungen sollten nicht die Ergebnisse, in geringem Umfang die Nutzung, aber ganz genau die Wirkungen eines Vorhabens bei den oder auf die Menschen messen. Wichtige Voraussetzung dafür ist die Kenntnis der lokalen Kultur, wie folgendes Beispiel aus Ghana zeigt, bei dem es um Auskünfte über die Wirkungen von Forstschutzmaßnahmen gehen sollte. Der Chef des Dorfes von der ethnischen Gruppe der Akan hatte sich bereit erklärt, ein breites Spektrum von Mitgliedern der Dorfgemeinschaft einzuladen, junge und alte Menschen, Handwerker, Bauern, Vertreter des Jagdbundes. Nach gut zwei Stunden, gegen Ende des Treffens, wurden die Pachtverhältnisse in der Landwirtschaft angesprochen. Pächter waren allerdings nicht anwesend. Auf Nachfrage stellte sich heraus, dass die rund 70 Prozent der Dorfbevölkerung stellenden Ewe nicht eingeladen waren, weil die Landeigentümer der Ansicht waren, die landlose Bevölkerung hätte bei einer wichtigen Diskussion über das Dorf nicht mitzureden. Die Kulturkenntnis externer Experten muss also gut sein, wenn sie bei ihren Befragungen nicht völlig daneben liegen wollen.
Der schwierigste Teil einer Evaluierung ist denn auch die Wirkungsmessung auf der Ebene der Zielgruppen beziehungsweise der Bevölkerung. Dabei geht es nicht allein darum, geplante und erwartete günstige Wirkungen zu erfassen, sondern auch unerwartete oder schädliche. Letztere können den Nutzen überlagern. So versetzten zum Beispiel europäische Beiträge zur Aufforstung den Wald in einem Teil des afrikanischen Staates Mali in einen deutlich besseren Zustand. Allerdings durften die Anwohner das Schutzgebiet nicht mehr betreten, um Holz zu sammeln oder zu jagen, und verloren damit ihre wichtigste Einnahmequelle. Sie waren also bei einem guten Projektergebnis am Ende ärmer als zuvor.
Weitere Schwierigkeiten treten auf, wenn ein Vorhaben von mehreren Gebern gemeinsam finanziert wird, weil man dann nicht nachweisen kann, dass eine Wirkung auf den eigenen Beitrag zurückzuführen ist. Auch einzelne Projekttypen sind schwieriger zu evaluieren als andere. So ist es sicher nicht einfach, die Wirkungen der Unterstützung beim Aufbau eines staatlichen Rechnungshofes auf die Armen zu bewerten. Ex-post Evaluationen bereiten ebenfalls häufig Probleme. Sind beispielsweise Einkommenssteigerungen von einem früheren EZ-Beitrag hervorgerufen oder sind sie das Ergebnis anderer Faktoren – wie Geldüberweisungen von Migranten, allgemeines Wirtschaftswachstum oder die Verbreiterung traditioneller Erwerbszweige?
Eine neuere Diskussion hat sich um die Frage entsponnen, inwieweit die Zielgruppen der EZ selbst an Evaluationen beteiligt werden können und sollen. Zum einen geht es darum, die Innenansicht, die sogenannte emische Perspektive auf Projektwirkungen einzubeziehen – das heißt die Bevölkerung oder ihre legitimen Vertreter selbst zu Wort kommen zu lassen. Die dafür benötigten Methoden sind allerdings aufwändig. Man braucht erhebliche Vorkenntnisse des sozio-kulturellen Umfeldes und der partizipativen Anwendung überwiegend qualitativer Methoden. Das dauert geraume Zeit und passt nur schlecht in das Schema üblicher Evaluationen mit maximal 20 Tagen Auslandsaufenthalt.
Zum anderen wird diskutiert, ob sich die Vertreter der Zielgruppen an der Evaluierung selbst beteiligen sollten – etwa mit Beiträgen, die in die Bewertung einfließen, und mit Empfehlungen. Diese Idee wird vom immer lauter werdenden Ruf nach Partizipation der Bevölkerung an Entscheidungen über Entwicklungsvorhaben gestützt. Eine solche Beteiligung darf sich nicht auf die Planung und Verwirklichung eines Vorhabens beschränken, sondern muss die Bewertung des Erfolges einschließen. Dagegen wird gehalten, dass eine Evaluierung unabhängig sein sollte. Die Einbeziehung der Bevölkerung in die Bewertung würde dieses Prinzip verletzen.
Man kann dazu geteilter Meinung sein. Sicher ist aber, dass eine möglichst partizipatives Vorgehen bei der Sammlung von Informationen für die meisten Evaluierungen von Vorteil ist. Das gilt vor allem für Untersuchungen von bevölkerungsnahen Projekten wie Kleinbewässerung, ländliche Elektrifizierung oder Brunnenbau. Aber auch Wirkungsuntersuchungen von Entwicklungsmaßnahmen, die sich auf einen ganzen Sektor beziehen oder im Bereich der Politikberatung angesiedelt sind, würden von einer „emischen“ Perspektive nur profitieren. „Was kommt bei Rechtsreformen bei den Bürgern an?“ oder „Hat die Unterstützung von Antikorruptionsmaßnahmen dazu geführt, dass nicht mehr jede Dienstleistung extra bezahlt werden muss?“ sind Schlüsselfragen, die die Gutachter der Bevölkerung eines Landes stellen sollten.
Schwierig ist allerdings die Entscheidung, wer sich als Vertreter der Zielgruppe beteiligen soll. Zivilgesellschaftliche Gruppen, die bisher „die“ Bevölkerung vertreten, sind oft vor allem nichtstaatliche Entwicklungsorganisationen, die kaum Legitimität besitzen. Auf Dorfebene sind die Vertreter die politischen Autoritäten, reiche Grundbesitzer, Mitglieder hoher Kasten oder andere einflussreiche Personen – selten aber junge Leute, Frauen und fast nie die Armen selbst.
Mit der Komplexität von EZ-Maßnahmen nehmen auch die Anforderungen an die Evaluierung zu. Wenn Geber gemeinsame Pakete über 100 Millionen Euro und mehr schnüren, die nicht mehr im Einzelprojekt, sondern landesweit umgesetzt werden, muss auch die Wirkungskontrolle methodisch angepasst werden.
Frank Bliss lehrt Ethnologie an der Universität Hamburg und ist Mitinhaber des entwicklungspolitischen Gutachterbüros Bliss & Gäsing.