Projektwirkungen auf der Spur

Wirkungsmessung ist ein Gebot der Stunde. Seit Zweifel am Nutzen der Entwicklungshilfe lauter werden, stehen auch nichtstaatliche Organisationen (NGOs) unter wachsendem Druck zu belegen, was ihre Projekte erreichen. Ein Instrument dazu namens NGO-IDEAs haben 14 deutsche Organisationen (darunter der Evangelische Entwicklungsdienst, „Brot für die Welt“ und Misereor) zusammen mit rund 30 Projektpartnern aus Asien und Afrika seit 2004 entwickelt und im November in Bonn auf einer Tagung vorgestellt.

NGO-IDEAs ist für basisnahe Projekte gedacht und soll deren Nutznießer – zum Beispiel Bauernvereinigungen oder Selbsthilfegruppen – sowie lokale nichtstaatliche Organisationen (NGOs) in die Lage versetzen, Wirkungen selbst zu beobachten. Dies hat laut den Trägern mehrere Vorteile gegenüber Evaluationen durch Fachleute von außen: Statt Projekte nur alle paar Jahre zu prüfen, werden die Wirkungen kontinuierlich beobachtet, so dass man Schwachpunkte finden und angehen kann. Wenn Betroffene selbst Wirkungen erheben, löse das Lernprozesse aus und stärke ihre Fähigkeiten und ihr Selbstbewusstsein (Empowerment). Das signalisiert schon der Name: „IDEAs“ steht für „Impact on Development, Empowerment and Actions“.

Vier Werkzeuge hat NGO-IDEAs entwickelt – zunächst zusammen mit Mikrokredit-Gruppen in Südindien, in der zweiten Phase von 2008 bis 2011 auch in anderen Regionen und Arbeitsfeldern. Mit dem ersten ordnen sich die Mitglieder einer Basisgruppe jeweils mehr oder weniger armen Gruppen zu. Mit dem zweiten Instrument setzen sie sich selbst realistische Ziele – zum Beispiel „Ich zahle meine Schulden an die Gruppe schnell zurück“. Mit dem dritten überlegen Gruppen regelmäßig, inwieweit sie ihre kollektiven Ziele erreichen. Das vierte Instrument bietet lokalen NGOs, die Basisgruppen unterstützen, einen Leitfaden, um die Wirkungen ihrer Projekte zusammenzufassen und zu bewerten.

Lokale Organisationen berichten von Erfolgen

Rund 860 Gruppen haben laut den Trägern mindestens eins der Instrumente inzwischen genutzt. Beteiligte berichten, dass die Anwendung der ersten drei die Projekte verbessert. „Sie zwingt die Mitglieder der Gruppen, ihre Erfolge ständig zu überprüfen“, erklärt etwa George Otieno Cottina, der regionale Koordinator von NGO-IDEAs in Ostafrika. Laut Mary Mate von der kenianischen Diözese Embu hat dort die Einführung dieser Verfahren in Bauerngruppen den Anteil derjenigen, die empfohlene landwirtschaftliche Methoden nutzen, in gut einem Jahr deutlich gesteigert. In 15 Selbsthilfegruppen sei die Zahl der Menschen, die sich als sehr arm einstuften, stark gesunken.

Autor

Bernd Ludermann

ist Chefredakteur von "welt-sichten".

Solche Veränderungen werden mit NGO-IDEAs zugleich dokumentiert. Inwieweit das aber die Wirkung der Projekte misst und beweist, ist umstritten. Acht Experten vom Centrum für Evaluation (CEval) der Universität des Saarlandes haben Anfang 2011 in der Zeitschrift für Evaluation betont, dass Wirkungsnachweise für NGO-Projekte denselben wissenschaftlichen Standards unterliegen müssten wie anderswo auch. Besondere Evaluierungsmethoden für NGOs hätten keine Grundlage, mit NGO-IDEAs sei keine vollständige Wirkungsmessung möglich. Michaela Zintl, die Leiterin der Evaluierungsabteilung im Entwicklungsministerium (BMZ), das NGO-IDEAs mitfinanziert hat, teilt ein zentrales Argument der Wissenschaftler: „Stimmen der Betroffenen können nicht die einzige Methode der Wirkungsmessung sein“, erklärte sie auf der Tagung in Bonn.

Doch das ist gar nicht beabsichtigt, erwidern die Träger von NGO-IDEAs. „Die Methode ist ein Instrument unter anderen, Wirkungen darzustellen“, sagt Rolf Tepel von der Karl-Kübel-Stiftung. Sie soll nicht Evaluationen ersetzen. Ist der Streit demnach gegenstandslos? Nicht ganz: Für Bernward Causemann, der als Berater an NGO-IDEAs beteiligt war, liefern partizipative Methoden verlässlichere Daten als Erhebungen, mit denen neutrale Wissenschaftler Informationen aus Dörfern herausziehen, ohne dass die Betroffenen Einfluss darauf oder Nutzen davon haben.

Fördern mehrere NGOs ein Projekt, wird es kompliziert

Die Evaluations-Expertin Susanne Neubert gibt ihm teilweise Recht: Weil unter NGO-IDEAs alle Begünstigten eines Projekts erfasst werden, entfallen methodische Probleme mit Stichproben und Vergleichsgruppen. In Basisprojekten, wo Ursache und Wirkung nahe beieinander liegen, könne man Wirkungen so gut erfassen – allerdings nur da. Und auch das werde komplizierter, wo mehrere Geber-NGOs ein und dieselbe Gruppe unterstützen: Auf welches Projekt ist dann welcher Erfolg zurückzuführen? Es müsse mit NGO-IDEAs besser herausgearbeitet werden, warum und wie Ergebnisse zustande kommen. Dass dies eine Schwachstelle der Wirkungserfassung ist, bestätigt Cottina: Die Gruppen dokumentierten zwar Fortschritte und diskutierten über deren Ursachen und Hindernisse, hielten dies aber nicht fest.

Darüber hinaus müssen, wenn Erfolge nicht nur einzelner Basisgruppen, sondern eines ganzen Projekts oder einer NGO beurteilt werden sollen, die Ergebnisse beteiligter Gruppen zusammengeführt, bewertet und interpretiert werden. Das vierte Instrument von NGO-IDEAs soll das leisten. Doch Erfahrungen damit vermisst Michaela Zintl vom BMZ bisher. Der Wert von NGO-IDEAs als Mittel der Wirkungsmessung ist für sie deshalb nicht klar.

Einigkeit besteht darüber, dass NGO-IDEAs Evaluierungen nicht ersetzt. Aber, so betont Neubert, die Methode erbringe Daten und Einsichten, die herkömmliche Evaluierungen erleichtert und sie besser macht. Sie sollte deshalb auch dort eingesetzt werden. Zudem zeigt der Disput: Geber, Nord-NGOs und ihre Süd-Partner teilen das Interesse, Armutsbekämpfung wirksamer zu machen. Zwischen diesem Ziel und dem Interesse der Geber an Kontrolle über die Verwendung des Geldes besteht jedoch ein Spannungsverhältnis, das kein Prüfinstrument auflösen kann.

erschienen in Ausgabe 12 / 2011: Bodenschätze: Reiche Minen, arme Länder

Neuen Kommentar schreiben