Die Wirkungsbeobachtung in der Entwicklungspolitik ist besser als früher, hat aber immer noch große Defizite

Gespräch mit Reinhard Stockmann

Viele deutsche Entwicklungsorganisationen räumen der Evaluation ihrer Arbeit einen eher geringen Stellenwert ein. Sie kümmern sich nicht um angemessene Untersuchungsmethoden, heuern zu selten unabhängige Gutachter an und stellen zu wenig Geld für Evaluationen bereit. Zu diesen Ergebnissen kommt eine Studie, die das Hamburgische Weltwirtschaftsinstitut (HWWI) und das Centrum für Evaluation (CEVAL) in Saarbrücken für das Bundesentwicklungsministerium (BMZ) erstellt und im Mai vorgelegt haben. Reinhard Stockmann, der Leiter des CEVAL, erläutert, was für eine glaubwürdige Wirkungsbeobachtung nötig ist und welche Unterschiede zwischen staatlichen und nichtstaatlichen Organisationen bestehen.

Interessieren sich die deutschen entwicklungspolitischen Organisationen ausreichend für die Wirkung ihrer Arbeit?

Ja, aber sie untersuchen sie häufig mit untauglichen Mitteln. Nur wenige Organisationen gehen diese anspruchsvolle Aufgabe mit einer entsprechend anspruchsvollen Methodik an. Es gibt kein ausreichendes Bewusstsein dafür, dass aufwändige und manchmal eben auch etwas kostspielige Untersuchungsmethoden notwendig sind.

Sie haben zuletzt vor zehn Jahren die Evaluationssysteme deutscher Organisationen untersucht. Was hat sich seitdem verändert?

Viele Organisationen haben erkannt, dass Evaluation ein wichtiges Instrument zur Steuerung von Entwicklungszusammenarbeit ist. Es fehlt aber noch an der Bereitschaft, dafür ausreichend Geld und Personal bereitzustellen. Mir scheint, dass die staatlichen Organisationen Evaluationen insgesamt wichtiger nehmen als die meisten nichtstaatlichen Organisationen. Es gibt aber einige NGOs, die positiv herausragen, beispielsweise Misereor oder die Deutsche Welthungerhilfe.

Wie erklären Sie diesen Unterschied zwischen staatlichen und nichtstaatlichen Organisationen?

Bei den NGOs ist das Bedürfnis sehr stark ausgeprägt, dass möglichst alle Mittel - und vor allem Spenden - zu den Bedürftigen vor Ort fließen. Manche NGO-Verantwortlichen glauben immer noch, Evaluationen seien Geldverschwendung und kämen den Bedürftigen nicht zugute. Aber das ist so, als verzichtete ein Unternehmer auf Qualitätsmanagement, weil es etwas kostet.

Manche NGOs haben aber auch inhaltliche Einwände gegen zu viel Wirkungsbeobachtung - etwa dass sich bestimmte Projektziele wie die Stärkung der Rolle von Frauen gar nicht präzise messen lassen.

Auch diese Einstellung beruht auf mangelnder sozialwissenschaftlicher Kenntnis. Natürlich kann man die Wirkung von Projekten in Bereichen wie Beratung oder Empowerment messen. Man muss nur kreativ sein: Die traditionellen Ansätze, dass ein Gutachter für ein paar Tage irgendwo hinfährt, sich das Projekt ansieht, mit den Beteiligten redet und zuhause einen Bericht schreibt, reichen natürlich nicht. Da kommen nur Spekulationen heraus, die in der Tat niemandem nutzen.

Es gibt Beispiele dafür, dass infolge des Evaluationsdrucks Organisationen von bestimmten Projekten die Finger lassen, weil sich die Wirkung nur schwer messen lässt.

Das mag sein, aber das wäre eine absolute Kurzschlussreaktion. Es wäre besser, wenn sich die Organisationen mit der methodischen Frage beschäftigten, wie mit einer Kombination qualitativer und quantitativer Verfahren die Wirkung auch solcher Projekte ermittelt werden kann.

Laut Ihrer Studie ist in kaum einer Organisation gewährleistet, dass Erkenntnisse aus Evaluationen für die weitere Arbeit genutzt werden.

Es gibt in den einzelnen Projekten informelle Umsetzungsverfahren; auf Projekt- oder Programmebene findet ein Lernen also durchaus statt. Die Frage ist aber, wie Organisationen als Ganze Evaluationsergebnisse nutzen. Wichtig ist, dass eine unabhängige Stelle überprüft, inwieweit Empfehlungen aus einer Evaluation akzeptiert oder warum sie abgelehnt wurden. Es muss kontrolliert werden, welche Empfehlungen angenommen und in welchem Zeitraum verwirklicht werden und welche warum abgelehnt werden.

Beteiligen die deutschen Organisationen ihre Partner in den Entwicklungsländern ausreichend an Evaluationen?

Da muss man stark unterscheiden: Die kirchlichen Organisationen und die Welthungerhilfe zeichnen sich dadurch aus, dass sie ihre Partner stark einbeziehen, staatliche Organisationen, aber auch die politischen Stiftungen hingegen tun das kaum. Das wird unter anderem damit begründet, dass die Partner das Untersuchungsobjekt seien und deshalb nicht beteiligt werden könnten.

Ist das ein plausibler Einwand?

Nein, weil beide Seiten verantwortlich sind für die Projekte. Auch die Partner tragen etwas zum Gelingen bei und deshalb haben sie das gleiche Recht, die Fragen und Kriterien mitzubestimmen, nach denen ein Projekt bewertet wird. Insgesamt kann man sagen, dass das deutsche Evaluationssystem vor allem den Gebern nutzt. Allerdings ist die gleichberechtigte Beteiligung der Partner auch nicht leicht. Man muss sich schon während der Konzeption intensiv miteinander austauschen, gemeinsam die Gutachter auswählen und die Evaluationsziele festlegen. Das bedeutet erheblichen Aufwand und höhere Kosten. Es gibt also objektive Hürden bei der Partnerbeteiligung. Die staatlichen Organisationen sollten bei den kirchlichen Organisationen und der Welthungerhilfe schauen, wie die es schaffen, ihre Partner einzubinden.

Sie fordern einheitliche und vergleichbare Evaluationen. Warum ist das so wichtig?

Meine Vorstellung ist nicht, dass alle Projekte nach denselben Methoden evaluiert werden. Meine Forderung zielt auf eine höhere Ebene: Wenn ich Wirkungen untersuchen möchte, dann brauche ich immer zwei Zeitpunkte: vorher und nachher. Außerdem muss man eine Vergleichsgruppe haben, die nicht von dem Projekt erfasst ist, um auszuschließen, dass eine bestimmte Wirkung andere Ursachen hat. Das gilt für alle Projekte, egal in welchem Sektor und egal ob es ein staatliches oder ein NGO-Projekt ist. Aber in deutschen Evaluationen wird das nicht berücksichtigt, weil es keine entsprechenden Vorgaben gibt.

Das heißt, die deutschen Organisationen evaluieren häufig nach eigenem Gutdünken und wenig systematisch?

Ja. Derzeit stehen alle vor der Frage, wie sich Wirkungen messen lassen. Die meisten Organisationen haben sich darauf verpflichtet, ihre Arbeit an Wirkungen auszurichten, und bemühen sich darum, das nachzuweisen. Das macht aber jede Organisation für sich selbst - mit anderen Worten: Jede erfindet das Rad für sich neu. Das ist nicht gerade eine effiziente Verwendung entwicklungspolitischer Mittel. Vor allem die staatlichen Organisationen wie GTZ, KfW oder InWEnt sollten außerdem mehr gemeinsame Evaluationen durchführen, was sie seit einiger Zeit auch schon verstärkt tun. Denn sie müssen dem BMZ neuerdings gemeinsame Programmvorschläge machen, aus denen hervorgeht, wer welche Aufgaben übernimmt. Folglich müssen sie ihre Arbeit auch gemeinsam evaluieren. Denn es kann ja nicht sein, dass man ein gemeinsames Programm vorschlägt und dann jeder seinen Beitrag nach eigenen Methoden und Kriterien evaluiert. Da wird noch großer Handlungsdruck entstehen.

Wie ließen sich Evaluationen sowie die Entwicklung von gemeinsamen Standards und Methoden besser koordinieren und Doppelarbeit vermeiden?

Wir schlagen vor, entweder die Steuerungskompetenzen des BMZ zu stärken oder aber eine unabhängige Evaluationsagentur beziehungsweise einen Evaluationsbeirat zu schaffen. Diese drei Vorschläge sollten von einer internationalen Kommission geprüft und mit den deutschen Entwicklungsorganisationen diskutiert werden. Eine mögliche Evaluationsagentur sollte wirklich unabhängig und nicht zu nah am Ministerium angesiedelt sein, weshalb meiner Ansicht nach beispielsweise das Deutsche Institut für Entwicklungspolitik nicht als Träger in Frage kommt.

Sie sprechen sich für den Einsatz von mehr externen Gutachtern aus, weil die unabhängiger seien als Prüfer aus den Organisationen selbst. Aber sind sie wirklich frei in ihrem Urteil? Die Gutachter sind doch auf weitere Aufträge angewiesen.

Das ist ein berechtigter Einwand. Es ist tatsächlich ein Problem, dass einzelne Organisationen immer wieder dieselben Leute beschäftigen. Man muss deshalb gegensteuern, um die Unabhängigkeit von Gutachtern zu erhalten. Das bedeutet, dass sie nicht immer nur für eine Organisation arbeiten sollten: Je mehr Auftraggeber ein Gutachter hat, desto unabhängiger ist er. Eine zweite Methode, ihre Unabhängigkeit zu stärken, sind öffentliche Ausschreibungen. Aber das ist im entwicklungspolitischen Evaluationsgeschäft in Deutschland die absolute Ausnahme - anders als in anderen Politikfeldern. Die GTZ hat jetzt dreißig unabhängige Evaluationen ausgeschrieben, das BMZ schreibt gelegentlich aus, die meisten anderen Organisationen nie. Die vergeben ihre Aufträge freihändig, was ihnen viel größeren Einfluss gibt, als wenn sie sie nach einem transparenten Verfahren vergeben würden. Freihändige Vergabe birgt immer das Risiko einer verstärkten Abhängigkeit des Gutachters. Allerdings spricht das geringe Volumen vieler Aufträge derzeit häufig gegen Ausschreibungen: Wenn Sie eine Evaluation für 10.000 Euro in Auftrag geben, können Sie die nicht auch noch ausschreiben. Da wäre die Ausschreibung teurer als die Evaluation. Aber dafür gibt es Lösungen: Die GTZ zum Beispiel sucht sich mittels Ausschreibung Institute, mit denen sie zweijährige Rahmenverträge über mehrere Evaluationen schließt. Danach werden die Rahmenverträge neu ausgeschrieben.

Sind Evaluationen - nicht nur in der Entwicklungspolitik - heute nicht auch ein bisschen Mode und vor allem ein lukrativer Geschäftszweig, der häufig mehr an Verbesserung verspricht, als er tatsächlich bringt?

Ich stimme Ihnen zu, dass Evaluationen auch ein Stück weit Mode sind. Es ist heute schick, mit Evaluationen seine Politik zu verbrämen. Aber man muss genau hinschauen: Nicht überall, wo Evaluation draufsteht, ist auch Evaluation drin. Dort, wo fundiert und nicht nur um der Ergebnisse willen evaluiert wird, sondern um die politische Steuerung zu verbessern, da sind Evaluationen wertvoll. Und dieses Verständnis hat in den vergangenen Jahren zugenommen.

Dennoch: Die Evaluationsberichte von entwicklungspolitischen Organisationen sehen letztlich immer gleich aus: Zwei Drittel der Projekte sind erfolgreich, ein Drittel hat Mängel und ein kleiner Rest sind Fehlschläge. Ist das wirklich aussagekräftig?

Nein, natürlich nicht. Man muss genau prüfen, welche Daten solchen Berichten zugrunde liegen. Und dann wird man feststellen, dass die Bewertungen häufig nur auf Einschätzungen beruhen und nicht auf Evaluationen. Denn wenn Sie sich die Etats für Evaluationen ansehen - im BMZ sind es nur 0,03 Prozent des Gesamtbudgets und in anderen Organisationen sieht es nicht besser aus -, dann fragen Sie sich schon, wo diese Ergebnisse eigentlich herkommen sollen.

Das Gespräch führte Tillmann Elliesen.

Reinhard Stockmann
ist Professor für Soziologie und Leiter des Centrums für Evaluation (CEVAL) an der Universität des Saarlandes.

welt-sichten 06-2009