Reden macht klüger als zählen

Die Entwicklungshilfe steht unter Druck, ihre Wirkungen hieb- und stichfest nachzuweisen. Die Wirkungsanalyse eines Programms mit afrikanischen Baumwollbauern zeigt, dass dies möglich ist, aber großen Aufwand erfordert - nicht zuletzt, um für die Statistiker großflächig Daten zu erheben, deren Verlässlichkeit nicht immer klar ist. Gruppendiskussionen haben ein besseres Verhältnis von Nutzen zu Aufwand gebracht und scheinen für die meisten Zwecke ausreichend.

Die Debatte über die Wirkungen der Entwicklungszusammenarbeit gewinnt an Bedeutung – auch in Deutschland. Auch wenn klar ist, dass es in einem komplexen Umfeld schwierig ist, klare Wirkungszusammenhänge zwischen Hilfe und Entwicklung nachzuweisen, verlangt die interessierte Öffentlichkeit zunehmend Antworten darauf, wie sinnvoll Mittel der öffentlichen Entwicklungszusammenarbeit und Spenden eingesetzt werden. Deshalb steigt die Bedeutung der Wirkungsmessung und die dafür bereitgestellten Budgets wachsen.

Wo liegen ihre Möglichkeiten und Grenzen? Ein Beispiel dafür ist die umfassend angelegte Wirkungsmessung für ein breit angelegtes Armutsbekämpfungsprojekt. Die Competitive African Cotton Initiative (Compaci) der Deutschen Investitions-und Entwicklungsgesellschaft (DEG), der Deutschen Gesellschaft für Internationale Zusammenarbeit (GIZ) und der Aid by Trade Stiftung (AbtF) hat zum Ziel, die Lebensbedingungen von 265.000 Baumwollbauern in Afrika zu verbessern. In der Zusammenarbeit mit sieben Baumwollgesellschaften in sechs Ländern (Benin, Burkina Faso, Côte d’Ivoire, Malawi, Mosambik und Sambia) sollen die Produktivität und die Einkommen der Bauern erhöht und gleichzeitig nachhaltigere Produktionsweisen eingeführt werden. Die Bill und Melinda Gates Stiftung (BMGF) und das deutsche Entwicklungsministerium (BMZ) finanzieren dieses Programm.

Autor

Roger Peltzer

arbeitet als Abteilungsleiter bei der Deutschen Investitions- und Entwicklungsgesellschaft (DEG) in Köln und ist an der Entwicklung und Verwirklichung des Textillabels Cotton Made in Africa beteiligt. Er gibt hier ausschließlich seine persönliche Meinung wieder.


Nachdem in den Verhandlungen über diese Förderung alle strittigen Punkte geklärt waren, erhöhte die BMGF das Budget noch einmal um zehn Prozent, um eine breit angelegte, unabhängige Wirkungsanalyse des Vorhabens sicherzustellen. Die Stiftung will nicht nur Kriterien wie die Zahl der zu trainierenden landwirtschaftlichen Berater und Bauern, die Höhe der Kredite an die Bauern oder der Investitionen in landwirtschaftliche Geräte prüfen lassen. Sie will auch wissen, ob das übergeordnete Ziel erreicht wird, die Nettoeinkommen der Bauern um mindestens 35 Prozent zu steigern. Und es soll nachgewiesen werden, dass die Steigerung tatsächlich dem Projekt und nicht anderen Faktoren wie günstigen Wetterbedingungen oder steigenden Weltmarktpreisen zuzurechnen ist. Die Wirkungsanalyse wurde weltweit ausgeschrieben. Nur Anbieter aus den USA, Kanada und England schafften es in die Endrunde. Das Instrument der unabhängigen Wirkungsanalyse ist in Deutschland noch wenig entwickelt und wird mit dem neuen Evaluierungsinstitut des BMZ hoffentlich einen Aufschwung erleben.

Den Zuschlag für den Auftrag erhielt das sozialwissenschaftliche NORC-Institut an der Universität von Chicago. Es hat gemeinsam mit den das Programm durchführenden Organisationen ein Konzept erstellt, das auf drei Säulen ruht: Zum einen erstellen die vor Ort tätigen Baumwollgesellschaften halbjährlich einen ausführlichen Fortschrittsbericht, der detaillierte Angaben zur Baumwollproduktion im Projektgebiet und im jeweiligen Land erhält. Außerdem berichten die Baumwollgesellschaften über wesentliche Schritte bei der Durchführung des Programms und ziehen Lehren für den weiteren Fortgang. Unabhängige lokale Experten für den Baumwollsektor kommentieren die Berichte der Baumwollgesellschaften.

Ein Problem ist schon allein, sich auf ein gleiches Verständnis des Problems zu einigen

Zum anderen wurde zu Beginn des Vorhabens eine repräsentative Auswahl von Bauern in allen Ländern ausführlich über ihre Lebensbedingungen befragt. Am Ende des Programms wird diese Befragung wiederholt, um die Ergebnisse miteinander zu vergleichen. Die Auswahl umfasst sowohl Bauern, die am Programm teilnehmen, als auch Bauern einer Kontrollgruppe. Je Land wurden 400 bis 600 Haushalte interviewt und pro Haushalt etwa tausend Daten erfasst. Die Ergebnisse der Erstbefragung liegen seit Beginn 2011 vor.

Diese beiden Analysen werden drittens um eine qualitative Wirkungsanalyse ergänzt. Pro Land vier bis sechs Gruppen zu jeweils 25 bis 40 Bauern und Bäuerinnen werden ein bis zwei Tage lang in offenen Gesprächen zu ihren allgemeinen Lebensbedingungen befragt und diskutieren untereinander, wie sich das Programm auf sie auswirkt. Die Ergebnisse dieser Gespräche werden in standardisierter Form zusammengefasst und von den Baumwollgesellschaften kommentiert. Diese Fokusgruppendiskussionen finden zu Beginn, in der Mitte und am Ende des Programms statt.

Auf dem Papier klingt das alles klar strukturiert und plausibel. Doch die Durchführung in der Praxis ist mit erheblichen Schwierigkeiten verbunden. Probleme bereitet zum Beispiel, sich mit allen Beteiligten – also dem Programmmanagement, den Baumwollgesellschaften vor Ort, dem Evaluierungsinstitut in Chicago und den lokalen Fachleuten– auf ein gleiches Verständnis der Problemlage, der Programmziele, der eingesetzten Instrumente und sogar der benutzten Begriffe zu verständigen, und das jeweils für die anglophonen und die frankophonen Projektgebiete. So haben die Evaluierer aus den USA zwar exzellente Referenzen in der quantitativen Wirkungsanalyse, bislang aber keinerlei Kenntnisse im Baumwollanbau. Zudem hat sich die Suche nach geeigneten lokalen Experten als ausgesprochen schwierig erwiesen. Auch in Afrika findet Wissenschaft zum Teil im Elfenbeinturm statt. Zudem sind die Distanzen zwischen dem Sitz der Forschungsinstitute und den Projektgebieten teilweise sehr groß (in Côte d’Ivoire 800 Kilometer), so dass die Fachleute oft zunächst wenig Zugang zu den Kleinbauern hatten. Längere Zeit haben zudem die Statistiker und Mathematiker aus den USA und die lokalen Experten oft aneinander vorbeigeredet.

Es hat deshalb mehr als zweieinhalb Jahre gedauert, das Zusammenspiel zwischen allen Beteiligten so zu organisieren, dass die verwendeten Fragebögen und ihre Begrifflichkeit ebenso sorgfältig abgestimmt und diskutiert werden wie die Auswertung der Ergebnisse. Erst jetzt, drei Jahre nach Beginn des Programms, kommentieren die lokalen Fachleute die Berichte der Baumwollgesellschaften problemorientiert und aussagekräftig und beschränken sich nicht mehr darauf, zum Beispiel allgemeine Beschreibungen der Baumwollwirtschaft in ihren Ländern abzuliefern.

Interviewer haben denselben Sachverhalt unterschiedlich interpretiert

Kommunikationsprobleme wie auch logistische Schwierigkeiten haben zudem dazu geführt, dass die Ergebnisse der Erstbefragungen der Programmbauern und der Kontrollgruppen erst zwei Jahre nach Programmbeginn vorlagen. Normalerweise hätte die Endbefragung bereits Anfang des vierten Jahres stattfinden sollen. Doch nur anderthalb Jahre zwischen der Erst- und der Enderhebung sind zu kurz, um zu erfassen, ob sich die Lebensbedingungen der Bauern signifikant verändert haben. Zum Glück zeichnet sich eine Verlängerung des Programms um drei Jahre ab, so dass die Enderhebung voraussichtlich drei bis vier Jahre nach der ersten Befragung stattfinden kann.

Es gibt allerdings grundsätzliche Zweifel, ob sich eine solche Erhebung von Basisdaten, die den Großteil des Budgets für die Wirkungsanalyse aufgebraucht hat, wirklich lohnt. Zwar verfügt das Compaci-Projekt nun über eine Vielzahl von repräsentativen Daten über die Lebenssituation von Kleinbauern quer durch Afrika, die zum Beispiel zeigen, dass das Programm tatsächlich die intendierte Zielgruppe erreicht: 80 Prozent der Bauern leben unter der Armutsgrenze von 1,50 US-Dollar pro Tag. Aber die Übersetzung von Fragen aus dem Englischen ins Französische, dann in lokale Sprachen, dann der Weg über die Interviewer – meist junge Studenten, die wenig vom Sachverhalt verstehen – und zurück über alle diese Etappen mit der Erfassung von Millionen Einzeldaten produziert so viel Widersprüche, dass viele intensive Korrekturen nötig sind.

Drei Viertel der Ergebnisse dieser Befragungen können als einigermaßen zutreffend betrachtet werden, aber es bleiben etliche Unstimmigkeiten, die schwer zu erklären sind. So haben die Bauern in Mosambik laut den Befragungen im Vergleich zu den anderen Programmländern das höchste Pro-Kopf-Einkommen, zugleich aber die niedrigsten Vermögen in Form von Fahrrädern, Mobiltelefonen, Motorrädern oder Immobilien. Zum Teil weichen Ergebnisse aus Befragungen zum selben Thema und aus demselben Projektgebiet deutlich voneinander ab. Während etwa die eine Befragung eine hohe Teilnahme an Trainings zeigt, bringt eine andere, nur wenig Monate später durchgeführte Befragung im gleichen Projektgebiet genau entgegengesetzte Ergebnisse. Das kann nur daran liegen, dass die Interviewer ein und denselben Sachverhalt beim Ausfüllen der Fragebögen unterschiedlich interpretiert haben. Der Einsatz von jungen „kostengünstigen“ Studenten aus dem Projektland, die der lokalen Sprachen mächtig sind und die Interviews durchführen, stößt da offensichtlich an Grenzen.

Für eine aussagekräftige Wirkungsanalyse gibt es ein weiteres großes Problem: die richtigen Kontrollgruppen zu finden. Der wissenschaftliche Anspruch verlangt, dass nicht nur bei den Projektteilnehmern Veränderungen gemessen werden, sondern auch bei anderen Bauern. Nur so lässt sich feststellen, welche Wirkungen dem Projekt und welche anderen Faktoren zuzurechnen sind. In der Praxis stößt das auf viele Schwierigkeiten. So ist das Programm in Sambia so erfolgreich, dass alle ursprünglich ausgewählten Mitglieder der Kontrollgruppe mittlerweile am Programm teilnehmen. In anderen Ländern werden die Ergebnisse dadurch verfälscht, dass andere Geber die Kontrollgruppe unterstützen. Zudem hat sich Compaci teilweise auf Regionen mit schwierigen landwirtschaftlichen Bedingungen konzentriert, während die Bauern der Kontrollgruppe zum Teil aus fruchtbaren Regionen mit einer langen Tradition im Baumwollanbau kommen und eine deutliche bessere Ausgangssituation haben. Die Statistiker von Norc behaupten zwar, all dem mit komplexen mathematischen Verfahren Rechnung tragen und zu repräsentativen Aussagen kommen zu können. Aber daran kann man zweifeln.

Wirkungsanalysen müssen als Lernprozesse angelegt sein

Aussagekräftiger sind die qualitativen Erhebungen, die Diskussionen mit Bauerngruppen. Die Lebenssituation kleiner Baumwollbauern in den Programmländern variiert nicht sehr stark. Mit sechs über ein Land verstreuten Fokusgruppen kann man recht gut einen Querschnitt nachbilden, ohne dass die Stichprobe im wissenschaftlichen Sinne „repräsentativ“ist. Die Diskussionen werden von lokalen Wissenschaftlern geleitet, die sich intensiv über die Lebenssituation der Bauern und wichtige Ereignisse im Dorf informiert haben. Hinzu kommen Einzelinterviews, in denen präzise Einkommensdaten abgefragt werden.

Das hat sich als sehr nützlich erwiesen. Die Bauern sprechen alle wesentlichen Probleme an: keine Batterien für die Spritzgeräte, keine Schutzkleidung, nicht genügend Zugang zu Krediten oder das Versäumnis, dass bei den Radioprogrammen für die Bauern keine Frauen zu Wort kommen. Bereits zwei bis drei Monate nach einer solchen Fokusgruppendiskussion liegen die Ergebnisse vor. Sie werden mit den Organisationen, die Compaci durchführen, diskutiert und ermöglichen es, schnell zu reagieren.

Das Beispiel zeigt, dass Wirkungsanalysen als Lernprozesse angelegt sein müssen. Auch deshalb ist es wichtig, sich bei der Zahl der zu erfassenden Daten zu beschränken. Nur so lassen sich Datenberge vermeiden, die weder sinnvoll zu bearbeiten noch zu interpretieren sind. Gut konzipierte und von qualifiziertem Personal geleitete Fokusgruppendiskussionen sind oft sinnvoller als breit angelegte quantitative Analysen. In der Gates-Stiftung wird derzeit diskutiert, wie Lehren aus den Evaluierungen einzelner Programme nicht nur für die Beteiligten, sondern zudem für die Entwicklungspolitik fruchtbar gemacht werden können. Das wird auch eine Aufgabe des neuen Evaluierungsinstituts des BMZ sein.

 

erschienen in Ausgabe 7 / 2012: Konzerne: Profit ohne Grenzen

Neuen Kommentar schreiben