„Wir sind nicht zum Erbsenzählen gekommen“

Interview mit Annette Schmidt zur Evaluierung in Ginde Beret

Verbessern die Hilfsprojekte von Menschen für Menschen die Lebenssituation der Bevölkerung nachhaltig? Sind die Aktivitäten, die gemeinsam mit den Menschen umgesetzt werden, adäquat und tragfähig? Die Überwachung der eigenen Arbeit durch fortlaufendes Monitoring und regelmäßig durchgeführte Evaluierungen ist für Menschen für Menschen ein wichtiges Instrument, um zu überprüfen, ob die Projekte die gesteckten Ziele erreichen oder ob Maßnahmen angepasst und weiter verbessert werden können. Im Oktober 2013 führten die entwicklungspolitische Gutachterin und Anthropologin Annette Schmidt und ihr äthiopischer Kollege, Agrarwissenschaftler Girma Mengistu von der Beratungsorganisation FAKT im Auftrag von Menschen für Menschen eine Evaluierung in den Projektgebieten Borena und Ginde Beret durch.

INTERVIEW: NINA ROGGENBUCK-BAUER

 

Sie haben vier Wochen in Äthiopien verbracht und vier Projektregionen von Menschen für Menschen besucht. Wie ist Ihr Eindruck?

Ich habe einen sehr guten Eindruck von der Arbeit der Organisation gewonnen. Die Projekte sind gut geplant und entsprechen mit ihren vielfältigen Aktivitäten den Bedürfnissen der Bevölkerung. Dies haben alle Befragten übereinstimmend bestätigt. Die technischen Ausführungen sind von hoher Qualität.

 

Warum lässt eine Hilfsorganisation ihre Arbeit evaluieren. Was ist das Ziel?

Evaluierung ist heute ein essentieller Bestandteil moderner Entwicklungszusammenarbeit – es gehört einfach dazu. Der neutrale Blick von außen ist für eine Organisation sehr wichtig. Es wird dabei ganz bewusst die Arbeitsweise hinterfragt, um zu sehen inwieweit sie zielführend ist oder wo es aus externer Sicht Möglichkeiten zur Verbesserung gibt. Wir geben am Ende einer Evaluierung Empfehlungen ab, die dann als Grundlage für eine weiterführende Betrachtung und Diskussion dienen sollen. Das haben wir auch bei Menschen für Menschen so gemacht und obwohl wir die Projekte für sehr gut halten, haben wir natürlich auch Vorschläge gemacht, wie sie unserer Meinung nach noch besser laufen könnten. Wie Robert Bosch schon sagte: „Wer aufhört, besser zu werden, hat aufgehört, gut zu sein!“

ueber-uns-transparenz-externe-pruefungen-IMG_6223

 

Was geschieht, nachdem diese Empfehlungen gemacht  wurden?

Die Vorschläge werden von allen relevanten Personen diskutiert. Das schließt alle Verantwortlichen mit ein, also nicht nur die Geschäftsführer, sondern auch zum Beispiel den Projektleiter, der schließlich die Maßnahmen mit seinen Mitarbeitern im Projekt in die Tat umsetzen muss. Dabei wird man Schritt für Schritt überlegen, welchen Empfehlungen gefolgt werden soll und welche tatsächlich umsetzbar sind. Nicht alle Vorschläge sind für eine Organisation immer realisierbar, das hängt natürlich auch von vielen Faktoren ab. Eine Organisation wie Menschen für Menschen, die schon so viele Jahre in Äthiopien tätig ist, hat natürlich auch eine ganz besondere Expertise und weiß, was in Äthiopien auch aufgrund z.B. kultureller Gegebenheiten möglich bzw. sinnvoll ist. Man kann auch zur Erkenntnis kommen, dass eine Empfehlung erstrebenswert ist, aber die Organisation selbst nicht über die entsprechenden Ressourcen oder das Know-how verfügt, um sie selbst durchzuführen. In diesem Fall kann eine Partnerorganisation herangezogen werden – wie es Menschen für Menschen ja seit vielen Jahren mit Augenärzten vom Äthiopischen ALERT-Hospital in Addis Abeba macht. Wichtig ist aber auf alle Fälle, dass ein Diskussionsprozess und eine thematische Auseinandersetzung stattfindet – so schafft man auch ein anderes Bewusstsein für die eigene Arbeit.

 

Gab es Erkenntnisse, die für Sie überraschend waren?

Als ich in den Projektunterlagen gelesen habe, dass sich die Qualität des Unterrichts durch die von Menschen für Menschen gebauten Schulen verbessert haben soll, schien mir das übertrieben. Gemeinhin geht man davon aus, dass die Qualität des Unterrichts und nicht die Ausstattung der Schule den Lernerfolg bestimmt. Allerdings ist es wohl so, dass viele Lehrerinnen und Lehrer um eine Versetzung an eine der neu gebauten Schulen ersuchen und die neuen Räumlichkeiten einen Motivationsschub beim Lehrpersonal und den Schülerinnen und Schülern auslösen. Das ist sehr nachvollziehbar, wenn man sich die baufälligen, dunklen, alten Schulen anschaut. Also ist es tatsächlich vorstellbar, dass sich sogar der Unterricht verbessert – das hat mich überrascht.

 

Sie waren vor der Evaluation noch nie in Äthiopien. Wie können Sie Ihnen unbekannte Entwicklungsprojekte beurteilen?

Gute Frage. Ich bringe einen großen Erfahrungsschatz in der Evaluierung von Projekten im Bereich der Entwicklungszusammenarbeit mit. Daher kann ich einschätzen, wie gut die Planung ist und was mit einer bestimmten Summe in einem bestimmten Zeitraum erreicht werden kann – und was eben auch nicht zu erreichen ist. Ich ziehe außerdem Vergleiche zu anderen Projekten und stelle viele Fragen. Aber ohne meinen lokalen Kollegen, der mir immer wieder Hintergründe erklärt hat, wäre alles viel schwieriger gewesen.

 

Wonach werden die Gutachter für eine Evaluation ausgesucht? Wie wird ein Evaluationsteam zusammengestellt?

Die Gutachter sollten über einen großen Erfahrungsschatz in der Evaluierung verfügen und außerdem profunde Monitoring-Kenntnisse mitbringen. Ideal ist ein gemischtes Team, das heißt in diesem Fall eine Person, die aus Äthiopien stammt, die regionalen Bedingungen sehr gut kennt und natürlich auch den fachlichen Hintergrund mitbringt. Und eine weitere Person sollte aus Europa stammen und vertraut sein mit den Anforderungen, die in diesen Ländern an Evaluierungen gestellt werden. Sie sollte auf der Höhe der Zeit sein, was die Debatten über die Messung von Effizienz oder die Evaluierung mit Hilfe von Kontrollgruppen angeht. Ein gemischtgeschlechtliches Team ist fast ein Muss.

 

Warum sind Monitoring und Evaluierung so wichtig? Wer profitiert?

Alle profitieren! Von einer Evaluierung profitiert die Zielgruppe, weil die Projekte noch nachhaltiger werden. Zudem werden die Nutznießer im Rahmen eines partizipativen Monitorings stark eingebunden. Die Hilfsorganisation profitiert, weil sie mit den Vorhaben bessere Wirkungen erzielen – und diese klar auf einzelne Aktivitäten zurückführen kann. Die Spender profitieren, weil sie detaillierte Informationen über die Verwendung ihrer Mittel erhalten und sicher sein können, dass diese gewinnbringend eingesetzt werden. Monitoring und Evaluierung dienen vor allem zum Lernen und helfen so, dass Projekte noch besser werden können. Durch kontinuierliches Monitoring erhält man Information darüber, was gut läuft und wo man nachjustieren sollte. Regelmäßige Evaluierungen, die von externen Gutachtern durchgeführt werden, ermöglichen einen konstruktiv-kritischen Blick von außen.

 

Was ist die Voraussetzung für eine gute Evaluierung?

Zuallererst eine gute Vorbereitung: Man sollte möglichst alles gelesen haben, was es zum Projekt gibt. Und man braucht eine klare Vorstellung von den Zielsetzungen. Dies muss auch mit den Projektmitarbeitern abgeklärt werden, damit eine gemeinsame Basis für die Evaluierung geschaffen wird. Dann braucht man genug Zeit vor Ort für Gespräche, Workshops und Besichtigungen und nicht zuletzt das Vertrauen der Projektmitarbeiter darauf, dass man nicht zum Erbsenzählen gekommen ist, sondern um mit ihnen die Projekte zu diskutieren und sich gegebenenfalls neu zu orientieren.

projekte-gebiete-evaluierung-gb-Evaluations by FAKT 039

 

Mit wem sprechen Sie vor Ort?

Wir sprechen mit den unterschiedlichsten Personen: Mit dem Projektmanager, mit seinen Mitarbeitern, mit den Mitarbeitern der örtlichen Behörden, die mit dem Projekt in Verbindung stehen, mit den Personen, die vor Ort in den Dörfern die Arbeit machen, also den Entwicklungsberatern und Sozialarbeitern. Es ist besonders wichtig, dass wir uns immer die meiste Zeit für die Gespräche mit der Bevölkerung selbst nehmen. Wir sprechen mit ihnen so lange und ausführlich wie möglich und nötig ist. Zudem führen wir einen Workshop über zwei Tage durch, bei dem ausschließlich die Nutznießer der Aktivitäten zu Wort kommen. Dabei können wir uns intensiv über die Entwicklung in der Region austauschen und informieren. Diese partizipativen Workshops sind das Herzstück der Evaluierung.

 

Sie haben in Äthiopien nach Ihrer Evaluation einen Workshop zu „wirkungsorientiertem Monitoring“ mit den Projektleitern von Menschen für Menschen durchgeführt. Was ist das Ziel dieses Monitorings?

Die Projektmitarbeiter wissen beispielsweise genau, wie viele Brunnen gebaut  wurden und wie viele Menschen davon profitieren. Das ist gut. Ziel des wirkungsorientierten Monitorings ist, die weiteren Auswirkungen klar zu benennen und auf bestimmte Maßnahmen zurückzuführen. Beispielsweise: Besuchen durch den Bau eines Brunnens nun mehr Mädchen die Schule, statt stundenlang aus entfernten Gebieten Wasser holen zu gehen? Oder welche Krankheiten kommen dadurch weniger häufig vor? Wirkungsorientiertes Monitoring ist zeitintensiv und relativ aufwändig, trägt aber zur Weiterentwicklung von Projekten bei  und zeigt auch schlichtweg, was alles erreicht wurde!

Zur Person: Annette Schmidt arbeitet seit 1999 als Gutachterin und evaluiert unter anderem im Bereich Armutsbekämpfung, Ländliche Entwicklung, Wasserversorgung und Bildung. Darüber hinaus unterstützt sie beim Aufbau wirkungsorientierter Monitoring-Systeme.

projekte-bildung-mukadema-schulbank-lieferung-IMG_4098

Eine der Erkenntnisse: Bessere Schulen sorgen für besseren Unterricht

Doch dass es gar nicht so einfach ist in den entlegendsten Gebieten Äthiopiens eine Schule zu bauen und auszustatten zeigt das Beispiel der Mukadema Schule in Ginde Beret. Lesen Sie die spannende Geschichte

Wie kam die Schulbank ins Tal?