Jedes Engagement will Wirkung erzielen. Etwas bewirken zu wollen, ist das Motiv, sich zu engagieren. Dabei ist es nicht nur herausfordernd, wirkungsversprechende Interventionen umzusetzen, schwierig ist es auch, ihre effektiven Wirkungen zu erfassen oder gar zu messen. Also festzumachen, welche Folgen den unendlich vielen Bemühungen für eine bessere Welt in Tat und Wahrheit folgen. Sie also zu messen und aus der Differenz zwischen Wunsch und Wirklichkeit zu lernen und so die Interventionen zu verbessern - darum ginge es. Wie wenig man sich um dieses Eigentliche kümmert, ist eigentlich erstaunlich.
Nie nur eine Wirkung
Und kümmert man sich um die Frage nach der Wirkung einer Aktivität, stösst man oft auf das Problem, dass stillschweigend angenommen wird, eine Intervention habe ausschliesslich die gewünschte Wirkung – und das Monitoring müsse sich daher nur auf diesen einen Aspekt beschränken. Tatsächlich hat jedoch jede Intervention stets mehrere Wirkungen. So hat ein Abstimmungsplakat der SVP bei ihren Fans ganz andere Wirkungen als unter den Nichtfans, die ihrerseits wiederum unterschiedlich reagieren: mit Ärger oder Ignorieren oder …. Selbst eine scheinbar einfache Situation wie das Schimpfen eines Vaters mit seinem Sohn zeigt, dass die sichtbare Folge - folgsames Verhalten - nur ein Teil des Ganzen ist.
Nebenwirkungen vorauszusehen bzw. diese beim Auftreten zu beachten, ist essenziell. Doch das ist schneller gesagt als getan, denn selbst bei einem einfachen Kurs ist die Frage nach seinen Wirkungen nicht einfach zu beantworten. Jeder Kurs verfolgt Lernziele, und auf einer allgemeinen Ebene könnte ein solches etwa «Lernen mit Konflikten am Arbeitsplatz konstruktiv umzugehen» lauten. Doch wie stellt man fest, ob die Absolvent:innen dieses Lernziel erreichen und ob sie das nachher im Arbeitsalltag tatsächlich umsetzen?
Und das ist der springende Punkt: Ob Kurs, OE-Massnahme oder Aktivität - es ist immer nur der Anfang; es geht vor allem ums Danach. Um nachhaltige Wirkung. Um Transfer in eine neue Praxis. Dieser findet umso wahrscheinlicher statt, wenn nach einem Kurs Unterstützung geboten wird. Denn es nützt nicht viel, wenn eine brillante Trainerin ihre Teilnehmerinnen im Kurs zum Leuchten bringt, das aber im Arbeitsalltag wieder erlischt: Wie beim Pauken für eine Prüfung, geht das Gelernte bald wieder vergessen, wird es nicht angewandt. Das Problem ist also nicht nur, festzustellen welche Wirkungen erzielt werden und wie man sie misst, sondern auch, dass nach einem Kurs, einer Massnahme oder einer Kampagne das Follow-up im Alltag oft nicht folgt. Dabei liegt das eigentliche Gold nicht in der Aktion, dem Bericht oder dem Kurs, sondern im Nachgang.
Messen ist stets nur Annäherung
Wie aber lässt sich Wirkung messen? In Kursen erfolgt dies heute meist durch Ratings. Doch was sagt beispielsweise eine „7 von 10“ über den Kursinhalt wirklich aus? Allenfalls gibt es am Ende noch einen Wissenstest, um zu prüfen, was die Teilnehmenden erinnern. Was sich jedoch in der Praxis nach dem Kurs dauerhaft verändert, lässt sich zum Zeitpunkt des Kursabschlusses nicht erfassen (mit geschickt formulierten Fragen ist immerhin eine gewisse Extrapolation möglich (mehr dazu in der Kolumne “Lerntransfer”)).
Entscheidend ist deshalb nicht nur wie, sondern auch wann man misst. Der Kursabschluss markiert zugleich den Beginn einer neuen Praxis – daher müsste zusätzlich zu einem späteren Zeitpunkt evaluiert werden, ob und wie das Gelernte angewandt wird.
Dasselbe gilt für Aktionen: Auch hier sollte der Schlusspunkt ein Anfang neuen Verhaltens sein. Der Erfolg wird dabei oft anhand von Medienberichten als Wirkungshinweis gemessen, ergänzt durch weitere Reaktionen. Ist die Wirkungsmessung bei einem einzelnen Kurs bereits anspruchsvoll, so wird sie bei einer Kampagne zu einer besonderen Herausforderung. Dabei sollte man vorsichtig mit dem Begriff «messen» umgehen: Anders als etwa bei einer Temperaturmessung liefert Wirkungsmessung keinen objektiven Wert.
Um sich den vielfältigen Effekten einer Kampagne oder eines Change-Projektes anzunähern, werden sogenannte Indikatoren verwendet. Mit wenigen Schlüsselindikatoren versucht man, die Komplexität zu reduzieren. Wird jedoch zu früh oder zu stark vereinfacht, besteht das Risiko, dass ein ungenaues oder schiefes Bild als Abbild der Realität genommen wird.
Ein anschauliches Beispiel bot die Corona-Pandemie: Der Indikator «Fallzahlen» erlaubte zwar eine Einschätzung der direkten Auswirkungen von Massnahmen auf Infektionen. Über wirtschaftliche, psychische oder soziale Wirkungen sagte er jedoch nichts aus.
Was braucht es, um ein Bild zu erkennen?
Doch selbst wenn die Indikatoren sorgfältig definiert sind, besteht stets Interpretationsspielraum.
Gleichzeitig ist Komplexitätsreduktion unvermeidlich. Nur so bleibt der Aufwand handhabbar und ein zeitnahes Bild möglich. Ebenso gilt, sich stets bewusst zu sein, dass das Bild, das die Indikatoren vermitteln, nicht die Wirklichkeit ist, sondern ein mehr oder weniger genaues Abbild. Stellen wir uns die Wirklichkeit als Foto vor: Am einen Ende des Spektrums stünde die vollständige Erfassung aller «Pixel» (hochaufgelöstes Foto) und am anderen nur ein einziges Pixel. Beides ist unpraktikabel. Die Frage ist: Wie viele und welche Pixel braucht es, um zum Beispiel ein Gesicht erkennen zu können?
Bei einem bekannten Kopf wie dem der Mona Lisa, genügen ein paar Dutzend gezielt gesetzte Bildpunkte und man erkennt sie (siehe Bild sowie [1]). Diese Pixel entsprächen den gewählten Indikatoren, die ein grobes Gesamtbild zeigen.
Das richtige und machbare Mass zwischen den beiden Extremen zu finden, heisst, die fürs Gesamtbild relevanten Indikatoren zu suchen. Es kann sein, dass man auf einen wichtigen verzichten muss, weil der Erhebungsaufwand zu gross wäre. Doch Vorsicht: «zu aufwändig» ist schnell gesagt und es lauert die Gefahr, nur zu nehmen, was sich einfach zählen lässt. Zahlen suggerieren Genauigkeit, doch sagen sie oft wenig aus; geben allenfalls Hinweise, wo genauer hingeschaut werden sollte, z.B. mittels einer Befragung oder einem Gespräch mit Betroffenen. Solche qualitativen Daten ergänzen das Bild [2].
Ein Beispiel dazu: Im Frauen-Solarprojekt Nicaragua wurde für den Projektfortschritt anfänglich die Anzahl der gebauten Solarkocher als Indikator genommen: Je mehr, desto besser. Bis den Projektleiterinnen eines Tages auffiel, dass zahlreiche Kocher ungenutzt herumstanden. Sie beschlossen daraufhin, fortan die «Zahl der Kocher im tatsächlichen Gebrauch» als Hauptindikator zu nehmen. Das hatte grosse Konsequenzen, weil dieser Indikator eine qualitative Erhebung voraussetzt, nämlich die Erfassung des Outcomes in den Küchen. Ein Teil der Ressourcen wurde nun dafür eingesetzt, jede Solarkocher-Besitzerin nach dem Baukurs zwei Jahre lang alle zwei Monate zu besuchen. Das verschaffte den Projektleiterinnen ein genaues Bild davon, was die Benutzung des Solarkochers im Alltag fördert bzw. behindert. So verbesserten sie Kurs und Follow-up laufend, was dazu führte, dass fast 90% der gebauten Kocher tatsächlich eingesetzt wurden.
Es geht also darum, sich nicht nur auf Zahlen abzustützen. Ähnlich wie bei einer Schulnote: Eine Vier im Aufsatz sagt etwas aus, aber man weiss nicht genau was. Das herauszufinden, ist die Qualität, die es braucht, um sich verbessern zu können. Reduziert man zu drastisch oder zu schnell, könnte Wesentliches unerkannt bleiben. Und man macht das, was man messen kann, zum Wesentlichen, was es vielleicht gar nicht ist.
Temperatur und Blutdruck sind nicht das Gesamtbild
Ausschliesslich schnell verfügbare Daten auszuwerten wäre, als ob man nur das Kinn von Mona Lisa hochaufgelöst erfassen würde und meint, so auf den ganzen Kopf schliessen zu können. Doch Grau- und Farbtöne sowie Tiefenschärfe sind oft nur im Gespräch mit verschiedenen Stakeholdern zu haben.
Es ist wie bei einem Kranken: Nur auf Temperatur, Blutdruck und Puls gestützt Massnahmen abzuleiten, kann mal gut gehen. Man kann aber auch falsch liegen.
Für die Evaluation einer Kampagne oder eines Projekts bedeutet das, am Anfang genau zu überlegen, welche Kennzahlen es braucht und wie die Daten in welchen Zeitabständen erhoben werden - quantitativ und qualitativ, um ein Gesamtbild in nützlicher Frist zu erhalten.
Last but not least, die Grundfrage: Wie viel und welchen Aufwand betreiben, wenn man knapp an Budget ist? Zentral ist, Monitoring, Wirkungsanalyse und Lerntransfer als integrale Teile jedes Projekts zu verstehen und aufwandsarm mitlaufen lassen: Zahlen, Stories, Gespräche mit Beteiligten (und ggf. auch mit nicht direkt Beteiligten). Das muss nicht viel sein, nur gut überlegt.
Kurz erwähnt sei hierfür die “Narrative Assessment”-Methode, die auf Geschichten von Betroffenen einer Intervention setzt. Ähnlich, aber viel umfassender ist der Happiness Index, wie er im Himalaya-Staat Bhutan erhoben wird. Er ist eine Inspiration und eine Alternative zum Bruttoinlandsprodukt, dessen Schlüsselindikatoren sich auf Zahlen beschränken [3].
PS: Mit möglichst wenig Aufwand möglichst viel Wirkung erzielen, wollen alle. Die Gretchenfrage ist: Wenig Aufwand für wen? Denn der eigene Nicht-Aufwand ist oft der anderen Arbeit.
Fussnoten
[1] Mehr siehe: «Wie Wirkung messen?»-Artikel, auf dem diese Kolumne beruht, erschienen in "Theories of Change" Springer-Palgrave-Mac Millan Sustainable Finance Series (2021)
[2] einen guten Vergleich zwischen traditionellen Wirkungsmodellen wie etwa das LogFrame sowie neueren Modellen mit reflektiven Ansätzen für komplexe Umstände, die qualitative Daten einschliessen, finden sich im Aufsatz «Approaches and methods for monitoring and evaluation» (2017)
[3] Mehr siehe einerseits die Plattform “Narrative Assessment” und andererseits das Buch “A Culture of Happiness”, von Tho Ha Vinh, der den Bhutan Happiness Index auf Organisationen übertragen hat.
