Lerntransfer und Lernerfolg: Wie messen?

Wie war er? Was war gut, was weniger? Wie war die Kursleitung auf einer Skala von 1 bis 10? – und so weiter: Am Schluss eines Kurses folgt dessen Auswertung stets auf dem Fuss.

Solche Output-Messungen beruhen auf der Annahme, dass ein Kurs, der gut ankommt, auch die gewünschte Wirkung in der Praxis entfalten wird. Ein Trugschluss. Meistens. Denn die Forschung [1] zeigt, dass es praktisch keine Korrelation gibt zwischen der unmittelbaren Beurteilung eines Kurses und seiner langfristigen Wirkung, also dem Transfer des Gelernten in die Praxis. Und forscht man in den eigenen Erfahrungen, weiss jede:r: Was du nicht anwendest, vergisst du wieder. Doch ebendiese Wirkung danach in der Praxis ist ja das eigentliche Ziel eines Kurses. In der Kolumne «Lernen von Seinesgleichen» versuchte ich zu zeigen, dass diese gewünschte Wirkung erheblich verstärkt werden kann, indem sich zwei Abgänger:innen für ein paar Wochen als Peer-Learning-Paar zusammen tun: Sie stützen sich gegenseitig und erhöhen so den Transfer in die Praxis. 

HIer nun geht es um die Frage, wie man messen kann, wie viel Transfer vom Kursraum in die Praxis stattfindet. Unter Lerntransfer versteht man dabei, inwieweit neu Gelerntes - eine Fähigkeit, eine Methode, eine Kompetenz - in den beruflichen Alltag übertragen und angewendet werden kann. Doch wie messen? - wenn Lernwirkungen ja nicht wie ein Gewicht direkt gemessen werden kann (sie drücken sich vielmehr in nicht direkt messbarer Verhaltensänderung aus). 

Davon später mehr; zuerst ein paar Worte zur Theorie: Die Forschung zur Wirkung betrieblicher Weiterbildung wurde wegweisend von Donald Kirkpatrick begründet (Wikipedia), der 1959 das nach ihm benannte Modell zur Wirkungsmessung von Ausbildungen und Kursen publizierte. Es ist vierstufig (visualisiert z.B. hier als Grafik):

• Auf Stufe 1 wird von den Teilnehmer:innen ein Feedback eingeholt: Die unmittelbare «Reaktion» auf den Kurs.
• Auf Stufe 2 erfolgt eine Wissensabfrage nach dem Kurs z.B. als Test zu den «Lerninhalten». 
• Stufe 3 beinhaltet den besagten Lerntransfer in die Praxis: Gibt es Änderungen im «Verhalten» gemäss den Kurszielen? 
• Auf Stufe 4 geht es um die langfristigen «Resultate», wie z.B. Steigerung des Umsatzes einer Firma oder die gesellschaftliche Wirkung einer NGO. 

Unklare Zuständigkeit auf Stufe 3 ist Teil des Transfer-Problems

Kirkpatrick’s Lehre gemäss sollten auf jeder Stufe Wirkungsmessungen erfolgen, doch in der Praxis geschieht dies meistens nur auf den Stufen 1 und 2 – also unmittelbar am Kursende. Das ist am einfachsten zu haben, nur sagt es eben nicht viel aus. Der Grund, warum auf der eigentlich relevanten Stufe 3 kaum gemessen wird, ist der höhere Aufwand und die Frage der Zuständigkeit, die von der Kursgeberin zum Betrieb wechselt, wo oft nicht klar ist, wer für den Transfer zuständig ist. Dabei ist es eben dieser, woran sich letztlich die Wirksamkeit der Investitionen in Weiterbildung misst. Er ist Voraussetzung dafür, damit das eigentliche Ziel auf Stufe 4 erreicht werden kann: Eine Verbesserung des Ergebnisses einer Firma, eines Projektes oder einer Kampagne. Der «Return on Learning Investment», sozusagen.

Kirkpatrick’s Modell ist linear und suggeriert, wenn Stufe 1 und 2 gute Ergebnisse zeitigen, werde ebensolches auf den weiteren Stufen geschehen, was aber wie gesagt nicht automatisch der Fall ist. Trotzdem ist das Modell nützlich, um sich des ganzen Lernprozesses bewusst zu werden. Ausserdem haben es seine Kinder durch verstärkte Prozessorientierung verbessert. Es heisst nun New Kirkpatrick  – mit u.a. folgenden Modifikationen (siehe Grafik und )

• Fragt man auf Stufe 2 nicht nur das gelernte Wissen ab, sondern auch, ob die Kursabgänger:innen zuversichtlich sind, das Gelernte übertragen zu können (‘confidence’) und ob sie bereit sind, das Gelernte anzuwenden (‚commitment‘), gilt: «Je höher Zuversicht und Bereitschaft desto mehr Transfer».
• Die Stufe 4 ist nun der Ausgangspunkt, um Weiterbildungsmassnahmen festzulegen. Man zäumt also das Pferd von hinten auf und fragt sich, welche Kompetenzen, Verhaltensweisen oder welches Knowhow es eigentlich braucht, damit ein gewünschtes Betriebsresultat erreicht wird, also z.B. eine angestrebte gesellschaftliche Änderung. Sodann fragt sich: Wie können Campaigner, Projektleiterinnen oder Teams die nötigen Kompetenzen erlangen und in der Praxis anwenden? 
• Die Lern- und Transferprozesse sollten begleitet und überprüft werden; nicht als Kontrolle, sondern zusammen mit den Beteiligten, damit sie wahrscheinlicher erreichen, was sie selber wollen. 
• Unterstützungen wie encouragement (Ermutigung z.B. zum Ausprobieren), reward (z.B. Anerkennung im Team) und reinforcement (Verstärkung z.B. durch Peer-Support oder Mentoring) verstärken den Lerntransfer erheblich. Und werden die Weiterbildungsmassnahmen zusammen abgemacht, kann Transferunterstützung von Anfang an abgefragt und in den Prozess einbezogen werden (siehe «Toolkit for Learning Transfer»). 

Und wie misst man nun? 

Normalerweise mit einem Fragebogen, mit dem man nach verschiedenen Zeiten – z.B. nach 3  und 12 Monaten – erhebt, wie die Kursabgänger:innen in der Selbstbeurteilung und im Urteil ihres Umfeldes, welche Teile des Gelernten umsetzen und wo sie scheitern. Das ist aufwändig (siehe Fussnote (1B)). Weniger aufwändig sind Fokusgruppen oder Interviews, also die Erhebung qualitativer Daten, mit welchen man ein Gefühl und ein Bild davon bekommt, was funktioniert und was nicht. Sie sind beliebter. Fragebögen und Ratings gibt es schon genug.

Fazit: Ein Bewusstsein für Lernmethoden zu entwickeln, ist für Organisationsentwicklung wie für Kampagnen von hoher Relevanz. OE wie Kampagnen sind im Grunde Lern-Interventionen, denn jeder Änderung wohnt ein Lernprozess inne. Und doch, selbst bei Kampagnen, erfolgt die Wirkungsmessung meist nur bis Stufe 2, indem man z.B. unmittelbar nach einer Aktivität die Medienresonanz auswertet oder Rückmeldungen einholt. Das ist gut, genügt aber nicht. Für den eigentlichen Transfer und für die Wirkungsmessung werden die nötigen Ressourcen oft nicht eingeplant.

PS: Im Zuge der Digitalisierung findet betriebliche Weiterbildung zunehmend online statt, wofür sogenannte Learning Management Systems (LMS) eingesetzt werden. Dies birgt zwei Gefahren: 

• Dass man sich durch die vielen Lerninhalte klickt. Aber «zeitsparend-effizient» lernen geht nicht. Lernen verkommt zum Surfen; doch haften bleibt nur, was man anwendet. Man gibt so der Quantität gegenüber der Qualität Vorrang.
• Auf Stufe 3 verstärkt sich die Problematik des mangelnden Transfers, namentlich beim interpersonalen Lernen wie Teambildung, Feedbackgeben, Projektleitung oder Leadership. Solche Lerninhalte brauchen Hybrid-Angebote, weil Knowhow und Kompetenz nicht theoretisch erworben werden können.

Andrerseits haben LMS Vorteile, wie etwa die Individualisierung von Inhalten und Lerntempi, videobasierte Tutorials oder die einfache Erfassung des Lernerfolgs auf Kirkpatrick Stufe 1 und 2.  Zusätzlich könnte ein Lernen als Lernreise (learning journey) konzipiert und der Praxistransfer im LMS eingefädelt werden. Hierfür könnte zukünftig die KI, die nicht vor der betrieblichen Weiterbildung Halt machen wird, eingesetzt werden.

[1] z.B.: A) «Der Mythos Wirkungskette in der Weiterbildung – empirische Prüfung der Wirkungsannahmen im Four Levels Evaluation Model von Donald Kirkpatrick»;  Zeitschrift für Berufs- und Wirtschaftspädagogik (2011) B) «Wie Weiterbildung messbar wird», Gesellschaft für angewandte Berufsbildungsforschung (2018)

[2] The New World Kirkpatrick Model siehe z.B. hier