Heute berichtet Gastblogger Ralf Baum aus seiner E-Learning-Praxis: Er ist Mitgründer und Inhaber der E-Learning-Agentur Carrot Business Solutions aus Heidelberg und erfahrener Trainer für Schulungen in Articulate Storyline/Studio sowie Adobe Captivate. Er war außerdem einer der Referenten unseres Articulate Community Events in München am 8. Mai 2015.

Beim Auswerten eines Quizzes ist es wichtig, dem Lernenden nach der Wissensreflexion mitzuteilen, ob er sich das erforderliche Wissen aus einem E-Learning angeeignet hat. In der Theorie scheint das ganz einfach zu sein, doch in der Praxis ist es das nicht. Das „erforderliche Wissen“ muss nämlich in Zahlen umgesetzt werden. Heißt: Sie müssen einschätzen, wie viele Fragen der Lernende richtig beantworten muss, um das Quiz erfolgreich zu absolvieren.

Aber was ist das „erforderliche Wissen“? Die Frage lässt sich nicht so pauschal beantworten, deshalb gehen wir einen Schritt zurück und kategorisieren unsere Wissensreflexion.

Kategorie A: Sicherheitswissen zum Schutz der eigenen Person und Unbeteiligter

Hierzu zählen Sicherheitstrainings, wie Sie beispielsweise in vielen Produktionsstätten zur Schulung der Mitarbeiter eingesetzt werden. Der Lernende soll hier z. B. etwas über das richtige Verhalten bei Notfällen erfahren. Hier kann es keine zwei Meinungen geben. Bei allen sicherheitsrelevanten Trainings sollte der Passing Score auf 100 % stehen. Der Lernende muss diese Inhalte vollständig parat haben. Falls Ihnen das pedantisch erscheint: Wie würden Sie sich an Bord eines Flugzeuges fühlen, wenn Sie wüssten, dass der Pilot beim letzten E-Learning zum Thema Verhalten in kritischen Situation mit 76 % gerade so die Hürde übersprungen hat?

Kategorie B: Zertifizierung oder fortlaufende Qualifikation

Ganz wichtig hierbei: Mit dem erfolgreichen Abschluss des Trainings wird etwas dokumentiert. Das Resultat soll aussagen, dass der Lernende die erforderlichen Kenntnisse besitzt, um entweder eine Qualifikation nachweisen zu können oder dass er beispielsweise berechtigt ist, ein weiterführendes Training zu besuchen.

Es ist unmöglich, aus dem Stegreif heraus ein Level festzulegen, denn Sie müssen erst die Quizparameter für den Schwierigkeitsgrad festlegen. Wenn Sie Fragen mit unterschiedlichem Schwierigkeitsgrad verwenden, empfiehlt es sich, unterschiedliche Fragenpools mit festgelegtem Schwierigkeitsgrad zu verwenden.

Hierzu ein Beispiel (alle Fragen bekommen die gleiche Punktzahl):

Pool 1 (absolut erforderliches Wissen – leichter Schwierigkeitsgrad): 10 Fragen
Pool 2 (wichtiges Wissen – mittlerer Schwierigkeitsgrad): 7 Fragen
Pool 3 (Fachwissen – hoher Schwierigkeitsgrad): 3 Fragen

Jetzt geht es ans Festlegen des Erwartungshorizonts:

Pool 1: Der Benutzer muss alle Fragen richtig beantworten, aber einen Fehler kann jeder mal machen = 9/10 richtige Antworten
Pool 2: Hier sollte der Benutzer auch viel Wissen aus dem Training gezogen haben = 5/7 richtige Antworten
Pool 3: Wenn der Lernende die absoluten Profiwissensfragen nicht richtig beantworten kann, ist er immer noch im Soll = 0/3 richtige Antworten

Dies macht in der Gesamtrechnung: 14/20 richtige Antworten sind die Messlatte zum Bestehen unseres Trainings. Das heißt der Lernende muss 70 % der Fragen richtig beantworten, um das geforderte Wissen vorweisen zu können.

Dies ist natürlich nur ein Beispiel; es liegt an Ihnen, für Ihre Trainings einen entsprechenden Standard zu definieren.

Persönlicher Tipp: Setzen Sie die Messlatte nicht übertrieben hoch. Gestehen Sie gerade bei längeren Quizabfragen (> 20 Fragen) dem Lernenden einen Fehler zu. Einen Flüchtigkeitsfehler sollten Sie dem Lernenden immer einräumen. Falls das Wissen so relevant ist, dass der Lernende gar keinen Fehler machen darf, sollten Sie darüber nachdenken, das Training der Kategorie A zuzuordnen.

Kategorie C: Selbsteinschätzung des Wissens (ohne LMS-Anbindung)

Nicht alle Wissensstandsabfragen dürfen/müssen in ein Learning-Management-System eingebunden werden. Manchmal soll dem Lernenden einfach nur die Möglichkeit gegeben werden, sich nochmals mit der Materie auseinanderzusetzen und ein Feedback zu erhalten, wie gut er die Materie verstanden hat. Lautet das Feedback  „Bestanden“, hinterlässt es bei ihm ein gutes Gefühl. Allerdings soll es dieses „Wohlbefinden“ nicht inflationär geben. Heißt: Die Messlatte darf nicht zu niedrig liegen, denn der Lernende muss sich diese Auszeichnung schließlich verdienen.

Wie legt man diese Messlatte fest?

Sie haben natürlich weiterhin die Möglichkeit, wie bei Kategorie B die Fragen bezüglich der Lernrelevanz einzuteilen. Allerdings darf man nicht vergessen, dass oftmals die Selbsteinschätzungen am Ende einer Lerneinheit nicht besonders viele Fragen beinhalten. Schließlich soll hier nur der Inhalt des Moduls zu einer etwas „lockeren“ Reflexion wiederholt werden. Dann möchte der Lernende keine 20 Fragen am Ende eines Kurses beantworten, sondern lediglich nochmal punktuell befragt werden. Für 7 Fragen am Ende eines Kurses erscheint der Aufwand für Extra-Quizpools etwas zu hoch. Deshalb sollten Sie hier eine feste Bestehensquote festlegen, die sich am geforderten Wissensstand des Lernenden orientiert. Hierbei sollten Sie eine Messlatte definieren, die Sie dann auch für weitere Abfragen nutzen können. Diese Quote liegt erfahrungsgemäß zwischen 75 und 90 %.

Tipp zum Passing Score: Sie steigern die Akzeptanz beim Lernenden, wenn Sie vorab darauf hinweisen, welche Qualifikationen mit diesem Test dokumentiert werden sollen. Erwecken Sie nicht den Eindruck einer willkürlichen Bestehen-/Nichtbestehen-Grenze. Erklären Sie dem Lernenden vor dem Quiz, dass er beispielsweise seine Kenntnisse im Wissensgebiet A dokumentieren muss, um beispielsweise ein Zertifikat zu erhalten, das ihn berechtigt, im Arbeitsfeld A zu arbeiten.

Für die Bestimmung eines Passing Score ist es also wichtig, dass Sie sich zuerst fragen, welcher Kategorie das Lernprogramm zugeordnet werden soll. Danach wird es Ihnen einfacher fallen, einen solchen festzulegen.

Bitte teilen Sie Ihre Erfahrungen über die Kommentarfunktion unterhalb dieses Artikels.

Um zukünftige Updates nicht zu verpassen, abonnieren Sie meinen Blognewsletter, und vergessen Sie nicht, mir auf Twitter zu folgen.