Eintrag vom 25. Juni 2024 

Liebe E-Learning-Fans und -Profis,

Jesse Taber hier mit dem Storyline-Qualitätsupdate fürs 2. Quartal 2024. Dieses Mal möchte ich, bevor ich Ihnen von den Entwicklungen der üblichen Qualitätskennzahlen berichte, einen Bereich besonders hervorheben, in dem wir gerade emsig an Qualitätsverbesserungen arbeiten: der Veröffentlichung von Kursen. Los geht’s!

Schlaglicht: Veröffentlichungsqualität

Über mehr als ein Jahr hinweg haben wir jetzt verfolgt, wie oft die Veröffentlichung von Kursen in Storyline 360 fehlschlägt. Bis zum Frühjahr 2023 hatten wir in diesem Bereich enorme Fortschritte gemacht, aber seitdem sind die Zahlen wieder gestiegen.

Liniendiagramm: Prozentsatz der fehlgeschlagenen Veröffentlichungsversuche in Storyline 360 für Articulate-360-Updates 74 bis 86.

Bevor ich Ihnen erkläre, warum es dazu kam und was wir unternehmen, um fehlschlagende Veröffentlichungen weiter zu minimieren, will ich kurz ausholen und aufzeigen, was alles im Hintergrund passiert, wenn Sie ein Projekt veröffentlichen, damit verständlicher wird, warum der Prozess manchmal nicht nach Plan verläuft.

Was genau passiert beim Veröffentlichen eines Kurses?

Wenn Sie einen Kurs veröffentlichen, analysiert Storyline jede Szene und Folie und erzeugt daraufhin Dateien, in denen alles beschrieben wird, was passieren muss, um Ihre Vision des Kurses im Browser der Teilenehmer Wirklichkeit werden zu lassen.

Jedes Objekt, jeder Trigger, jede Animation, jeder Zeitachsen-Einsatzpunkt, jedes Bild, Video usw. wird als Element in diesen Dateien hinterlegt. Darüber hinaus müssen Bilder, Audioclips und Videos in der Regel komprimiert oder umkodiert werden, damit sie in den verschiedenen Browsern funktionieren. Dann müssen die verschiedenen Kurs-Player-Einstellungen in separate Dateien geschrieben werden, in denen die Player-Optionen, Farben, Beschriftungen usw. beschrieben sind. Und schließlich sind für spezielle Formate wie bei der Veröffentlichung als Video oder als Word-Datei weitere Schritte nötig, um die finale Video- bzw. Word-Datei zu erstellen.

Wie Sie sehen, müssen für jeden noch so schlichten Storyline-Kurs Dutzende von Dateien erstellt werden. Das wird schnell ziemlich komplex. Und je komplexer ein Prozess, desto fehleranfälliger ist er in aller Regel.

Wie berechnen wir die Fehlschlagrate bei der Veröffentlichung?

Wir teilen ganz einfach die Zahl der Fehlschläge durch die Zahl aller versuchten Veröffentlichungen. Woher wissen wir, wann eine Veröffentlichung fehlschlägt? Ganz einfach.

Wenn Sie einen Kurs veröffentlichen, erfassen wir ein paar grundlegende Daten über den Kurs, z. B. Die Audio- und Video-Qualitätseinstellungen, die aktivierten Player-Funktionen und das Veröffentlichungsformat (Internet, LMS, Video usw.). Während des Veröffentlichungsprozesses erfassen wir weitere Leistungsdaten und, nicht zuletzt, ob die Veröffentlichung erfolgreich abgeschlossen wurde.

Warum sind im Juli 2023 plötzlich so viele Veröffentlichungen fehlgeschlagen?

Als wir dabei waren, einen Fehler im Zusammenhang mit der Kursveröffentlichung zu beheben, fiel uns auf, dass wir nicht alle fehlgeschlagenen Versuche erfassten. Einige Fehlschläge wurden als Abbrüche durch den Benutzer erfasst.

Als wir mit Update 78 diesen Fehler behoben, war uns klar, dass wir wahrscheinlich stark ansteigende Zahlen bei den Fehlschlägen sehen würden, da wir ab dann tatsächlich alle erfassen würden. Natürlich war es etwas entmutigend, diese Kennzahl doch wieder steigen zu sehen, aber uns war wichtiger, ein möglichst realistisches Bild des Arbeitsalltags der Nutzerinnen und Nutzer von Storyline bekommen.

Warum schlägt das Veröffentlichen manchmal fehl?

Jetzt waren wir uns also sicher, dass wir genauer erfassen, wenn ein Veröffentlichungsversuch fehlschlägt – aber noch nicht, warum. Dazu mussten wir die Daten über den fehlgeschlagenen Versuch mit den Daten aus dem Fehlerbericht korrelieren, den wir erhalten, wenn Benutzer dieses Formular abschicken:

Wenn wir diese Daten erhalten, können wir sie mit Schlagwörtern kennzeichnen, die es uns ermöglichen, Muster zu erkennen, Problemursachen zu ermitteln und beheben.

Bei der Analyse der Fehlerberichte fiel uns auf, dass einige der am häufigsten auftretenden Fehlschläge mit Ein-/Ausgabevorgängen zusammenhingen.

Was bedeutet das jetzt? Vorhin hatten wir es ja von der Komplexität des Veröffentlichungsprozesses. Bei der Erstellung all der nötigen Dateien, muss Storyline immer wieder Daten auf die Festplatte schreiben und andere von ihr lesen. Das ist es, was mit Ein-/Ausgabevorgängen gemeint ist. Leider kann, wenn Software Ein-/Ausgabevorgänge vornehmen muss, immer mal etwas schieflaufen. Einige Beispiele:

• Der Platz auf der Festplatte könnte zur Neige gehen.
• Storyline könnte mit anderen Prozessen um den Zugriff auf eine bestimmte Datei konkurrieren. Zu solchen Konflikten kommt es häufig mit Hintergrundprozessen, die Dateien scannen oder kopieren (z. B. von Virenschutzprogrammen oder Cloud-Backup-Lösungen).
• Ein plötzliches Problem im Betriebssystem kann zum Fehlschlag des Ein-/Ausgabevorgangs führen.

Fehler bei Ein-/Ausgabevorgängen liegen meist außerhalb unserer Kontrolle, und bei einigen sind wir auf Ihre Mithilfe angewiesen. Auch hierzu ein paar Beispiele:

• Wenn Ihnen der Festplattenspeicherplatz ausgeht, müssen Sie welchen schaffen, damit Storyline den Kurs veröffentlichen kann.
• Stellt Storyline einen Konflikt mit einem anderen Prozess um den Zugriff auf eine bestimmte Datei fest, reicht es oft, einen Bruchteil einer Sekunde zu warten und es dann noch einmal zu versuchen. Hartnäckigere Scan-Prozesse können aber auch dazu führen, dass Storyline über einen längeren Zeitraum nicht auf die Datei zugreifen kann. In solchen Fällen müssen Sie den anderen Prozess evtl. kurz anhalten und/oder bestimmte Dateien oder Ordner vom Scan ausschließen.

Aber woher sollen Sie wissen, warum Ihr Veröffentlichungsversuch gerade fehlgeschlagen ist? Leider gibt es auf diese Frage noch keine einfache Antwort, aber lesen Sie weiter. Wir kommen darauf gleich zu sprechen.

Die nächsten Schritte

Wir wissen gut, wie frustrierend es ist, wenn Storyline Ihren Kurs einfach nicht veröffentlichen will. Und dass Ihnen die angezeigte Fehlermeldung nicht verrät, wo das Problem liegt, geschweige denn, wie Sie es lösen können, macht die Sache nicht besser.

Genau deshalb arbeiten wir gerade eifrig daran, Ihnen in diesen Situationen mehr Informationen dazu zu liefern, warum der Veröffentlichungsversuch fehlgeschlagen sein könnte. So möchten wir Ihnen zukünftig eine Einschätzung geben, ob Sie selbst zur Fehlerbehebung beitragen können (z. B. für mehr Speicherplatz sorgen), und Ihnen verraten, welche Szene bzw. Folie gerade veröffentlicht wurde, als der Fehler auftrat.

Natürlich ist es nicht bei jedem Fehler so, dass Sie etwas tun können. Bei einigen handelt es sich tatsächlich um Bugs, die wir beheben müssen. Aktuell arbeiten wir an der Behebung der 10 häufigsten Fehlerursachen, damit Sie bald wieder mit noch größerer Verlässlichkeit Ihre E-Learning-Kurse veröffentlichen können.

Qualitätskennzahlen

Anwendungsfehlerrate

Mit dieser Kennzahl wird erfasst, wie oft Storyline 360 den Dialog „Articulate Storyline Error Report“ anzeigt. Diese Daten erfassen wir sowohl pro Storyline-360-Sitzung – also für jedes Mal, dass Storyline 360 geöffnet und dann wieder geschlossen wird – und pro Benutzer. Unser Ziel ist es hier, sowohl für Sitzungen als auch für Benutzer unter 1 % zu kommen.

Seit Beginn des ersten Quartals 2024 liegt die Anwendungsfehlerrate bei etwa 1,15 %.

Liniendiagramm: Anwendungsfehlerrate von Storyline 360 pro Sitzung für Articulate-360-Updates 81 bis 87.

Als ich im letzten Quartal zum ersten Mal die Anwendungsfehlerrate pro Benutzer seit Update 84 kommunizierte, lag sie bei etwa 10 %, ist seitdem aber auf fast 20 % gestiegen. Während sich die Anwendungsfehlerrate pro Sitzung mit der Zeit um einen stabilen Wert einpendelt, steigt die Rate pro Benutzer immer weiter. Das liegt ganz schlicht daran, dass immer mehr Benutzer das Update aufspielen und so auch die Wahrscheinlichkeit steigt, dass es bei ihnen mindestens einmal zu einem Fehler kommt. Wir arbeiten hart daran, diese Fehlerrate langfristig zu senken.

Liniendiagramm: Anwendungsfehlerrate von Storyline 360 pro Benutzer für Articulate-360-Updates 81 bis 87.

Downgrades

Mit dieser Kennzahl messen wir, wie oft jemand eine neuere Version von Storyline 360 installiert, nur um dann wieder auf eine ältere Version umzusteigen. Wir interpretieren solche Downgrades als Anzeichen dafür, dass die Benutzer in der neuen Version Probleme hatten, die ihnen die Arbeit erschwert haben.

Im letzten Jahr fiel diese Zahl gegen Ende des zweiten Quartals unter 1 %, wo sie bis zur Mitte des dritten Quartals blieb. Seitdem ist sie wieder etwas gestiegen und schwankt zwischen 1 % und 1,6 %. Seit Update 84 liegt sie wieder unter 1 %. Wir sind zwar sehr zufrieden damit, dass die Kennzahl insgesamt unter die 2 % des Vorjahres gefallen ist, aber wir würden gerne noch besser verstehen, warum einige Benutzer wieder zu älteren Versionen zurückkehren. In den kommenden Monaten werden wir auch hieran hart arbeiten.

Liniendiagramm: Prozentsatz der Storyline-360-Downgrades für Articulate-360-Updates 81 bis 87.

Defektrate

Diese Kennzahl drückt den Prozentsatz der offenen Supportfälle im Zusammenhang mit einem noch nicht behobenen Fehler aus. Steigt diese Zahl, ist das ein Anzeichen dafür, dass unser Support-Team seine Zeit damit verbringt, Fehlerberichte zu bearbeiten, anstatt Benutzern zu helfen, das meiste aus unseren Produkten herauszuholen. Unser Ziel ist es daher, diesen Wert unter 10 % zu halten.

Zum Glück liegt er schon seit einiger Zeit unter dieser Schwelle, aber wir behalten ihn genauestens im Auge, damit wir sofort aktiv werden können, wenn er plötzlich stark ansteigen sollte. Fehlerberichte zu erhalten, ist extrem wichtig für uns, denn nur wenn wir wissen, wo die Probleme liegen, kann unser Team gezielt an der Behebung arbeiten. Ich möchte Sie bitten, unser Support-Team zu kontaktieren (bitte auf Englisch), wenn Sie Probleme mit Storyline 360 haben sollten.

Liniendiagramm: Defektrate von Storyline 360 von Oktober 2023 bis April 2024.

Abgebrochene Sitzungen

Diese Kennzahl drückt aus, wie oft Storyline 360 aufgrund eines Fehlers unerwartet beendet wird. Unser Ziel ist es, sie unter 1 % zu bringen.

Das Storyline-Team hat einen Großteil des ersten Quartals damit verbracht, hier Verbesserung zu erzielen. Seit Ende 2024 schwankt der Wert um die 3,5 %, und leider haben wir seitdem nur kleine Fortschritte machen können. Jeder einzelne Aspekt, der einen Einfluss auf diese Kennzahl hat, erfordert viel Zeit in der Analyse und Ausbesserung, und jeder Fix bringt nur einen Bruchteil an Besserung. Ich habe den Zahlenbereich der senkrechten Achse in dieser Grafik reduziert, um den Fortschritt des letzten Quartals deutlich zu machen. Zu Beginn des ersten Quartals lag der Wert noch bei ca. 3,8 %. Bis zum zweiten Quartal war er auf etwa 3,3 % gesunken, immerhin ein halber Prozentpunkt.

In der jüngsten Zeit mussten wir einige Ressourcen in andere Bereiche umleiten, wir behalten den Punkt aber im Auge und werden demnächst hier weiterarbeiten.

Liniendiagramm: Prozentsatz abgebrochener Sitzungen von Storyline 360 für Articulate-360-Updates 81 bis 87.

Fazit

Aktuell arbeiten wir daran, die Veröffentlichungsfehlschlagrate zu senken. In meinem Update für das nächste Quartal berichte ich Ihnen, wie es uns damit ergangen ist. Wenn Ihnen bis dahin noch weitere Themen einfallen, die in diesen Qualitätsupdates behandelt werden sollten, schreiben Sie mir gerne an jtaber@articulate.com.

Wenn Ihnen dieser Beitrag gefallen hat, abonnieren Sie doch unseren wöchentlichen Blognewsletter.