Bonjour chers membres de la communauté Articulate !

Je suis Jesse Taber, responsable de l’ingénierie et je suis de retour pour vous parler de la mise à jour de Storyline pour le deuxième trimestre 2024. Ce trimestre, je souhaite commencer par mettre en lumière un domaine sur lequel nous nous concentrons actuellement pour améliorer la qualité : la publication des modules, puis je vous donnerai quelques chiffres clés sur des données courantes. C’est parti !

Pleins feux sur la qualité de la publication

Cela fait maintenant plus d’un an que nous surveillons la fréquence des échecs de publication dans Storyline 360. Au printemps 2023, nous avons réalisé des progrès impressionnants dans la réduction des échecs, mais depuis nous avons régressé.

Pourcentage d’échec de publication dans Storyline 360 ​​pour les mises à jour 74 à 86.

Avant d’expliquer pourquoi cela s’est produit et comment nous prévoyons de continuer à réduire les échecs de publication, j’aimerais vous expliquer ce qui se passe en arrière-plan lorsque vous publiez votre projet, afin que vous compreniez pourquoi le processus échoue parfois.

Comment fonctionne la publication de modules ?

Lorsque vous publiez un module, Storyline analyse chaque scène et chaque diapositive puis crée des fichiers de données décrivant tout ce qui doit se produire pour recréer la vision de l’auteur pour son module dans le navigateur de l’apprenant.

Tout objet, déclencheur, animation, point de repère dans la chronologie, image, vidéo, etc., est représenté comme un composant dans ces fichiers de données. De plus, les images, la vidéo et l’audio peuvent devoir être compressés ou réencodés pour fonctionner correctement dans différents navigateurs. Ensuite, les paramètres du lecteur de modules sont résumés dans des fichiers de données distincts qui décrivent les options du lecteur, les couleurs, les étiquettes de texte, etc. Enfin, certains formats spécialisés comme la publication au format Word ou Vidéo effectuent un travail supplémentaire pour créer le fichier Word ou MP4 qui va être publié.

Comme vous pouvez le constater, la publication d’un seul module Storyline nécessite la création de dizaines de fichiers et peut s’avérer assez complexe. Et plus un processus est complexe, plus le taux d’échec tend à être élevé.

Comment calculons-nous le taux d’échec de publication ?

Pour calculer le taux d’échec de publication, nous divisons le nombre d’opérations de publication ayant échoué par le total des tentatives. Comment savons-nous quand la publication échoue ? C’est simple.

Lorsque vous publiez votre module, nous enregistrons certaines informations de base à son sujet, telles que les paramètres de qualité audio et vidéo, les fonctionnalités de lecteur activées et le type de publication (Web, LMS, vidéo, etc.). Au fur et à mesure de la progression, nous enregistrons d’autres informations liées aux performances et, plus important encore, si la publication s’est terminée avec succès. 

Pourquoi le taux d’échec de publication a-t-il augmenté en juillet 2023 ?

En corrigeant un bug lié à la publication, nous avons découvert que nous n’enregistrions pas toutes les publications échouées. Certaines publications échouées étaient comptabilisées comme des annulations intentionnelles.

Lorsque nous avons résolu ce problème et l’avons publié dans la mise à jour 78, nous savions que nous allions probablement constater une augmentation des échecs de publication puisque nous les enregistrions à présent tous correctement. Bien qu’il soit décourageant de voir cette mesure augmenter, nous savions qu’il était important d’avoir une image complète et précise de ce qui se passait pour les auteurs utilisant Storyline dans leur travail quotidien.

Pourquoi la publication échoue-t-elle parfois ?

Mais même avec des mesures d’échec de publication plus précises, nous ne pouvions que déterminer la fréquence de ces échecs, et non leurs raisons. Pour comprendre pourquoi, nous avons dû corréler les mesures d’échec de publication avec les données de rapport d’erreur que nous obtenons des utilisateurs qui soumettent ce formulaire :

Lorsque nous recevons ces données, nous pouvons les étiqueter avec des mots-clés qui nous permettent de reconnaître des récurrences, d’identifier les différents problèmes et de les corriger.

Lorsque nous avons commencé à analyser les rapports d’erreurs de publication, nous avons découvert que les échecs les plus courants étaient liés aux opérations d’entrée/sortie sur disque (E/S sur disque).

Qu’est-ce que cela signifie ? Nous avons parlé plus tôt de la complexité du processus de publication. La création d’un grand nombre de fichiers nécessite que Storyline écrive et lise beaucoup de données vers et depuis le disque dur de l’ordinateur, ce que l’on appelle communément les E/S sur disque. Malheureusement, chaque fois qu’un logiciel doit effectuer des opérations d’E/S sur disque, des problèmes peuvent survenir. Par exemple :

• Votre ordinateur peut manquer d’espace disque.
• Storyline peut être en conflit avec un autre processus pour lire ou écrire un fichier sur le disque. Les processus d’arrière-plan qui analysent ou copient des fichiers, tels que les services anti-malware (qui recherchent et suppriment les logiciels malveillants) ou de sauvegarde dans le cloud, provoquent souvent ce type de conflit.
• Un problème ponctuel du système d’exploitation peut entraîner l’échec inattendu d’une opération d’E/S de disque, comme ce fut le cas avec une mise à jour Windows déployée au printemps 2023 (lien en anglais).

Les échecs d’E/S de disque échappent souvent au contrôle d’Articulate et peuvent nécessiter votre aide pour être résolus. Par exemple :

• Si vous manquez d’espace disque, vous devrez en libérer pour que Storyline puisse publier votre module correctement.
• Si Storyline rencontre un conflit avec un autre processus lors de la tentative de lecture ou d’écriture d’un fichier, il suffit parfois d’attendre une fraction de seconde et de réessayer. D’autres fois, certains services de recherche de logiciels malveillants particulièrement récalcitrants peuvent nous empêcher d’accéder à un fichier pendant une longue période. Dans ces cas-là, vous devrez peut-être arrêter temporairement le service ou exclure certains fichiers et dossiers de l’analyse.

Mais comment, en tant qu’auteur, pouvez-vous déterminer pourquoi la publication échoue ? Malheureusement, il n’existe pas de moyen simple de le faire pour l’instant. Mais nous allons en parler dans la partie suivante.

Étapes suivantes

Nous savons à quel point il est frustrant que Storyline ne parvienne pas à publier votre module. Et cette frustration est aggravée par le fait que la boîte de dialogue du rapport d’erreur vous indique qu’un problème s’est produit, mais ne précise pas pourquoi ni comment le résoudre.

C’est pourquoi nous travaillons à repenser cette expérience afin de vous fournir plus d’informations sur les raisons pour lesquelles l’opération de publication a pu échouer. Cela indiquera à l’auteur s’il peut lui-même résoudre le problème (en libérant de l’espace disque, par exemple) mais aussi quelle était la scène ou la diapositive qui était en cours de publication lorsque l’échec s’est produit.

Bien entendu, toutes les erreurs qui se produisent pendant la publication ne nécessitent pas l’intervention de l’auteur. Bon nombre de ces erreurs sont des bugs dans Storyline que nous devons corriger. Nous nous attaquons actuellement aux dix erreurs les plus courantes pour vous aider à publier vos projets avec succès.

Indicateurs de qualité

Taux d’erreur de l’application

Le taux d’erreur de l’application mesure la fréquence à laquelle Storyline 360 ​​affiche la boîte de dialogue « Rapport d’erreur Articulate Storyline ». Nous suivons ces données à la fois pour les sessions Storyline 360 ​​(c’est-à-dire chaque fois que Storyline 360 est ouvert puis fermé plus tard) et pour les utilisateurs. Notre objectif est de ramener cette mesure sous la barre des 1 %.

Au début du premier trimestre 2024, le taux d’erreur de l’application pour les sessions Storyline oscillait autour de 1,15 % et est resté stable depuis.

Taux d’erreur de l’application de Storyline 360 ​​par session pour les mises à jour 81 à 87.

Lorsque j’ai travaillé pour la première fois sur le taux d’erreurs de l’application par utilisateur pour la mise à jour 84 au cours du trimestre dernier, il était d’environ 10 %, mais il a depuis augmenté pour se rapprocher de 20 %. Alors que le taux d’erreurs de l’application par session a tendance à se stabiliser plus une version donnée est disponible, le taux au niveau de l’utilisateur augmente. En effet, plus de nouvelles personnes utilisent une mise à jour, la probabilité qu’elles rencontrent au moins une erreur inattendue augmente. Nous travaillons dur pour résoudre les erreurs inattendues dans Storyline afin d’améliorer cette mesure.

Taux d’erreur de l’application Storyline 360 ​​par utilisateur pour les mises à jour 81 à 87.

Rétrogradations

Cette mesure permet de suivre la fréquence à laquelle un utilisateur de Storyline 360 ​​met à jour une nouvelle version de l’application, pour ensuite revenir à une version antérieure. Nous interprétons les rétrogradations comme une indication que les auteurs ont rencontré des problèmes dans la nouvelle version et que cela les a empêchés de terminer leur travail.

L’année dernière, nous avons vu cette mesure chuter en dessous de 1 % à la fin du deuxième trimestre et y rester jusqu’au milieu du troisième trimestre. Depuis lors, elle a grimpé et oscillé entre 1 % et 1,6 %, la mise à jour 84 repassant sous les 1 %. Bien que nous soyons heureux d’avoir réduit ce chiffre par rapport aux 2 % observés l’année dernière, nous voulons mieux comprendre pourquoi nos clients repassent à une version antérieure. Nous nous efforcerons de clarifier ce point dans les mois à venir.

Pourcentage de rétrogradation de Storyline 360 ​​pour les mises à jour 81 à 87.

Taux de défaut

Cette mesure suit le pourcentage de dossiers d’assistance ouverts associés à un bug non résolu. Une augmentation de ce nombre indique que notre équipe d’assistance passe du temps à traiter les rapports de bug au lieu d’aider les clients à tirer le meilleur parti de nos produits. Notre objectif est donc de maintenir cette valeur en dessous de 10 %.

Cette mesure est inférieure au seuil de 10 % depuis un certain temps déjà, mais nous continuerons à la surveiller de près et à prendre des mesures si elle augmente soudainement en raison d’un afflux de rapports sur un bug. Nous nous appuyons sur les dossiers d’assistance pour guider nos efforts de correction des bugs, je vous encourage donc à contacter notre équipe d’assistance si vous rencontrez des problèmes avec Storyline 360 (en anglais).

Taux de défaut de Storyline 360 ​​d’octobre 2023 à avril 2024.

Sessions incomplètes

Cette mesure permet de suivre la fréquence à laquelle Storyline 360 ​​se ferme de manière inattendue en raison d’une erreur. Notre objectif est de maintenir cette mesure en dessous de 1 %.

L’équipe Storyline a consacré le premier trimestre à améliorer cette mesure autant que possible. Elle oscille autour de 3,5 % depuis le quatrième trimestre de l’année dernière, et nos efforts pour l’améliorer ont été lents à se concrétiser. Chaque occurrence qui contribue à cette mesure nécessite beaucoup de temps pour être étudiée et corrigée, mais chaque correction entraîne une amélioration très marginale du taux global. J’ai réduit la plage de valeurs sur l’axe vertical de ce graphique pour illustrer les progrès réalisés au cours du dernier trimestre. Au début du premier trimestre, nous avons constaté un taux d’environ 3,8 %. À l’approche du deuxième trimestre, ce taux était tombé à environ 3,3 %, soit une amélioration de 0,5 %.

Nous avons dû récemment orienter nos efforts vers d’autres domaines, mais nous continuerons à surveiller cette situation de près et à la réexaminer à l’avenir.

Pourcentage de sessions incomplètes de Storyline 360 ​​pour les mises à jour 81 à 87.

Le mot de la fin

Nous nous concentrons actuellement sur l’amélioration de la mesure des échecs de publication. Je vous ferai part de nos progrès dans l’article du prochain trimestre. En attendant, si vous souhaitez voir d’autres sujets abordés dans ces mises à jour sur la qualité, n’hésitez pas à me contacter : jtaber@articulate.com.