"Le digital learning ne fonctionne pas, le taux de complétion est très faible”; “tout le monde sait que le taux de complétion des Moocs se situe entre 5% et 10%”. Derrière ce constat négatif, se cachent de nombreux biais, croyances et approximations. Comment repenser notre manière d’évaluer le succès d’une formation digitale ?"
Article écrit par Antoine Amiel, CEO LearnAssembly et initialement publié sur LinkedIn
“Le digital learning ne fonctionne pas, le taux de complétion est très faible”; “tout le monde sait que le taux de complétion des Moocs se situe entre 5% et 10%”.
Ces phrases, nous les avons tous entendues. Pourtant, le sujet de la rétention et de la complétion est plus complexe qu’il n’y paraît. Derrière ce constat négatif, se cachent de nombreux biais, croyances et approximations. Comment repenser notre manière d’évaluer le succès d’une formation digitale ?
Le taux de complétion est un patient ayant trop souvent recours à la chirurgie esthétique. Selon les besoins, on le botoxe, on le liposuccione ou on lui aplatit le nez. Le “ taux de complétion ”, tout comme “ l’utilisateur actif ” est un indicateur : et comme tous les indicateurs, c’est une création. Ces taux sont définis arbitrairement par les plateformes et les éditeurs de contenus. Aucun standard reconnu n’existe : il n’existe pas au learning ce qu’est la norme IFRS à la comptabilité. Aucun Bretton Woods de la formation n’a permis de créer une sorte d’étalon, une définition commune, de ce qu’est un apprenant actif, ou un apprenant ayant terminé son parcours. La diversité des objectifs, des besoins, des contenus rend ce travail impossible et peu pertinent. Les travaux de Joffre Dumazedier et de Philippe Carré, qui proposent, d’analyser les différentes pratiques d’auto-formation, montrent bien que le taux de complétion n’est pas pertinent pour tous les “personae”.
Ainsi, pour Edx, un utilisateur actif est un individu ayant fait une activité pédagogique en deuxième semaine de Mooc. Pour d’autres plateformes de Moocs, c’est l’utilisateur s’étant connecté au moins une fois (pas très ambitieux). Quant au taux de complétion, il est également flou : pour certains, il s’agit du ratio entre le nombre de personnes ayant obtenu le certificat et le nombre de personnes inscrites. Mais pour d’autres, il s’agit du nombre de personnes ayant regardé toutes les vidéos rapporté au nombre d’inscrits. Sur certaines plateformes, il suffit d’avoir validé un quizz final pour être considéré comme un apprenant ayant fini le parcours. L’étude de l’université de Louvain sur la complétion Moocs est à ce titre intéressante : elle propose un distinction entre rétention active et rétention passive, la rétention passive étant le ratio inscrits/certifiés, le taux de rétention actif étant le ratio inscrits actifs/certifiés.
On le voit, on peut “bidouiller” les taux de complétion à l’envie, et personne ne s’en prive.
Créer le consensus autour d’un indicateur pertinent est, on le voit, une gageure. Et quand bien même on y parviendrait, l’accès à la matière première reste très difficile. L’absence d’accès aux données nuit à la crédibilité des analyses. Les éditeurs de cours en ligne privés conservent leurs données pour eux : ils collaborent avec des chercheurs de manière confidentielle ou s’équipent de leurs propres équipes d’analystes. Le blog “ Coursera Engineering “ consacré à l’usage des données chez Coursera est à ce titre une mine d’or bien plus intéressante que des articles ou des études universitaires vus et revus, qui ne sont pas à jour de l’état de l’art, et continuent d’être abondamment relayés par des journalistes paresseux et des chercheurs pas toujours scrupuleux.
Dernier écueil : la qualité des données collectées par les LMS. Chez LearnAssembly, nous avons travaillé avec une petite vingtaine de LMS différents au cours de nos différents projets, allant de plateformes Moocs à de grosses solutions LMS du marché qui équipent les grands groupes, en passant par des réseaux sociaux d’entreprise ou des LEP. Le constat est le même à peu près partout : la qualité des données collectées est moyenne et ne permet pas d’étudier en détail les stratégies d’apprentissage des apprenants, sauf sur certaines plateformes de Moocs.
Le directeur du risk management d’un grand groupe souhaitant faire une formation digitale sur la loi Sapin II m’a un jour dit au téléphone : “ j’ai juste besoin de montrer que les gens de ma B.U ont fait l’e-learning sur le sujet, obligation européenne, tout le monde doit faire deux heures de formation sur le sujet, c’est tout”. Le taux de complétion est trop souvent un indicateur détourné. Il sert soit de preuve sociale – dans le cas d’une mise en conformité obligatoire – soit d’outil d’évaluation de connaissances académique. Mais plus rarement de compétences ou de mise en mouvement.
Ces cas d’usage du taux de complétion ne reflètent pas les besoins des apprenants. Pousser les gens à suivre des parcours jusqu’au bout, quitte à les gaver de contenu et les harceler par mail pour qu’ils reviennent est un moyen efficace de dégoûter les apprenants du digital learning.
De même, forcer les participants à suivre des cours académiques, semaine après semaine, alors que la majorité d’entre eux sont incapables de définir clairement leurs objectifs pédagogiques et utilisent le contenu d’un cours justement pour mieux s’orienter dans une masse de contenu, sont des statégies vouées à l’échec.A titre personnel, il m’arrive de m’inscrire à quatre ou cinq Moocs en même temps, dans le doute, de consulter quelques ressources sur chacun de ces Moocs, puis d’en choisir un, une fois que mon besoin s’est affiné. Je fais partie de ces gens qui dégradent les statistiques de complétion des Moocs, alors que j’en suis le premier défenseur et utilisateur féru. En détournant les Moocs pour définir ma stratégie d’apprentissage, ce n’est pas les Moocs que mon usage remet en question, mais l’indicateur de performance des Moocs, le taux de complétion. Excellente illustration, cette étude d’HarvardX qui compare les taux de complétion aux cours proposés, en fonction des objectifs déclarés des apprenants. Il est assez intéressant de voir comment la motivation est déterminante, et comment cette motivation peut bouger dans un sens ou dans l’autre, en cours de formation.
Le taux de complétion a vécu. Nous proposons de remplacer le taux de complétion actuel par deux autres indicateurs, déjà en activité, mais pas toujours reconnus : 1) le taux d’engagement déjà très utilisé dans le marché du corporate learning qui a abandonné cette quête à la Don Quichotte du taux de complétion. Le taux d’engagement montre une interaction entre un apprenant et du contenu. L’analyse de cette interaction nous permet de comprendre les stratégies d’apprentissage, la maturité des apprenants, leur positionnement par rapport à un sujet : il est riche de sens et d’interprétations possibles, mais plus incertain et assez superficiel.
Deuxième indicateur de substitution : une vraie étude d’impact, comme elles se pratiquent depuis des années dans d’autres domaines, notamment médicaux, ou dans les politiques publiques. Dans le cas du digital learning, une étude d’impact serait un indicateur combinant un suivi dans le temps des comportements observables par un RRH ou un manager, de l’acquisition de compétences classique, de l’évaluation 360 et de données RH issues de la people review annuelle et des données issues de LMS.
Quelques lectures pour aller plus loin :
