Comment l’IA révolutionne l’évaluation des compétences

Nous soulignons souvent les bienfaits d’une culture de l’évaluation, la conviction que l’entreprise doit œuvrer à diffuser, mais aussi valider la connaissance, et que le meilleur moyen d’y parvenir est de banaliser, voire généraliser, l’évaluation. Aujourd’hui, l’intelligence artificielle donne une force nouvelle à cette approche. Pour des bénéfices concrets dans le domaine de la formation, l’IA doit être intimement intégrée aux plateformes e-learning, avec un objectif de gains de productivité immédiats. Les possibilités sont immenses, dans la création de contenus mais aussi par exemple dans la correction des productions d’apprenants. Au-delà du gain de temps, et donc d’argent, l’IA peut améliorer la qualité des formations, et ouvrir des voies nouvelles. Voyons comment.

L’évaluation tient une place centrale dans toutes les démarches de formation. En amont, elle permet de cartographier les compétences, identifier les besoins de formation et valider les pré-requis. En aval, l’évaluation permet de valider les acquis de la formation, de délivrer des certifications, et de mesurer le progrès de la connaissance et donc la valeur ajoutée de chaque action de formation. Ce n’est pas tout : dans le cours même des formations, l’évaluation est un formidable outil de sollicitation des savoirs et d’ancrage, le plus efficace des outils d’apprentissage. 

Pourquoi de grandes bases de questions ? 

Mais pour mettre en œuvre des évaluations de qualité, fiables, complètes et stimulantes, il faut créer de larges bases de questions, qui permettront à la fois de bien couvrir la thématique, mais aussi de varier les typologies d’exercices et les angles d’attaque. De telles bases permettent de créer des questionnaires dynamiques, où les questions dépendent des réponses précédentes de l’apprenant. C’est une des bases de l’adaptive learning. Nos clients ont parfois construit des bases de plusieurs centaines, voire quelques milliers de questions, afin de bien couvrir des thématiques importantes. La création de ces contenus est un investissement majeur, mobilisant une double expertise, métier et pédagogique. Et pour beaucoup, c’est un frein au déploiement plus large des évaluations. 

La création de questions 

Les Large Language Models (LLMs) excellent dans la création de contenus, y compris de contenus pédagogiques. Il ne s’agit pas de dialoguer avec ChatGPT : c’est la plateforme LMS qui pilote et automatise l’échange avec le LLM.

Pour lancer la création de questions il vous suffira de décrire la thématique visée, indiquer le type de questions souhaité, le nombre de questions, la langue cible, cliquer sur “démarrer”, et les questions arrivent. Vous pourrez les valider pour intégration immédiate, ou les garder en brouillon pour les retravailler. 

Produire à partir d’un corpus documentaire interne 

Il est possible de produire des questions et questionnaires à partir de la connaissance générale des grands LLMs, c’est-à-dire sans apprentissage particulier. Mais l’expertise visée est souvent plus pointue et spécifique. Pour couvrir ce type de connaissance, il faut donc faire travailler le LLM sur un corpus documentaire propre. On réunira donc les documents (Pdf, Word, Powerpoint, …) qui portent l’expertise visée. Il peut s’agir de documents de plusieurs centaines de pages si besoin. On gardera à l’esprit que la qualité des productions d’un LLM dépend étroitement de la qualité de ses sources. 

Une fois le corpus défini, la plateforme pilote le LLM pour produire des contenus en s’appuyant strictement sur cette connaissance. Un dialogue entre l’expert et l’IA permet de guider le processus, par exemple pour mieux cibler telle ou telle partie de la thématique, produire des questions de difficulté variée, etc. Produire une dizaine de questions prend quelques minutes, et en itérant, on atteint plusieurs centaines en une heure ou deux. Mais l’essentiel n’est pas dans la quantité ou la rapidité, l’essentiel est que l’on produit ainsi des questions pertinentes, variées et bien formulées, qui peuvent être accompagnées d’un texte d’explication rappelant le point de cours. Imaginer des distracteurs plausibles, c’est-à-dire des réponses erronées, est souvent une difficulté pour les experts, c’est un jeu d’enfant pour le LMS utilisant le LLM. 

L’IA corrige les copies 

Un autre domaine où l’IA améliore les processus d’évaluation de manière extraordinaire est la correction des productions. Soumettre aux apprenants des questions ouvertes est une excellente pratique : la question ouverte force à rassembler les éléments de connaissance sans le moindre indice, à organiser sa pensée, puis à restituer de manière claire. C’est donc un exercice unique, qui donne une dimension supplémentaire aux évaluations. Mais la question ouverte requiert une correction, et un retour précis fait à l’apprenant. Le temps de correction freine souvent l’usage des questions ouvertes, ce qui est dommage. 

Or une plateforme d’évaluation peut maintenant prendre en charge ce processus grâce à l’IA, de manière à la fois efficace, qualitative, et entièrement personnalisable. Il sera possible de fournir une réponse type, et d’indiquer de manière très précise quels sont les attendus de la réponse. Par exemple: “l’apprenant devra identifier dans sa réponse au moins trois des risques de fraude”. Les instructions de correction pourront également donner les modalités de scoring, ainsi que le ton qui doit être adopté pour la correction (sobre, bienveillant, strict, …).

On lit parfois que les gains de productivité espérés de l’IA tardent à se concrétiser. Pourtant, dans le domaine de la formation, les bénéfices sont à portée de main, on en a vu quelques exemples. Depuis 2023, Experquiz est en pointe dans l’intégration d’intelligence artificielle au service du e-learning, et spécifiquement de l’évaluation. Avec un objectif clair : faire gagner du temps aussi bien en conception qu’en accompagnement et correction. Mais au-delà même de la productivité, la facilité de création de contenus de qualité rend simplement possible des approches nouvelles, au bénéfice de l’apprenant.

Crédit photo : Shutterstock / Nichcha