10 August 2020
Conception, implémentation et évaluation d’un tableau de bord afin de soutenir l’apprentissage auto-régulé des étudiants dans un environnement d’apprentissage fondé sur des compétences
Mots clefs : EIAH, E-Learning, SRL/AAR, Indicateurs, Visualisations
Résumé
Le travail s’inscrit dans un projet cherchant des modèles incluant des référentiels de compétences dans des domaines variés et de granularités variables avec des outils permettant de mettre en œuvre une approche par compétences pour accompagner l’apprentissage de manière personnalisée et régulée. Dans ce projet nous cherchons à savoir Quels indicateurs doivent être présentés aux apprenants (et sous quelles formes) afin de les aider à améliorer leurs apprentissages auto-régulés dans le cadre d’une approche par compétences ? Pour cela l’objectif principal du stage est de développer un outil informatique présentant des informations utiles à l’apprenant pour l’aider à s’auto-réguler dans un contexte d’apprentissage s’appuyant sur les nouvelles technologies et fondé sur des compétences.
Nous avons utilisé le framework Integrative Learning Design afin de répondre à la problématique en articulant le travail sur trois phases. 1) La phase d’exploration éclairée avec un état de l’art sur l’apprentissage auto-régulé (AAR), l’analyse d’ancien prototype du projet et la définition de scénarios utilisateurs. 2) La phase de mise en œuvre avec la conception et l’évaluation de prototype et la phase 3 finissant le stage sur une évaluation de l’impact locale avec une expérimentation contrôlée non-modérée.
Il en ressort de ce travail la recommandation d’utiliser des indicateurs sur des référentiels (: temps passé, nombre de talent maîtrisés/disponibles), des indicateurs sur les talents (I.E : compétences ,savoir-faire ou connaissance) du référentiel ( : progressions dans les activités), les activités ( : combien de temps pour réaliser l’activité, nombre d’interruptions, type d’activité), les sessions de travail ( : combien de ressources effectuées, activités restantes, résultats) et des indicateurs sur les stratégies d’auto-régulation ( : combien de fois une stratégie à été utilisée par l’apprenant). Il est recommandé d’utiliser des visualisations comme des charts (line, spider, gauge, bar) pour montrer des visualisations sur le contenue et le résultat des activités, du texte comme par exemple des tableaux, calendrier et une carte de chaleur pour le suivie des compétences acquises ou en cours d’acquisition
Abstract
The work is part of a project looking for models including skills repositories in various fields and of variable granularity with tools to implement a skills-based approach to support learning in a personalized and regulated manner. In this project we are looking to find out which indicators should be presented to learners (and in what form) to help them improve their self-regulated learning within the framework of a competency-based approach? For this purpose, the main objective of the course is to develop a computer tool presenting useful information to the learner to help him/her to self-regulate in a learning context based on new technologies and competences.
We used the Integrative Learning Design framework to respond to the problem by articulating the work in three phases. 1) The phase of informed exploration with a state of the art on self-regulated learning (SAL), the analysis of old project prototypes and the definition of user scenarios. 2) The implementation phase with prototype design and evaluation and phase 3 finishing the course on local impact assessment with unmoderated controlled experimentation.
This work resulted in the recommendation to use indicators on benchmarks (: time spent, number of talents mastered/available), talent indicators (I. E: skills, know-how or knowledge) of the repository (: progress in activities), activities (: how long to perform the activity, number of interruptions, type of activity), work sessions (: how many resources performed, remaining activities, results) and indicators on self-regulation strategies (: how many times a strategy has been used by the learner). It is recommended to use visualizations such as charts (line, spider, gauge, bar) to show visualizations of the content and outcome of activities, text such as tables, calendar and heat map for monitoring skills acquired or being acquired.
Contexte
Ce stage d’une durée de 6 mois s’est déroulé à l’Institut de Recherche Universitaire de Toulouse (IRIT) dans l’équipe SIERA avec comme tuteur Julien Broisin, MCF et Mar Pérez-Sanagustín, MCF pour le projet COMPER . COMPER est un projet financé par l’Agence National de la Recherche comprenant plusieurs membres répartis dans différentes structures de recherche et à pour but de concevoir des modèles incluant des référentiels de compétences dans des domaines variés et de granularités variables avec des outils permettant de mettre en œuvre une approche par compétences pour accompagner l’apprentissage de manière personnalisée et régulée.
Probématique
Nous cherchons durant ce stage à aider les apprenants à s’auto réguler (et s’améliorer) dans leurs apprentissages par le biais de « Learning Analytics » donc des données d’apprentissage. Ces données sont récoltées puis restituées sous forme d’information par le biais d’indicateurs (sous une certaine granularité et sous un certain format visuel). À ce projet, le stage cherche à répondre à la problématique suivante :
Quels indicateurs doit être présentés aux apprenants (et sous quelles formes ?) afin de les aider à améliorer leurs apprentissages auto régulé par le biais d’un outil informatique basé sur les compétences ?
L’objectif principal de mon stage était le développement d’un outil informatique qui doit présenter des informations utiles à l’apprenant pour l’aider à s’autoréguler dans un contexte virtuel d’apprentissage fondé sur des compétences.
Travaux réalisés
Pour répondre à cette problématique nous avons utiliser la méthodologie Design Based Research selon le framework Integrative Learning Design. Avec cette méthode permettant de créer des applications adaptées à des contextes complexes et réels et est organisée autour de quatre phases. Trois phases sur quatre ont été réalisée.
Nous avons commencé l’exploration éclairée par un état de l’art afin de définir l’AAR et d’identifier les modèles conceptuels et stratégies qui y sont associés. Nous avons analysé les indicateurs de la littérature appuyant l’AAR et les visualisations utilisées. L’objectif étant d’identifier les indicateurs et visualisations les plus appropriées au projet COMPER ainsi que les fonctionnalités aidant les étudiants à s’auto-réguler. Dans la même phase, j’ai analysé les prototypes créés en amont dans le projet COMPER afin de voir et de sélectionner là aussi les indicateurs et visualisations qui s’adapteront au projet. La première phase comprend la création de trois scénarios utilisateurs, permettant de représenter l’usage des étudiant dans les plateformes de COMPER et de créer de la ressource pour la conception des fonctionnalités et des interfaces du prototype. La deuxième phase de Mise en œuvre se consacre à la création et l’évaluation des prototypes intégrant la revue de littérature ainsi que les scénarios issus de la phase 1. Pour la troisième phase d’évaluation locale, nous évaluons le prototype final sur deux petits groupes d’utilisateurs (groupe expert et groupe non expert). La dernière phase étant une évaluation de l’impact dans un contexte plus large n’a pas été réalisé par manque de temps et d’utilisateurs finaux.
Exploration éclairée
La phase d’exploration éclairé s’est déroulée du 23/03 jusqu’au 30/04
état de l’art
L’état de l’art s’est fait sur une durée d’un mois et concerne plusieurs recherches dans la littérature scientifique
- Compréhension du sujet : L’apprentissage auto-régulé (AAR)
- Visualisation des différents modèles d’AAR dans la littérature.
Nous avons ici fait le choix d’utiliser le modèle de Pintrich. Pour le projet COMPER, focalisé sur la description de stratégies comme des actions dans une plateforme virtuelle d’apprentissage le modèle de Pintrich nous sert de référence car ce modèle accentue le rôle de la motivation dans l’AAR et décrit des stratégies observables (actions) qui sont plus faciles à observer et mesurer que des actions cognitives. Par le biais de ce modèle et d’une méta analyse, nous avons selectionner différentes stratégies que nous allons adapter à notre outil. - Recherche d’indicateurs pour L’AAR
Après étude de la littérature, nous avons pu faire ressortir les différents indicateurs utilisés selon des stratégies bien précises. En plus de cette recherche, il fallait voir quelles informations sont récupérables au seins des différents outils du projet. - Visualisations et fonctionnalités pour appuyer l’ARR
Dans cette partie nous effectuons en plus de l’analyse de la littérature l’analyse des visualisations fait en amont dans le projet. Cette partie comprends un autre état de l’art sur les visualisations des profils de compétences.
- Visualisation des différents modèles d’AAR dans la littérature.
Scénario et Conception
Ce chapitre présente le processus que nous avons suivi pour concevoir les fonctionnalités, les visualisations et la navigation dans l’application que nous avons implémentée. Il contient l’analyse de prototypes existants réalisés par les chercheurs de COMPER, la création des scénarios d’utilisation, et enfin la conception des nouveaux prototypes.
1. Analyse de prototypes COMPER
Dans cette partie nous avons analysé deux prototypes fait en amont par des étudiants du master 2 IME de Poitier pour le compte de l’équipe LIRIS. Nous avons regardé les visualisations, fonctionnalités et indicateurs utilisés.
2 Scénario
Ces scénarios qui ont été révisé avec un groupe d’expert du projet COMPER cherche à partager le point de vue d’un apprenant souhaitant développer des compétences et suivre sa progression sur ses activités par le biais de l’outil.
Dans le scénario présenté sous la forme d’un cas d’utilisation l’apprenant souhaite réaliser des activités sur un talent particulier d’un référentiel donné. Pour définir une session de travail, l’apprenant doit donc choisir un référentiel et un talent du référentiel, puis choisir une intention de travail parmi cinq . L’apprenant doit ensuite planifier des sessions de travail d’une demi-heure (contrainte du projet) et définir, s’il souhaite recevoir des notifications, le moment auquel elles lui seront transmises. Après cela l’outil va envoyer ces informations à un autre outil externe provenant du lot 4 et recevoir des informations pour pouvoir notifier l’apprenant des sessions de travail généré disponible. Ce scénario comprend donc les étapes suivantes :
Dans ce scénario, l’apprenant comme l’explique le diagramme reçoit une notification sur son téléphone expliquant qu’une session de travail est disponible comme il souhaite être notifié. Il effectue ses activités et reviens sur l’application afin d’avoir un récapitulatif de la session sur son temps de session, son activité et la progression de son taux de maîtrise ainsi que son score global de la session. Si l’apprenant le souhaite un bouton “voir en détail” de chaque indicateur lui permet d’avoir une vue plus approfondie sur celui-ci.
Dans ce scénario l’apprenant cherche à consulter son profil afin de consulter différentes statistiques personnelles. L’objectif est de fournir à l’apprenant un suivi de ses activités d’apprentissage, et de susciter des stratégies d’auto-régulation. Parmi ces statistiques nous avons la vue des stratégies d’AAR utilisées (par exemple le nombre de fois qu’il a consulté ses performances) et d’autres indicateurs comme ses performances globales, ses objectifs, etc.
3. Prototypages
Pour cette partie, deux prototypes non fonctionnels ont été réalisés sous adobe XD
3.1. Premier prototype
Dans le prototype, on peut apercevoir le choix entre deux référentiels (Java et C++). On peut voir sur le premier écran une tentative de représenter le nombre de talent acquis parmi les talents disponibles par la représentation d’un arbre géométrique qui se remplit au fur et à mesure Après avoir sélectionné un référentiel jamais travaillé, l’utilisateur doit sélectionner le talent qu’il souhaite travailler (Programmation objet ou Structure). Il choisit ensuite l’intention avec laquelle il souhaite travailler le talent (ici il était le cas de trois intentions au lieu de cinq : Découvrir, Réviser, Approfondir). Il ne reste alors plus qu’à planifier une ou plusieurs sessions de travail. Pour la planification, l’utilisateur doit indiquer la période (la date de début et la date de fin) pendant laquelle il souhaite travailler le talent. Lors de la sélection des dates, un agenda apparait et montre par le biais d’un nuancier de couleur les jours où il a l’habitude de travailler, ainsi que les jours comprenant déjà des évènements. Lorsque la période d’apprentissage est validée, l’utilisateur peut planifier les jours et horaires de travail . Un récapitulatif est disponible à la fin de ce processus pour permettre à l’utilisateur de vérifier les séances planifiées.
3.2. Second prototype
Pour le prototype numéro 2, on a créé une solution correspondant mieux aux attentes du projet en reprenant le travail fait en amont par les étudiants.
Planification des séances de travail
Ici nous avons des vues différentes du premier prototype sur la sélection du référentiel, du talent et de l’intention d’apprentissage. À chaque sélection, un pop-up apparaît informant l’utilisateur sur son choix. Pour la planification des sessions de travail, l’utilisateur doit d’abord sélectionner les jours souhaités, puis pour chaque jour définir un ou plusieurs horaires de travail. La planification se finit par un récapitulatif. En arrivant sur la page profil, l’utilisateur peut consulter les statistiques d’apprentissage auto-régulé : une spider-chart affiche l’utilisation des différentes stratégies d’auto-régulation, et une représentation sous la forme d’un avatar expose son taux de maîtrise globale (Aspect « complétion » d’un avatar) ou les statistiques d’activité de ses référentiels. La vue des statistiques d’activité s’appuie d’abord sur la sélection d’un référentiel, et ensuite plusieurs indicateurs sont proposés à l’utilisateur tels que ses performances globales, de la semaine, ou de la semaine passée, ou des informations sur ses objectifs de la semaine. Enfin deux autres indicateurs sont proposés : le taux de maîtrise de chaque talent du référentiel travaillé sous forme de spider-chart (Abandonné car cela serait illisible lors d’un grand nombre de talent et on utilisera à la place des courbes qui est plus lisible avec un filtre pour sélectionner le talent que l’on souhaite regarder). Pour finir le nombre total de ressources, de QCM et de cours travaillés.
4. Prototype final fonctionnelPour la réalisation de l’application finale nommée COMPER 3, nous avons réfléchi aux technologies à utiliser. Le souhait était d’avoir une application multi-plateforme utilisable sur ordinateur, tablettes et téléphones mobiles. Nous avons choisi d’implémenter l’application HTML, CSS et Javascript afin de profiter du Framework Bootstrap. Le site respecte les codes couleurs du prototype 2 et du site web du projet COMPER
4.1 Planification
4.2. Visualisation du profil
Pour la visualisation du profil, l’utilisateur retrouve les visualisations du prototype 2 (performance globale, de la semaine, des semaines passées : et cette fois-ci la visualisation du taux de maîtrise se fait sans comparaison, en choisissant un talent travaillé pour voir son évolution au fil des séances.
Évaluation
1. Contexte
Pour l’évaluation, nous avons conduit une expérimentation synthétique telle que définie par Zelkowitz [23]. Cette méthode est utilisée habituellement pour évaluer les systèmes dans un environnement contrôlé avec un nombre réduit d’utilisateur. L’expérimentation non-modérée contrôlée a été choisie car elle permet d’évaluer un outil par des experts et des utilisateurs potentiels à distance dans le contexte actuel du COVID19
2. objectif
Nous avons conduit une évaluation pour voir si les visualisations et les indicateurs sont compréhensibles, et pour mesurer son utilisabilité Pour répondre à cet objectif, nous proposons plusieurs questions pour l’évaluation :
* Est-ce que les fonctionnalités et visualisations sont compréhensibles pour les utilisateurs ? Nous avons rédigé différentes questions ouvertes et fermées.
* Est-ce que l’application est praticable ? Nous avons utilisé le System Usability Scale [24].
* Est-ce que l’outil apporte un atout dans l’analyse de l’apprentissage ? Nous avons utilisé le Evaluation Framework for Learning Analytics [25], et des questions ouvertes.
3. Résumé de l'évaluation
Par rapport aux fonctionnalités, la navigation a semblé facile. Pour la création des séances de travail, il faut s’assurer de bien faire comprendre quand les jours ne sont pas sélectionnables. La vue préférée pour planifier semble être la vue par semaine, suivie de la vue par mois. La vue à la journée est vraiment la vue la moins appréciée. Par rapport à la visualisation du profil, les informations affichées semblent compréhensibles. Il faut néanmoins voir s’il y a un problème avec les écrans 13 pouces comment a été remarqué par un des utilisateurs et afficher d’autres informations sur l’apprenant (son parcours, etc.) ainsi que le choix des couleurs pour les pastilles d’information qui afficher des statistiques globales et ajouter d’autres informations (par exemple le détail des heures travaillées). Il faut donc revoir quels indicateurs inclure et modifier le choix des couleurs afin de mieux aider la différenciation. Le choix des visualisations semble concluant (avec une déclaration d’une personne préférant la vue en courbes), mais il est souhaité d’après les réponses d’afficher des informations sur les données en abscisse de différents graphiques, que ça soit pour la vue dans la semaine en cours ou sur les semaines passées. Pour l’affichage du taux de maîtrise, la notion de progression est bien comprise mais il manque des informations sur l’axe des ordonnées.
Pour l’usabilité, par rapport au questionnaire SUS et aux réponses, la prise en main semble facile d’accès mais certains points sont à améliorer, notamment par rapport aux problèmes d’affichage (résolution d’écran) ou au choix des couleurs lors de l’affichage des statistiques.
Pour les données d’apprentissages, par rapport au questionnaire EFLA et aux réponses fournies, il faut améliorer certains points notamment l’impact que peut apporter l’outil sur l’apprenant afin de mieux les stimuler, par exemple par la proposition d’informations complémentaires et de meilleures visualisations du profil.