L analyse de logiciels de formation : entre critériologie descriptive et nécessaire subjectivité

Transcription

1 L analyse de logiciels de formation : entre critériologie descriptive et nécessaire subjectivité Tutoring system analysis : integrating subjectivity to descriptive criteriology Olivier Hû Tel : poste olivier.hu@utc.fr Philippe Trigano Tel : philippe.trigano@utc.fr UMR CNRS 6599 Heudiasyc Centre de recherche de Royalieu Université de Technologie de Compiègne - BP Compiègne Cedex Résumé Afin d aider les enseignants dans leurs analyses des logiciels éducatifs mis à leur disposition, nous développons un questionnaire informatisé d aide à l évaluation. Le type de logiciels que nous désirons évaluer, de part le contexte éducatif et l emploi des TIC et du multimédia, entraîne une part de subjectivité non négligeable dans les résultats. Nous ne cherchons pas à minimiser cet aspect dans notre méthode, mais au contraire à l exploiter et à le valoriser. Cette prise en compte n est à notre sens pertinente qu accompagnée d une vision analytique du logiciel. La critériologie sur laquelle s appuie notre questionnaire couvre l ensemble des caractéristiques d un logiciel de formation : fonctionnement, interface, documents, outils pédagogiques etc. L arborescence qui en résulte est explorée dynamiquement par l évaluateur (profondeur variable, choix des critères etc.) tout en lui permettant de capitaliser son jugement personnel sur chacun de points abordés (impressions générales, notes instinctives etc.). Il peut ainsi, a terme, confronter les résultats issus des questions avec sa propre vision du logiciel est ainsi relativiser et enrichir son évaluation. Abstract We have been designing a computer based questionnaire to help human to evaluate tutoring systems. This kind of software (multimedia learning programs) involves a lot of subjectivity for its evaluation. We do not want to minimise this problem in our method (called EMPI for Evaluation of Multimedia, Pedagogical and Interactive software used in educational context), but on the contrary we want to use it and integrate it in the method. This is useful if we want to obtain a global vision of the software to be evaluated. The criterion on which our method is based are covering a large set of characteristics for a tutoring system : functions and technical quality, usability and user interaction, multimedia documents (sounds, videos, images, texts), pedagogical tools A tree of questions is then dynamically explored by the evaluator (varying depth, choice of criteria ), enabling the user to save his personal judgement for every important point (general feelings, instinctive marks ). Then, it is possible, at the end of the evaluation, to compare results coming from the answers of the questionnaire to the user s own vision of the software that he evaluates, and thus to have a new focus and better information for such an evaluation. Introduction Afin d aider les enseignants dans leurs analyses des logiciels éducatifs à leur disposition, nous développons un questionnaire informatisé d aide à l évaluation. Outre le biais inhérent à l usage des questionnaires, à savoir une évaluation hors contexte du logiciel (l évaluateur n est plus dans la situation évaluée lorsqu il répond aux questions), le type de logiciels que nous désirons évaluer entraîne une part de subjectivité non négligeable dans les résultats. Nous développerons en quoi cette subjectivité nous semble inévitable et néanmoins valorisable lors d une évaluation. Nous présenterons la critériologie sur laquelle s appuie notre questionnaire. Les logiciels éducatifs sont des outils complexes dont chaque aspect doit être pris en compte : fonctionnement, interface, documents, outils pédagogiques etc. Nous développerons ensuite quelles sont les techniques employées dans notre méthode pour dynamiser le questionnaire et le rendre adaptable à chaque contexte d évaluation : profondeur variable, adaptation synchrone de la structure par l évaluateur. Enfin, nous illustrerons la pertinence de notre approche en présentant les principales observations issues de nos différentes validations : comparaisons des résultats entre évaluateurs, observation d apprenant, interviews de professeurs et de concepteurs. La Prise en Compte de la Subjectivité Toute évaluation a priori 1 d un logiciel comprend une part non négligeable de jugement subjectif. En effet s il ne peut observer les utilisateurs du logiciel, l évaluateur devra s en remettre à sa connaissance de ces derniers, à sa définition de la situation dans laquelle ils doivent utiliser le logiciel et à son appréciation personnelle et donc subjective. Plutôt que de tenter d objectiver à tout prix la démarche d évaluation et ainsi de réduire cette subjectivité à un minimum difficile à contrôler, notre approche consiste à la capitaliser et la confronter avec des éléments objectifs. Dans le contexte qui nous préoccupe, à savoir l évaluation a priori de logiciels multimédias de formation par des enseignants, cette approche est d autant plus pertinente, et ce pour plusieurs raisons : - Le fait d intégrer les TIC ou des éléments multimédias dans les logiciels génère automatiquement le besoin de pris en compte de notions subjectives comme le plaisir d utilisation ou l esthétique. - Les enseignants ne sont pas des spécialistes en ergonomie ou en multimédia. Il serait illusoire de vouloir leur fournir une méthode détaillant chaque aspect du logiciel au point de compenser l'hétérogénéité de leurs connaissances. En leur permettant de donner un avis sur tel ou tel aspect du logiciel, 1 Dans cet article, et par abus de langage, nous parlerons d «évaluation a priori» lorsque l évaluation a lieu avant toute observation des utilisateurs finaux du logiciel.

2 nous augmentons nos chances de détecter un défaut dont les évaluateurs, n'étant pas des spécialistes, n'ont ressentis que les conséquences sans réussir à en déterminer clairement la cause. - Les situations et les stratégies pédagogiques peuvent être suffisamment complexes pour interdire tout jugement de valeur. On ne peut juger de la qualité de telle ou telle fonctionnalité du logiciel sans une connaissance préalable de la situation dans laquelle il doit être utilisé. Il est donc important de tenir compte de l'avis subjectif de l enseignant, pour juger de la bonne adéquation entre les possibilités du logiciel et la situation d apprentissage envisagée. Si la nécessité de prendre en compte la subjectivité de l évaluateur/enseignant est établi, elle n est pertinente qu accompagnée d une vision analytique du logiciel. Il faut confronter ce jugement subjectif, à une description «clinique» basée sur une critériologie la plus complète possible. Nous allons rapidement présenter dans le chapitre suivant, la liste des thèmes et des critères évalués par notre méthode. La Critériologie d Evaluation Si la première version de notre critériologie ne comprenait que les aspects liés à l utilisabilité (Hu, Trigano, Crozat 98), nous avons agrandi l ensemble des critères abordés par notre méthode. Cet ensemble forme une arborescence à trois niveaux : les thèmes, les métacritères et les critères. Les deux premiers sont présentés dans la Figure 1. Le Thème Qualité Technique Le thème Qualité Technique évalue la mise au point informatique du logiciel : rapidité, installation, «bugs», etc. Loin d être le parent pauvre de notre évaluation, cet aspect est primordial. Le contexte d utilisation des logiciels de formation est souvent techniquement lourd : hétérogénéité des machines, problèmes de droits d accès, nombre d étudiant important pour un parc restreint etc. De plus, on ne peut pas demander aux enseignants d avoir les compétences en informatique nécessaire au «débogage» des problèmes de compatibilité ou autre. Les logiciels utilisés en formation doivent donc être les plus robustes possible, sous peine d être rejetés par manque de fiabilité. Un autre métacritère, qui n apparaît pas dans la Figure 1, peut être ajouté au thème Qualité Technique si besoin est : spécificité du Web. Il concerne les aspects techniques propres aux produits sur le Web : maintenance des liens, structuration des pages, «vie» du site etc. Les critères qui permettent d évaluer un produit sur le Web (Derycke, Plenacoste, Vanderdonckt 98) ne forment donc pas un module à part mais sont répartis entre le thème Qualité Technique et le thème Ergonomie. Le thème Ergonomie Le thème Ergonomie correspond à l évaluation de la facilité d'utilisation de l interface (nous utiliserons par la suite le néologisme utilisabilité). La liste des métacritères et des critères qui compose ce thème est principalement issu des travaux de l INRIA (Scapin, Bastien 97) et de J. Vanderdonckt (Vanderdonckt 94). Deux principales modifications ont été apportées à ces listes : (i) l extraction de l évaluation des médias utilisés vers le thème Documents Multimédias ; (ii) le jugement de la compatibilité de l interface avec les habitudes des apprenants qui se trouve être compris vu dans le thème Outils Pédagogiques. Le thème Documents Multimédias Le thème Documents Multimédias qui mesure la qualité et la pertinence de la présentation des documents. Avec la culture de l image et du multimédia, génération après génération, l appropriation des documents multimédias devient moins naïve (voir par exemple (ORME 96)). Il convient donc d analyser les documents textuels, visuels ou sonores contenus dans le logiciel pour en évaluer la qualité mais aussi la pertinence et le bon agencement. Le thème Scénarisation Le thème Scénarisation évalue la qualité de présentation et d'agencement des informations : navigation, fiction, métaphore etc. Le contexte éducatif est propice à l usage de scénario ou de récits. Ils permettent dans certain cas de structurer le parcours pédagogique pour motiver et accompagner l apprenant dans son apprentissage. La navigation qui en résulte, la bonne adéquation entre structure de l information et structure de l apprentissage, ainsi que la pertinence de l emploi d ambiances particulières ou de scénarios originaux sont quelques-uns uns des aspects évalués par le thème Scénarisation. Logiciel éducatif Impressions générales Qualité technique Ergonomie Documents multimédia Scénarisation Outils pédagogiques Rassurant/Déroutant Luxuriant/Dépouillé Ludique/Académique Actif/Passif Simple/Complexe Innovant/Traditionnel Configuration Fonctionnement Assistance technique Guidage Charge de travail Manipulation Homogénéité Adaptabilité Textuels Visuels Sonores Interdépendances Structure Outils de navigation Fiction Situation d'apprentissage Contenu Personnalisation Activité Assistance Evaluation

3 Figure 1 : La critériologie (Thèmes et méta-critères) utilisés par notre méthode. Le thème Outils Pédagogiques Le thème Outils Pédagogiques concerne les outils mis en place entre autre dans le cadre de l évaluation des apprenants, du suivi pédagogique, de l assistance etc. On ne peut évaluer un logiciel éducatif sans séparer les aspects techniques et ergonomiques, des aspects définissant la pertinence pédagogique (Bruillard, Vivet 94) Ce thème passe en revue les caractéristiques du logiciel qui en font un didacticiel ou un logiciel éducatif. Comme nous l avons précisé dans le chapitre deux, nous n évaluons pas directement la pertinence de tel ou tel dispositif ou fonctionnalité mis en place dans le logiciel évalué. Outre une évaluation du Contenu (Validité, respect des valeurs fondamentales etc.), nous tentons principalement de passer en revue l ensemble des outils envisageables afin de décrire au mieux les possibilités offertes par le logiciel. Le but étant d aider l évaluateur à juger de la pertinence de l usage du logiciel selon la situation et la stratégie pédagogique qu il envisage de mettre en place. La critériologie que nous venons rapidement de résumer sert de base à une vision analytique, objective du logiciel. Nous allons maintenant présenter d une part, comment cette critériologie est utilisée par notre méthode, et d autre part comment la subjectivité, dont nous avons justifié la nécessité dans le chapitre 2, est intégrée dans notre démarche. La Méthode d Evaluation L'arborescence de thèmes, de méta-critères et de critères que nous venons de présenter, est constituée, tant au niveau des nœuds que des feuilles de la structure, par des questions. La méthode EMPI est donc essentiellement un questionnaire dynamique informatisé. Actuellement il y a plus de deux cent cinquante questions dans notre corpus et le temps nécessaire pour répondre à toutes est beaucoup trop long (environ quatre heures) pour être acceptable. Afin d'optimiser ce temps et du fait que notre approche de l'évaluation tend vers une interaction entre l'outil et l'évaluateur, notre questionnaire doit s'adapter dynamiquement à l'évaluation en cours. Deux caractéristiques de notre méthode permettent cette adaptation : le parcours au sein du questionnaire est libre et la structure de l'arborescence est modifiée dynamiquement. Comme nous l avons dit, notre méthode permet une capitalisation et une valorisation du jugement subjectif de l évaluateur. Trois possibilités sont offertes à l évaluateur dans ce sens : - La capitalisation des impressions générales que nous avons déjà présentée. - La possibilité pour l évaluateur de donner une note instinctive pour chaque thème, métacritère ou critère évalué - Le calcul d une note finale qui est modifiable par l évaluateur, la décision finale lui revenant. Q1 Q2 Q2.1 Q3 Q2.1.1 Q2.2 Q2.2.1 Q2.2.2 Figure 2 : Profondeur d analyse variable Parcours libre Tout d'abord, le parcours est libre, ce qui permet à l'évaluateur, d'approfondir un point précis, en développant les sous-niveaux ou de passer directement à la notion suivante (Figure 2), selon ses besoins, ses compétences ou la pertinence de cette notion dans le contexte propre au logiciel. Un exemple, si le logiciel doit être utilisé épisodiquement dans le cours de la formation, l évaluateur pourra passer ce critère. Structure dynamique Ensuite la structure du questionnaire peut-être modifiée dynamiquement. Elle peut l'être par l'évaluateur qui a la possibilité d'indiquer si tel ou tel critère est essentiel, normal ou sans objet, auquel cas les sous-niveaux et les questions correspondantes sont supprimées. La structure peut aussi être modifiée par les réponses données par l'évaluateur. Prenons un exemple : dans le thème Documents Multimédias si à la question "Le logiciel propose-t-il des séquences vidéos?", la réponse est "Non", alors dans le critère Contrôle la question "Estce que des boutons de contrôle des séquences vidéos sont proposées? (pause, stop, retour etc.)" devra automatiquement être supprimée. Ainsi les réponses données au fur et à mesure par l'évaluateur modifient la structure ou l'importance des nœuds de l'arborescence. Les notes instinctives En plus de son avis global sur le logiciel capitalisé par les impressions générales, l évaluateur peut, lors de son parcours de l arborescence, donner une note dite instinctive, à chaque thème, méta-critère ou critère. Cette note n est pas obligatoire, mais elle permet à l évaluateur, soit de noter un aspect sans avoir à l approfondir s il s estime compétent pour le faire, soit de capitaliser son opinion sur cet aspect en vue d une confrontation avec le résultat des questions proprement dites. Cette note instinctive est toujours donnée sur une échelle qualitative ( -- ; - ; + ; ++ ) sans position neutre pour contraindre l évaluateur à prendre une décision.

4 Ces notes instinctives sont utilisées dans le calcul de la note finale. Les notes finales Une fois le questionnaire rempli, la méthode fournit à l évaluateur un rapport lui permettant d appréhender son évaluation de façon globale. Tout d abord une note est calculée pour chaque nœud de l arborescence. Cette note remonte les résultats des questions jusqu aux thèmes. Au niveau des questions la note est donnée soit directement par la réponse indiquée, soit en combinant les réponses d une question double caractérisation/évaluation comme nous l avons indiqué dans notre présentation du thème Outils Pédagogiques. Notons que l évolution des notes en fonction des réponses n est pas obligatoirement linéaire. Afin d accentuer la détection de certains défauts majeurs, une notation dite exponentielle est appliquée aux questions clés. De même que les questions importantes ont pondération plus importante que les autres questions dans les calculs (Hu, Trigano, Crozat 98). Ainsi, l évaluateur dispose des notes calculées et des notes instinctives fournies au fur et à mesure du parcours. Ces notes sont mises en correspondance et permettent le calcul d une note finale. Elle correspond à une moyenne pondérée entre notes calculées et instinctives, tout en sachant que les notes instinctives sont d autant plus prises en compte qu elles sont cohérentes entre elles, par exemple entre le méta-critère et les critères qui le composent. Si un évaluateur a donné une bonne note instinctive pour le thème Documents Multimédias et de mauvaises notes instinctives pour les métacritères Texte, Documents visuels et Documents sonores, sa note sera peu prise en compte. Pour finir, l évaluateur pourra modifier la note finale proposée et la fixer à la valeur qu il estime la plus juste. Cette note sera donc le fruit de la confrontation de son évaluation subjective et de la note calculée issue des questions auxquelles il aura répondu (Figure 3). Figure 3 : Exemple de fenêtre de proposition de note finale. Validations Outre les différentes expériences effectuées afin de valider les critères utilisés et mettre au point la méthode proprement dite (Hu, Trigano, Crozat 98) (Crozat, Trigano, Hu 99) (Hu 00), les aspects liés à la subjectivité de l évaluation font eux aussi l objet d observations particulières. Les expérimentations qui nous ont permis de tester la pertinence de la prise en compte de la subjectivité sont principalement (un résumé des de ces résultats est donné en Figure 4) : - La comparaison des résultats de l évaluation d un logiciel par une cinquantaine d évaluateurs avec ou sans prise en compte de la subjectivité. Les évaluateurs étaient des élèves ingénieurs de l'université de Technologie de Compiègne. Le logiciel évalué a été choisi pour la diversité des médias et des approches qu'il propose et parce qu'il traite d'un sujet technologique, ce qui rendait les évaluateurs plus proches d'une réelle situation de choix d'un logiciel. Il reste encore des données issues des ces évaluations à analyser et d'autres ces évaluations à analyser et d'autres validations sont en cours. Néanmoins plusieurs remarques peuvent déjà être faites. En comparant les résultats des évaluations effectuées avec ou sans les notes instinctives, on peut constater une légère augmentation de la divergence des évaluations. Cet effet était attendu puisque la prise en compte de plus de subjectivité entraîne nécessairement une plus grande diversité dans les évaluations. Néanmoins, cette modification reste faible au regard du peu de finesse d analyse de l échelle proposée à l évaluateur pour noter cet aspect subjectif (-- ; - ; + ; ++). Par contre le réalisme 2 de l évaluation est grandement amélioré puisque l ambiance, le dynamisme et le plaisir d utilisation apparaissent dans les résultats. 2 Nous appelons «réalisme», la propension de la méthode d évaluation a fournir une description du logiciel la plus proche possible de la réalité vécue par les utilisateurs ou formalisable par un expert.

5 - Une observation des apprenants et une série d interviews de professeurs autours d un même logiciel. Cette expérience est toujours en cours mais les premiers résultats font état d une bonne détection des défauts ergonomiques effectivement rencontrés par la suite, et d une assez bonne prédiction des outils susceptibles de séduire les apprenants. Les aspects propres à la scénarisation et aux documents multimédias nécessite encore un plus grand nombre d interview pour en tirer des résultats pertinents. - La confrontation de nos résultats avec les concepteurs des logiciels évalués. Il est évident que l aide à l évaluation entraîne par réaction une aide à la conception. Il était donc important de savoir si les concepteurs pouvaient utiliser nos résultats. Les impressions générales et la distinction note calculée / note instinctive permettent plusieurs considérations intéressantes en vue d une modification en cours de développement. Les impressions générales donnent un retour en terme de population visée : la description des impressions par un ensemble restreint de mots clés, fourni une vision relativement claire de la population «naturelle» du logiciel. Au concepteur de vérifier la correspondance avec la population cible. La distinction note calculée / note instinctive, quant à elle, offre une image du décalage entre la réalité et la perception qu'en a l'utilisateur. Avec une vision minimaliste du développement, il vaut mieux revoir en premier les aspects qui bien qu'objectivement bons, sont mal perçus par les utilisateurs, plutôt que ceux où les utilisateurs n'ont pas eu de problèmes, même si les outils apparaissent de mauvaise qualité. Enfin, la vision «clinique» qu offre notre critériologie contraint le concepteur à considérer le logiciel comme un tout, donnant ainsi plus de recul pour apprécier la qualité et l état d avancement de l ensemble sans se focaliser sur certaines particularités. Caractéristiques de la Résultats observés sur le terrain Usage par les concepteurs méthode (apprenants et évaluateurs/enseignants) Impressions générales Bonne prédiction de l adéquation public / logiciel Description qualitative permettant de confronter volonté de conception et impressions effectives Questionnaires Bonne détection des erreurs ergonomiques. Vision clinique globale du logiciel. Manque de données en Documents et en Scénarisation. Distinction notes instinctives Investissement de l évaluateur, voir apprentissage de Distinction entre réalité et perception de la / notes calculées l enseignants à l analyse des logiciels. Amélioration du réalisme de l évaluation. réalité : priorité de développement etc. Figure 4 : Résumé des résultats obtenus selon les caractéristiques de la méthode. Conclusion Plusieurs résultats nous semblent dès à présent intéressants dans notre approche. La critériologie originale, propre aux contextes des logiciels multimédias éducatifs, que nous proposons, permet une analyse de tous les aspects du logiciel (technique, ergonomique, multimédia, pédagogique, subjectif). Cette vision analytique permet au néophyte d aller au-delà du "tape à l œil" vers une analyse critique du logiciel. La forme arborescente de notre critériologie autorise l ajout ou la suppression de module d évaluation selon les logiciels visés. Après un recueil d expertise et la mise au point d un corpus de questions, la méthodologie proposée peut s appliquer à n importe quelle critériologie. La confrontation entre l opinion subjective et l évaluation proprement dite améliore le réalisme de l évaluation, à savoir la correspondance entre la description critique issue de l évaluation et la réalité du logiciel analysé par des experts. L utilisation d un arbre dynamique, dont le parcours est libre, offre une souplesse non négligeable dans la mise en place de notre méthode dans une plate-forme d évaluation : évaluation selon différents niveaux de détails, temps d évaluation acceptable (moins de 2h), possibilité de cibler l évaluation sur certains aspects. Néanmoins plusieurs aspects restent discutables et doivent faire l objet de futures études : - L utilisation de notes chiffrées comme unique forme de résultat ne permet pas de rendre compte de tous les aspects de l évaluation. Il est par exemple difficile de faire la différence entre une caractéristique mauvaise et l absence de cette caractéristique dans le logiciel évalué. - La méthodologie proposée (impressions subjectives ; notes instinctives / questions ; notes finales) n est pas toujours pleinement respectée. Certains enseignants se contentent des résultats doubles (notes instinctives / notes calculées) et passent l étape finale. Il s agit donc d adapter notre méthodologie aux besoins des enseignants. Nous allons pour cela faire appel à des enseignants de différents niveaux (instituteur, professeur de collège, professeur agrégé et enseignant de 3ieme cycle universitaire) et de différentes disciplines (langues, informatiques, enseignements techniques etc.). Le but de ces observations est double : d une part vérifier auprès d utilisateurs potentiels, la pertinence de la méthodologie et la facilité d utilisation de notre méthode ; d autre part tester les limites de notre méthode sur une plus grande gamme de logiciel et de situation pédagogique. - Sur cette question des limites de notre méthode, plusieurs résultats apparaissent déjà. En effet

6 l évaluation de logiciels outils (traitement de textes, manipulation de données etc.) ou de micromonde ne donne pas de résultats pertinents. Par contre l application de la méthode à des logiciels culturels ou ludo-culturels semble prometteuse. Financement Cette recherche s effectue dans le cadre d une thèse financée par la région Picardie. Bibliographie Bruillard E., Vivet M., Concevoir des EIAO pour des situations scolaires Approche Méthodologique, Didactique et Intelligence Artificielle, Balacheff & Vivet (coord.), La Pensée Sauvage (Ed.). Hû O., Quelques réflexions sur l évaluation ergonomique et le contexte pédagogique, Rencontre Jeunes Chercheurs en IHM, Ile de Berder, mai Hû O., Trigano Ph., Crozat S EMPI : une méthodologie pour l évaluation du multimédia pédagogique interactif, NTICF 98, INSA de Rouen, CNED (Imp.), novembre ORME Observatoire des ressources multimédias en éducation, Les ressources multimédias en éducation, Rencontres de l ORME, Collection de l ingénierie éducative, Coord. Gérard Puimatto, CNDP, 160p. Scapin D., Bastien Ch., Ergonomic criteria for evaluating the ergonomic quality of interactive systems Behaviour & Information Technologie 16, p Crozat S., Trigano Ph., Hû O., EMPI : Une méthode informatisée pour l'évaluation des didacticiels multimédias, RIHM (Revue d'interaction Homme- Machine), Ed Europia, N 2, novembre Derycke A., Plenacoste P., Vanderdonckt J., Vers des critères ergonomiques de conception/évaluation pour les sites Web. Contribution au Workshop «Interaction sur le Web», Actes des 10emes Journées Francophones sur l Interaction Homme Machine IHM 98, Nantes, 2-4 septembre 1998, Cépaduès-Editions, Toulouse, 1998, p