Effets des Types de Sources d'informations sur l'apprentissage Multimédia d'élèves Sourds

Transcription

1 Effets des Types de Sources d'informations sur l'apprentissage Multimédia d'élèves Sourds Sylvain Fleury, Julien Guillemé, Éric Jamet, Laboratoire de psychologie expérimentale, CRPCC, université Rennes-II Haute Bretagne, 1, place du recteur Henri-Le-Moal, Rennes cedex, France Résumé. Bien que l ergonomie des documents multimédia ait été grandement étudiée ces dernières années, peu de travaux ont porté sur le transfert de ces résultats à la population sourde. En situation d apprentissage à distance, l intégration de la langue des signes française (LSF) en vidéo pourrait compenser les difficultés de lecture des élèves sourds et améliorer leur compréhension mais aussi entrer en concurrence, d un point de vue cognitif, avec d autres sources d informations visuelles présentées simultanément. L étude présentée ici montre que la compréhension d un document multimédia sur la sécurité routière est améliorée par la présence de LSF (effet multimédia), mais gênée par la présence d illustrations décoratives (effet de cohérence). Mots clés: Surdité, Langue des Signes Française (LSF), Lecture, Apprentissage multimédia, attention, Charge cognitive, Effet de redondance. 1 Introduction L essor des nouvelles technologies de l information et de la communication (TIC) a suscité un engouement incontestable dans le domaine de l apprentissage. De nombreux avantages ont été attribués à ces outils du fait des possibilités d intégration de différentes sources d information (images, texte, vidéo et sons). Cependant, les capacités de traitements liées à la compréhension des informations présentées sont soumises aux limitations du système cognitif. La conception de documents pédagogiques ne peut donc se faire sans prendre en compte ces limitations. 1.1 Apprentissage et multimédia De nombreux auteurs ont travaillé sur la modélisation du traitement cognitif de documents multimédias afin de concevoir des outils plus adaptés. La théorie de l apprentissage multimédia de Richard Mayer [1], [2] en est l une des plus fécondes. Ce modèle s inspire notamment du modèle de mémoire de travail de Baddeley [3] et repose sur deux voies de traitement séparées (imagée et verbale) disposant chacune de ses propres ressources de traitement. La compréhension d un document induit un traitement actif des informations qu il contient, et nécessite la construction d un modèle mental par le biais de trois processus majeurs [1] : la sélection des éléments 125

2 2 Sylvain Fleury, Julien Guillemé, Éric Jamet, importants du document, l organisation de ces éléments dans une structure cohérente et leur intégration avec les connaissances préalables. Les bénéfices liés à la présence d illustrations explicatives en support de l information verbale ont été grandement étudiés ces dernières années [1]. Ainsi, la compréhension d un document est meilleure lorsque le texte est présenté conjointement aux illustrations que lorsque ces deux sources sont présentées seules [4]. La complémentarité des informations verbales et imagées permettrait, un enrichissement de la représentation mentale, tout en réduisant le risque de surcharge. 1.2 L Effet de cohérence Malgré les nombreux avantages des présentations multimédias, un certain nombre d études montrent que l ajout d éléments attrayants ou décoratifs, mais non pertinents a plutôt un effet négatif sur la qualité de l apprentissage. C est ce que Mayer a appelé le principe de cohérence [5]. Ce principe renvoie à l inclusion d éléments supposés séduisants (anecdotes illustrations décoratives, sons) contenant peu ou pas d informations centrales [6], [7], [5], [8]. Plusieurs hypothèses ont été avancées par les auteurs pour expliquer cet effet. L intégration de manière centrale des informations non pertinentes perturberait la construction du modèle mental et diminuerait ainsi sa cohérence [7]. Une deuxième interprétation est proposée par Moreno et Mayer [5] qui se basent sur les notions de charge cognitive [9] et de limites des capacités de traitement [10]. Selon cette hypothèse, l ajout d éléments non pertinents pour la tâche augmente inutilement la quantité d informations à traiter et provoque donc un risque de surcharge. Enfin, une troisième possibilité est abordée par Moreno et Mayer [5] en considérant l élément attrayant comme un distracteur. Le temps passé à traiter les informations non pertinentes correspond à du temps perdu pour le traitement des informations centrales. 1.3 L Effet de redondance L utilisation de documents multimédias comporte aussi le risque de créer une redondance informationnelle qui pourrait être néfaste à l apprentissage, bien que la redondance verbale (entre l oral et l écrit) puisse faciliter l apprentissage d un document [11], [12], [13] en enrichissant la trace mnésique épisodique. Lors de la présentation simultanée d illustrations, cette redondance verbale tend à augmenter la charge cognitive, ce qui altère la construction d une représentation mentale cohérente et engendre une diminution des performances [14], [8], [15]. Cet effet de redondance semble également modulé par le niveau de lecture des apprenants [16], [17]. Chez les bons lecteurs, la performance est meilleure lorsque le contenu est uniquement présenté sous forme visuelle [17], c est à dire lorsque les informations ne sont pas redondantes. En revanche, chez les faibles lecteurs, la présentation simultanée du texte sous forme visuelle et auditive permet d améliorer le niveau de compréhension et ainsi obtenir des performances similaires aux lecteurs moyens en condition visuelle seule [16]. Le format redondant réduit les difficultés liées à la reconnaissance des mots (et donc la charge cognitive) chez les faibles 126

3 Effets des Types de Sources d'informations sur l'apprentissage Multimédia d'élèves Sourds 3 lecteurs. Les ressources libérées peuvent alors être sollicitées pour la construction des représentations mentales et contribuer ainsi à une amélioration de la compréhension. 1.4 Apprentissage multimédia et surdité Selon Sander, Lelievre et Tallec [18], 80% des jeunes sourds de moins de 20 ans souffrent de difficultés de lecture ; et seulement 1% des élèves sourds de 16 ans ont un niveau de lecture équivalent à celui des entendants du même âge [19]. L origine de ces difficultés provient de l absence d immersion dans le langage oral qui rend plus difficile l établissement des correspondances grapho-phoniques qui chez les entendants constitue un levier de l apprentissage de la lecture [20]. Bien que la LSF soit largement utilisée chez sourds sévères et profonds (60% des moins de 20ans) [18] l intégration de ces élèves dans des structures adaptées est faible (9% [18]) et induit un environnement dominé par l écrit, ce qui implique donc des difficultés. Les organismes internationaux (Commission Européenne, [21] ; Nations Unies, [22]) ont pris conscience de la problématique d accès à l information pour les personnes en situation de handicap [23]. En France, la loi sur l égalité des chances pour tous [24] va également dans ce sens. Cependant, les avancées dans ce domaine sont encore faibles [23], notamment à cause de la multiplicité des facteurs en jeu [25]. Les spécificités de l atteinte (degré de surdité, âge de survenue, appareillage) ; les aptitudes linguistiques (niveau de lecture, maîtrise de la LSF) ; les connaissances préalables ; les caractéristiques du contenu (complexité, technicité des termes) ; sont autant de paramètres qu il est nécessaire de prendre en compte pour adapter les supports pédagogiques [25]. Malgré ces difficultés, quelques études récentes sur l accessibilité des documents électroniques chez les sourds ont permis d affiner les connaissances relatives à ce domaine [26], [27]. Debevc et Peljhan [26] se sont penchés sur l efficacité relative d un cours classique et d un cours à distance et ont montré que le recours à un document électronique dans lequel une vidéo en langue des signes était intégrée, engendrait une meilleure mémorisation des informations, surtout chez les apprenants adultes. Ce bénéfice légitime l intérêt du recours à la langue des signes dans les documents électroniques. La relation entre langue des signes et texte dans le cadre d un apprentissage à distance est un élément clé de la compréhension ; la langue des signes peut servir de support aux difficultés de lecture rencontrées par la population sourde mais risque néanmoins de créer un effet d interférence. À ce titre, Marshark et ses collaborateurs [27] ont montré que la présence simultanée de sous-titres et d une interprétation en langue des signes synchronisée ne nuisait pas à la compréhension. En regard du bénéfice observé chez les faibles lecteurs [16], l ajout de LSF redondante au texte (i.e. reprenant l intégralité du contenu textuel) devrait améliorer la compréhension du document, sans créer de surcharge. En outre, conformément au principe de cohérence [5], l ajout d illustrations décoratives devrait diminuer le niveau de compréhension, du fait d une surcharge du canal visuel. Cette réduction de la compréhension devrait être accrue lorsque les illustrations sont présentent conjointement à la LSF [14]. 127

4 4 Sylvain Fleury, Julien Guillemé, Éric Jamet, 2 Méthode 2.1 Participants Vingt-Sept sourds prélinguaux, non implantés (11 filles et 16 garçons) du centre Jacques Cartier de Saint-Brieuc et de L Institut National des Jeunes Sourds (INJS) de Paris ont participé à cette étude. Six étaient atteints de surdité sévère et 21 de surdité profonde. Les participants étaient âgés de 14 à 19 ans (âge moyen 15 ans et 3 mois). 2.2 Matériel & Procédure Tous les participants étaient soumis à deux diaporamas sur les risques de la conduite automobile («l alcool au volant» et «la vitesse»), l un contenant uniquement du texte, la LSF étant ajoutée au texte pour l autre. En outre, deux groupes ont été constitués afin d évaluer l impact de la présence ou non d illustrations. Le contenu et l ordre présentation des diaporamas étaient contrebalancés entre ces deux sessions. Figure 1: Exemple d'une page en condition Texte + LSF + Illustration La structure du document (cf. Figure 1) comprenait un menu de navigation situé à gauche, ainsi qu une zone de texte sur la droite. Dans les conditions correspondantes, la LSF était intégrée en haut à gauche et se déclenchait automatiquement lors de l arrivée sur la page. Les illustrations étaient présentées à droite du texte. Lors de la première session, le niveau de compréhension en LSF était évalué. Des questions extrêmement simples (e.g. «Qui est le président de la république?») étaient présentées en LSF. Le niveau d accès au lexique était ensuite évalué à l aide du test «La pipe et le rat». Ce test est constitué d une longue liste de mots dans laquelle les participants doivent repérer et entourer un maximum de noms d animaux en trois minutes. En début de chaque session, les connaissances préalables des participants étaient contrôlées par le biais d un questionnaire à choix multiple. Les participants pouvaient ensuite parcourir le diaporama. Après avoir atteint la fin du document, l apprentissage était évalué au moyen d un second questionnaire à choix 128

5 Effets des Types de Sources d'informations sur l'apprentissage Multimédia d'élèves Sourds 5 multiple. Ce test mesurait d une part la mémorisation des informations, à l aide de questions de rappel (i.e. informations directement présentées dans le document) ; et d autre part, la compréhension du document, au moyen de questions d inférence. Pour ces dernières, la réponse n est pas présente dans le document, mais nécessite la mise en relation de plusieurs informations présentées (e.g: «Puis-je conduire après avoir bu trois verres de vin?» les participants ayant uniquement vu le taux d alcoolémie autorisé et le degré d alcool contenu dans un verre d alcool). Afin d éviter les éventuelles difficultés de compréhension du questionnaire, un traducteur en LSF était présent aux côtés du participant. 3 Résultats L analyse de variance n a révélé aucune différence significative concernant les connaissances préalables (F(1, 49) =.030 ; p =.862), du niveau de LSF (F(1, 47) = ; p =.246) et de l accès au lexique (F(1, 31) =.014 ; p =.908), confirmant ainsi l homogénéité des groupes évalués pour ces variables contrôles. L analyse de la variance des scores de compréhension et de mémorisation des documents en fonction de la présence ou de l absence d illustrations révèle un effet négatif de la présence d illustrations sur le rappel (F(1, 49) = ; p =.016) et sur les inférences (F(1, 49) = ; p =.037). Ces résultats confirment l hypothèse d une gêne occasionnée par les illustrations décoratives. Concernant la variable LSF, il n y a pas d effet significatif sur les moyennes de scores de rappel (p >.4). En revanche, une supériorité du groupe avec LSF par rapport au groupe sans LSF est observée pour les questions d inférence (F(1, 49) = ; p =.048) (cf. Figure 2), ce qui souligne un effet positif de la LSF sur la compréhension. 129

6 6 Sylvain Fleury, Julien Guillemé, Éric Jamet, Figure 2 : Nombre moyen de bonnes réponses à l épreuve d inférence, en fonction de la présence de la LSF et des illustrations Un effet d interaction était attendu entre l ajout de LSF et l ajout d illustration qui se serait traduit par de faibles performances d apprentissages des participants avec le document comprenant à la fois de la LSF et des illustrations. Or, l analyse multivariée ne révèle pas d interaction de ce type qui soit statistiquement significative ; que ce soit pour les scores aux questions de rappel (p >.6) ou d inférence (p >.6). 4 Discussion Une diminution accrue des performances était attendue lors de la présentation conjointe d illustrations et de vidéos en LSF (redondantes au texte), traduisant une surcharge de traitement au niveau du canal visuel. Or aucun effet d interaction n a été observé entre les variables "LSF" et "illustration". Ces résultats ne s apparentent donc pas à ce que Le Bohec et Jamet [28] observent lors de la présentation simultanée de schémas et d un texte écrit redondant avec les commentaires oraux, et qu ils désignent sous le terme d effet de «redondance verbale avec surcharge visuelle». Malgré cette absence d interaction, un effet global des illustrations quel que soit le mode de présentation (avec ou sans LSF) a été observé. La diminution des performances engendrée par les illustrations induit donc le traitement interférent de ces éléments au détriment de l information principale apportée par le texte et la LSF. Dans la mesure où la baisse de performance observée ne peut pas être attribuée à la surcharge du canal visuel, ce profil de résultats peut alors s expliquer d un point de vue attentionnel. Les illustrations auraient généré une source de distraction supplémentaire, détournant ainsi l attention du participant des informations pertinentes, sans pour autant surpasser les capacités de traitement. Cette explication en termes d allocation accrue de l attention sur les illustrations est renforcée par l idée que le caractère hautement iconique de la LSF prédispose probablement la population sourde à rechercher la signification des éléments visuels. Par ailleurs, l absence d effet délétère de la redondance verbale en présence d illustrations peut également être mise en relation avec la notion de contrôle utilisateur. Dans le cadre de cette étude, les utilisateurs maitrisaient le rythme de présentation, et déclenchaient euxmêmes le passage à la diapositive suivante. Or, Kalyuga, Chandler et Sweller, [29], ont montré que l effet négatif de la redondance tend à disparaitre dans ces conditions. Contrairement à une présentation imposée par le système, le traitement asynchrone de la LSF et du texte est rendu possible. L utilisateur peut alors adopter des stratégies de révision, en traitant d abord la LSF puis le texte, réduisant ainsi la charge cognitive induite par la redondance. Au niveau de la LSF, l amélioration des performances observée dans cette étude confirme l hypothèse selon laquelle le traitement du document serait facilité par la présentation d un format complémentaire au texte, sans engendrer de surcharge liée à la redondance. Ces résultats rejoignent les observations de Montali et Lewandowski [16] chez les faibles lecteurs entendants. La présence de LSF faciliterait donc la 130

7 Effets des Types de Sources d'informations sur l'apprentissage Multimédia d'élèves Sourds 7 compréhension des mots par rapport à une situation de lecture seule (généralement déficitaire chez les sourds prélinguaux). La redondance d information impliquerait une réduction de la charge de traitement induite par la lecture, tout en facilitant l accès au sens. Les ressources ainsi libérées pourraient alors être recrutées lors de l intégration des éléments et améliorer la construction des représentations mentales. De manière générale, même si la présence d illustrations tend à réduire la compréhension et devrait donc faire l objet d un usage limité, une amélioration globale des performances est observée lors de l ajout de contenu en LSF, sans que ce bénéfice soit réduit par les illustrations. Il semble donc pertinent d intégrer ce format de présentation dans les documents à destination du public sourd, tout en gardant à l esprit la multiplicité des spécificités de cette population (e.g. Niveau de LSF, âge de survenue, appareillage). Un certain nombre de questions restent également en suspens à l issue de cette étude. Même si les bénéfices observés lors de l ajout de LSF peuvent s apparenter aux observations de Montali et Lewandowski [16], pour les faibles lecteurs, le nombre de participant ayant été recruté ici n a pas permis de distinguer les performances en fonction du niveau de lecture. Dans la mesure où la redondance d informations peut engendrer des profils de performance opposés en fonction du niveau de lecture [17] une seconde étude est en cours, dans laquelle l échantillon recruté est plus important afin de s assurer que le bénéfice obtenu chez les faibles lecteurs en ajoutant de la LSF, n engendre pas une baisse des performances chez les lecteurs plus performants. De plus, dans cette première étude, l évaluation ne portait que sur le produit de l apprentissage (i.e. mémorisation et compréhension), ce qui donne accès aux processus de traitement impliqués uniquement de manière indirecte. Ainsi il n a pas été possible de déterminer si le bénéfice lié à l ajout de LSF, de même que l absence d interaction entre LSF et illustration étaient liés à un traitement exclusif de la LSF, ou à une charge cognitive ne saturant pas les capacités. Le recours à l analyse des mouvements oculaires, fréquemment utilisé ces dernières années [30] et intégré à l étude en cours, permet une approche plus fine des processus sous-jacents et devrait clarifier les résultats de cette première étude, en rendant explicite la chronologie et la durée du parcours oculaire entre le texte la LSF et les illustrations. Bibliographie 1. Mayer, R.E.: Multimedia learning. Cambridge University Press, New York (2001). 2. Mayer, R.E.: Cognitive theory of multimedia learning. In R. E. Mayer (Ed.) The Cambridge handbook of multimedia learning, pp Cambridge University Press, New York (2005). 3. Baddeley, A.D.: Working memory. Oxford University Press, NewYork (1986). 4. Fletcher, J.D., & Tobias, S.: The multimedia principle. In R.E. Mayer (Ed.), The Cambridge handbook of multimedia learning, pp Cambridge University Press, New York (2005). 5. Moreno, R., Mayer, R.E.: A coherence effect in multimedia learning: The case for minimizing irrelevant sounds in the design of multimedia instructional messages. Journal of Educational Psychology. 92, (2000). 131

8 8 Sylvain Fleury, Julien Guillemé, Éric Jamet, 6. Harp, S.F., Mayer, R.E.: The role of interest in learning from scientific text and illustrations: On the distinction between emotional interest and cognitive interest. Journal of Educational Psychology. 89, (1997). 7. Harp, S.R., Mayer, R.E.: How seductive details do their damage: A theory of cognitive interest in science learning. Journal of Educational Psychology. 90, (1998). 8. Mayer, R.E., Heiser, J., Lonn, S.: Cognitive constraints on multimedia learning: When presenting more material results in less understanding. Journal of Educational Psychology. 93, (2001). 9. Chandler, P., Sweller, J.: Cognitive Load Theory and the Format of Instruction. Cognition and Instruction. 8, (1991). 10.Baddeley, A.: Working memory. Science. 255, (1992). 11.Barlow, T., Wogalter, M.S.: Alcoholic Beverage Warnings in Magazine and Television Advertisements. Journal of Consumer Research: An Interdisciplinary Quarterly. 20, (1993). 12.Le Bohec, O., & Jamet, E. : Effet de redondance et effet de modalité. Proceeding In, Journées d Études en Psychologie Ergonomiques (EPIQUES). Nantes, France, Oct. (2001). 13.Moreno, R., Mayer, R.E.: Verbal redundancy in multimedia learning: When reading helps listening. Journal of Educational Psychology. 94, (2002). 14.Kalyuga, S., Chandler, P., Sweller, J.: Managing split-attention and redundancy in multimedia instruction. Applied Cognitive Psychology. 13, (1999). 15.Jamet, E., Le Bohec, O.: The effect of redundant text in multimedia instruction. Contemporary educational psychology. 32, (2007). 16.Montali, J., Lewandowski, L.: Bimodal Reading: Benefits of a Talking Computer for Average and Less Skilled Readers. Journal of Learning Disabilities. 29, (1996). 17.Disseldorp, B., Chambers, D.: Independent access: Which students might benefit from a talking computer? In S. McNamara and E. Stacey (Eds), Untangling the Web: Establishing Learning Links. Présenté au ASET, Melbourne (2002). 18.Sander, M.S., Lelievre, F., Tallec, A.: Handicap auditif en France : Apports de l'enquête Handicaps, incapacités, dépendance, Observatoire Régional de santé des Paysde-la-Loire, Ministère de la Santé et des Sports (2007). 19.Gaines, R., Mandler, J.M., Bryant, P.: Immediate and Delayed Story Recall by Hearing and Deaf Children. J Speech Hear Res. 24, (1981). 20.Goldin-Meadow, S., Mayberry, R.I.: How Do Profoundly Deaf Children Learn to Read? Learning Disabilities Research & Practice (Blackwell Publishing Limited). 16, 222 (2001). 21.Union Européenne: Égalité des chances pour les personnes handicapées: un plan d'action européen. Commission des Communautés Européennes, Bruxelles (2003). 22.United Nation: UN Enable - Text of the Convention on the Rights of Persons with Disabilities, 23.Debevc, M., Kosec, P., Holzinger, A.: E-Learning Accessibility for the Deaf and Hard of Hearing - Practical Examples and Experiences. Présenté au HCI in Work and Learning, Life and Leisure: 6th Symposium of the Workgroup Human-Computer Interaction and Usability Engineering, USAB 2010,, Klagenfurt, Austria, November 4-5. Proceedings (2010). 24.Journal Officiel: LOI n du 11 février 2005 pour l'égalité des droits et des chances, la participation et la citoyenneté des personnes handicapées. (2005). 25.Fajardo, I., Vigo, M., Salmerón, L.: Technology for supporting web information search and learning in Sign Language. Interacting with Computers. 21, (2009). 26.Debevc, M., Peljhan, Z.: The role of video technology in on-line lectures for the deaf. Disability and rehabilitation. 26, (2004). 132

9 Effets des Types de Sources d'informations sur l'apprentissage Multimédia d'élèves Sourds 9 27.Marschark, M.: Benefits of Sign Language Interpreting and Text Alternatives for Deaf Students' Classroom Learning. Journal of Deaf Studies and Deaf Education. 11, (2006). 28.Le Bohec, O., Jamet, E.: Les effets de redondance dans l'apprentissage à partir de documents multimédia. Le travail humain. 68, (2005). 29.Kalyuga, S., Chandler, P., Sweller, J.: When redundant on-screen text in multimedia technical instruction can interfere with learning. Human Factors. 46, (2004) 30.Mayer, R.E.: Unique contributions of eye-tracking research to the study of learning with graphics. Learning and Instruction. 20, (2010). 133