Nouvelles technologies et Autisme. JeStiMulE : un serious game pour enseigner la reconnaissance des émotions

Transcription

1 Journée ORNA 20 Mai 2015 Nouvelles technologies et Autisme JeStiMulE : un serious game pour enseigner la reconnaissance des émotions SEMA-TIC : un serious game pour enseigner des compétences de lecture Serret S; Hun S. Askénazy F.; CRA PACA Nice, Service Universitaire de Psychiatrie de l Enfant et de l Adolescent Hôpitaux pédiatriques Nice CHU-Lenval, CobTeK EA 7276 serret.s@pediatrie-chulenval-nice.fr

2 2 Progression de la recherche Nouvelles technologies et autisme O. Grynszpan, PL Weiss, F. Perez-Diaz, E. Gal. Innovative technology-based interventions for autism spectrum disorders: a meta-analysis. Autism 2014

3 3

4 4 JeStiMulE: Enseigner la reconnaissance des émotions. JeStiMulE : Jeu pour la stimulation multisensorielle des enfants et des adolescents avec autisme. Financé par la DGCIS en réponse à un appel d offre national «Serious Game» Partenaires

5 5 JeStiMulE: un serious game Le plaisir de jouer Jeu video Ordinateur + Manette de jeu (type PS3) L apprentissage Apprentissage basé sur des compétences cognitives nonverbales Objectifs Enseigner la reconnaissance des émotions sur visages, gestes et en contextes. Faire jouer sur un même support des enfants et des adolescents avec TSA de haut et bas niveau de fonctionnement.

6 6 JeStiMulE : Interface Homme-Machine spécifique Emotions sont codées à l aide d un code couleur Roue des émotions de Plutchik (1980) Joie Colère Dégout Peur Tristesse Surprise Douleur Neutre Grimace

7 7 JeStiMulE : Interface Homme-Machine spécifique Stimulations multisensorielles (tactiles, visuelles, auditives ) CEA List Messages tactiles à valence émotionnelle Chaque émotion est associée à un pattern tactile (dimension physique)

8 8 JeStiMulE Phase d apprentissage en 2D 20 jeux indépendants Apprentissage perceptif Complexité croissante Code couleur Apprentissage des gestes émotionnels sur des avatars animés

9 9 JeStiMulE: Phase d expérimentation 3D 5 espaces de vie : Differentes situations sociales Entrainement en contexte social Le jardin d enfants La place La salle de spectacle

10 10 Phase d expérimentation = 3 modules de 30 scènes chacun Scènes de reconnaissance des émotions en contexte Scènes deviner les émotions par indexation du contexte

11 11 JeStiMulE: un jeu qui s adresse à des personnes avec autisme de haut et bas niveau de fonctionnement Pour une même situation sociale Trois modalités de réponses Code couleur Mots émotionnels Expressions idiomatiques

12 12 JeStiMulE: le but du jeu 1 émotion reconnue = 1 pièce de puzzle gagnée Le puzzle entièrement reconstitué est composé de 30 pièces Site web du Jeu:

13 13 Etude pilote: 33 enfants et adolescents avec TSA de haut et de bas niveau de fonctionnement. Deux résultats principaux: Jeu adapté à l hétérogénéité des TSA = = > 91% ont joué de manière efficace = = > Amélioration significative de la reconnaissance des émotions

14 14 Résultats: Jeu adapté aux enfants et adolescents avec autisme de haut et de bas niveau de fonctionnement. Apprentissage (avatars)

15 15 Résultats: Généralisation proche des apprentissages sur personnages réels non vus dans le jeu Généralisation des apprentissages (personnages réels)

16 16 Les perspectives JEMImE Jeu Educatif Multimodal d Imitation Emotionnelle pour des enfants avec TSA : ANR Contint ANR-13-CORD-0004 Objectif : SeriousGame pour apprendre aux enfants avec autisme à produire des émotions en contexte

17 17 SEMA-TIC: un serious game pour enseigner des compétences de lecture Financé par ARS PACA en réponse à un appel d offre «Réduire les inégalités sociales en population vulnérable» Partenaires: EXPERTS Lecture Professionnels Interventions éducatives (ABA, éducation structurée ) Education Nationale Orthophonistes Parents

18 18 SEMA-TIC: un serious game Objectifs Enseigner les compétences de lecture et d écriture Améliorer le langage oral Destiné préférentiellement aux enfants avec autisme peu ou non verbaux = = > Enfants peu ou non soumis aux apprentissages scolaires classiques.

19 Pré requis à l apprentissage de la lecture Enfants sans autisme Enfants avec trouble autistique Logique Expression Comprehension Phonologie Logique Expression Comprehension Phonologie Graphisme Graphisme 19

20 Modalités particulières de fonctionnement des TSA Pics de compétences - Pensée visuelle Attention aux détails Raisonnement logique Mémoire 20

21 Modalités particulières de fonctionnement des TSA Intérêts spécifiques- Mottron : «Ces pics d habilités étant existants, il est de notre devoir de les rendre fonctionnel et de les étendre à d autres domaines». 21

22 22 SEMA-TIC: Enseigner des compétences de lecture Compréhension de la lecture Code de la lecture Ecriture

23 23 Matériel de SEMA-TIC (Manulex) 10 jeux Base de 10 mots/jeu 1 0 S E R I E S 100 mots (90 noms et 10 verbes) associés à un dessin. 50 phrases associées à une animation 3D. > 300 Phrases à construire 5000 mots supports des jeux/exercices logiques.

24 Jeu d apprentissage de la souris SEMA-TIC: organisation 10 séries de 10 jeux 10 jeux de la série Choix de la série percute Mode accompagnant Dictionnaire de lettres, mots, phrases

25 25 SEMA-TIC : Development du lexique Série 1--Jeu1: 10 Mots voiture Série 1-- Jeu2: Généralisation sur 10 mots

26 26 SEMA-TIC: Lettres, syllables visuelles Série 1--Jeu 3: Majuscules/minuscules sur 10 mots VOITURE voiture Série 1--Jeu 4: Recherche sur 10 mots V voi

27 27 SEMA-TIC : L écriture Série 1 jeu 5: 10 mots moto moto moto m moto m

28 SEMA-TIC: Le code de la lecture (5000 mots) 28 Série 1--Jeu 6: Mots de la même famille enneiger neiger déneiger Série 1--Jeu 7: Syllabes orthographiques visuelles voiture voile écriture boire Série 1--Jeu 8: Mots non-mots jke aazk ozqms loi cage savon

29 29 SEMA-TIC Compréhension de la lecture Série 1 Jeu 9: Phrases animées (5) Le tracteur percute la voiture. Série 1 J 10 Construction de phrase La voiture percute le tracteur.

30 Aspects ludiques: Animation lors des transitions Renforçateurs : animation visuelle en récompense Utilisation de cartes du jeu Images et mots issus de SEMA-TIC

31 31 SEMA-TIC: Une étude pilote 24 enfants (6-11 ans) avec autisme peu ou non verbaux répartis en deux groupes G1: Joue à SEMA-TIC pendant 14 semaines effectives G2 : ne joue pas à SEMA-TIC Diagnostic F84.0 (CIM10) G1 enfants joueurs G2 enfants non joueurs p Sexe M/F 11/1 10/2 Age 8 ans 7 mois 8 ans 5 mois ns CARS-T total ns WNV ns Raisonnement ns analogique de Raven) (Matrice ELO (6 Items) (9; 9; 17; 7; 1;1) (9; 7; 13; 5; 1; 1) ns ALOUETTE 0 0 ns

32 SEMA-TIC: Résultats significatifs 25% de lecteur évalué à Alouette et ODEDYS ***

33 SEMA-TIC: Résultats significatifs Amélioration du langage oral ELO (Lexique réception et production, compréhension d énnoncés). ** ** ***

34 34 Les perspectives: En cours une étude de faisabilité d utiliser SEMA-TIC au sein de l éducation Nationale. Etude en cours; Janvier 2015 à Juin 2015 Partenaires: SEMA-TIC est expérimenté dans 10 classes de Grande section de maternelle dans le département du Alpes Maritimes. Avec un enfant avec autisme accompagné d une AVSi Objectif: Evaluer la faisabilité d utiliser SEMA-TIC à l école.

35 35 Remerciements Enfants et adolescents avec autisme (> 80) Leurs parents Professionnels IMEs (Les Côteaux d Azur, les Noisetiers, Pierre Merli, Val Paillon, Les Terrasses, Val Fleur ) Professionnels des Hôpitaux de jour (P5, La Caravelle) ARS PACA, Education Nationale, MDPH et le Conseil Général du 06 Jeune adulte Autiste-Asperger = = >

36 Merci pour votre attention