Francis JAMBON Laboratoire d Informatique de Grenoble Mise en œuvre de l oculométrie dans différents contextes d usage Analyse ergonomique Tuteurs intelligents IHM adaptatives Interaction via le regard Les besoins Assurer la validité et la reproductibilité du filtrage vis-à-vis des résultats de la littérature (algorithmes identifiant les fixations) indépendamment des dispositifs et suites logicielles des constructeurs Pourvoir prototyper, tester les alternatives, expérimenter, simuler, rejouer Faciliter le développement, l intégration et mutualiser les efforts de programmation 2 Oculométrie dite «passive» Approches dirigés vers l analyse de l attention (e.g. évaluation ergonomique)! Approche «off-line» : les résultats sont attendus après l expérimentation Situations intermédiaires Approches dirigées vers l analyse de l attention, mais demandant une rétroaction immédiate (e.g. tuteurs intelligents)! Approche «on-line» : les résultats sont attendus en cours d expérimentation Oculométrie dite «active» Approches dirigées vers l entrée d information dans un système (e.g. interaction via le regard)! Approche «on-line» avec anticipation : des résultats préliminaires sont attendus en cours d expérimentation Projet TELEOS : «Technology Enheanced Learning Environment for Orthopaedic Surgery» (ANR Blanc) Domaine : apprentissage de la chirurgie orthopédique sur simulateur Objectif : fournir à l apprenant une rétroaction (évaluation, cours, exercices, etc.) à partir de la détection des connaissances mises en jeu lors d un exercice pratique [Jambon et Luengo 2012] 3 4 5 Modélisation des connaissances en apprentissage Diagnostic comportemental : analyse des traces d actions, gestes et état de la simulation pour calculer les variables de situation Diagnostic épistémique : analyse des variables de situation pour en inférer l état des connaissances de l apprenant Rôle des traces de perception Généralement peu utilisées dans le diagnostic comportemental Difficultés de recueil et d analyse Difficultés d interprétation Traces oculométriques Un indice supplémentaire pour le diagnostic comportemental Seulement un indice car fixation! perception 6 Approche «on-line» Rétroaction vers l apprenant et/ou l instructeur en fin ou en cours d exercice Il est donc nécessaire de disposer du diagnostic épistémique en cours d exercice Zones d intérêt dynamiques Les zones d intérêt évoluent en fonction des actions de l apprenant et aussi en fonction de l état de la simulation Il n est donc pas possible de prévoir a priori l évolution (création, déplacement, disparition) des zones d intérêt Intégration à une plateforme d apprentissage Points du regard connus de l oculomètre Zones d intérêt connues du simulateur Fixations dans les zones d intérêt intéressant le diagnostic comportemental
7 Outils des constructeurs d oculomètres Exemple : Tobii Studio Outil destiné à gérer de bout en bout des expérimentations Fonctionnalités : fixations, heatmap, zones d intérêt, clusters, outils statistiques, etc. Monitoring «on-line» des fixations mais pas de récupération possible de ces données Zones dynamiques sur base d un scénario défini a priori Utilisé comme référence pour nos tests de validation par comparaison (via fichiers d export) Donne l accès à un SDK mettant à disposition les tracés oculaires 8 Outils académiques génériques Exemple : icomponent ["pakov 2008] Outil modulaire à base de plug-ins (Microsoft C++/COM servers) Analyse des fixations «on-line» Pas de gestion de zones dynamiques Logiciel libre mais sources non disponibles Limité à un environnement Microsoft Windows Outils académiques spécialisés Exemple : Ocnoscere [Casallas 2009] Outil destiné uniquement à traiter les zones d intérêt dynamiques (étude de la compréhension des animations 2D/3D [Putri 2011]) Zones dynamiques basées sur scénario défini a priori 9 Approche «classique» Détection (en général via le reflet cornéen) de la direction du regard et de son intersection du plan de la surface d affichage Détection des fixations (agrégats de points du regard) qui traduisent un processus de prise d information Comptage du nombre de fixations dans les zones d intérêt définies L approche «on-line» avec zones d intérêt dynamiques doit en plus permettre Détection en temps-réel les fixations Indentification des fixations dans les zones présentes «à ce moment-là» Intégration dans une plateforme d apprentissage 10 De nombreux algorithmes de détection des fixations disponibles dans la littérature Dispersion géométrique I-DT : une fixation est un ensemble de points dont d isobarycentre est situé à une distance inférieure à un seuil donné et dont la durée est supérieure à un seuil donné Seuil de vitesse I-VT : une fixation est un ensemble de points dont la vitesse est inférieure à un seuil donné et dont la durée est supérieure à un seuil donné Modification de l algorithme I-DT [Salvucci et al. 2000] (issu des travaux de Widdel de 1984) pour une utilisation «on-line» " Comptage des fixations dans les zones présentes «à ce moment-là» Deux cas à discuter : 1. Une zone apparaît lorsque la fixation est déjà présente (par ex. anticipation d apparition d une fenêtre pop-up) 2. Une zone disparaît lorsque la fixation est encore présente (disparition prématurée d une fenêtre pop-up) Définition d une fixation dans une zone d intérêt dynamique : «il a comptabilisation d une fixation dans une zone si le temps de présence de la fixation dans cette zone, alors que celle-ci est immobile, est supérieur ou égal au seuil de durée de l algorithme I-DT utilisé» 11 12
13 Cas de TELEOS : ajout dans une architecture déjà existante basée sur des services web 14 Points positifs L architecture répond parfaitement aux besoins fonctionnels de la plateforme d apprentissage TELEOS Points négatifs L algorithme et les paramètres sont fixés à la compilation, ce qui rend une approche exploratoire difficilement réalisable La plateforme permet uniquement l utilisation d un seul oculomètre à un instant donné, ce qui empêche a priori d étendre cette plateforme à l analyse de l activité en équipage La structure de l architecture, centralisée autour du dispatcher, est complètement liée à l implémentation du simulateur de chirurgie et non réutilisable 15 Objectif du projet Étude de faisabilité de l analyse de l activité (perceptions et actions) des pilotes d avion, dans le contexte de l apprentissage sur simulateur Objectif plus général Augmenter le niveau de généricité de la chaîne d analyse oculométrique afin de gérer : Plusieurs oculomètres (travail en équipage et/ou multi-écrans) Plusieurs consommateurs des informations obtenues (analyseurs multiples) dont un système de monitoring des expérimentations 16 Architecture de type multi-agents Aspects fonctionnels Agents réutilisables : analyseur, moniteur, Agents remplaçables : Oculomètre Tobii, simulateur, fichier, Aspects techniques Interconnexion entre agents basée sur une surcouche du bus logiciel Ivy [Buisson 2002] avec typage des données Agents disséminables sur plusieurs machines en réseau Multiplateforme : PC Windows, MacOS X (sauf pour l interface avec l oculomètre) 17 18
Les agents utilisés ont différents niveaux de généricité Le simulateur (ou l application) est lié aux objectifs de l expérimentation ; il doit être en mesure de fournir les coordonnées des zones affichées et leurs évolutions au cours du temps L interface avec l oculomètre est liée au fournisseur du matériel (via son SDK), elle est réutilisable pour toute expérimentation utilisant le même matériel Le détecteur de fixations est générique Les agents consommateurs sont liés aux problèmatiques de recherche concernées, ils sont réutilisables pour une étude similaire Le moniteur est générique Démonstrateur d interface adaptative L ordre de placement de zones d entrée d information change dynamiquement en fonction de l activité (perceptions et actions) de l utilisateur [Jambon, Chappellet et Calvary 2013] Exemple de généralisation Réutilisation de l architecture existante Réutilisation d une partie des agents 19 20 Motivations : disposer au plus tôt d indices sur les perceptions de l utilisateur Domaines d application ciblés Tuteurs Intelligents : Générer des rétroactions (vers l apprenant ou l instructeur) en cours d action Interfaces Plastiques Proactives : Modifier dynamiquement en temps-réel la présentation d une IHM Interaction via le regard 22 23 Point de vue temporel Approche «off-line» : identification des fixations à la fin de l expérimentation Approche «on-line» : identification de chaque fixation en cours d expérimentation Une fois la fixation terminée «l utilisateur a regardé à cet endroit (et maintenant c est terminé depuis au moins 30 millisecondes)» Approche «on-line» avec anticipation : identification de chaque fixation en cours d expérimentation Avant même que la fixation ne soit terminée «l utilisateur est en train de regarder à peu près à cet endroit (et depuis au moins 100 millisecondes)»! «Prémices» de fixation 24 Problématique : Anticiper la fixation Être cohérent avec la future fixation (méthodes de détection compatibles) Borner les incertitudes spatiales et temporelles (estimations de la position et la durée de la future fixation) Choix d un algorithme de détection des fixations compatible avec l anticipation et le calcul des incertitudes Dispersion géométrique I-DT : une fixation est un ensemble de points dont d isobarycentre est situé à une distance inférieure à un seuil donné et dont la durée est supérieure à un seuil donné Seul algorithme adapté au bornage de l incertitude spatiale
Modification de l algorithme I-DT [Salvucci et al. 2000] (issu des travaux de Widdel de 1984) pour une utilisation «on-line» Après la fixation En cours de fixation " Incertitude temporelle La durée de la future fixation est au minimum la durée de la plus longue des prémices Incertitude spatiale La position de la future fixation est au maximum à une distance égale à la dispersion géométrique de toutes ses prémices (démonstration faite via le calcul cumulé des distances) 25 26 27 Fixations Prémices 28 Tuteurs Intelligents Identifier très rapidement les procédures respectées (ou non) par l apprenant même en cas de fixation longue Interfaces Plastiques Proactives Déclencher (ou non) une modification de l IHM si l utilisateur est en train de regarder (ou pas) une zone spécifique Interaction via le regard (en cours) Déclencher des sélection, des commandes via des «gestes visuels» spécifiques Conclusion Chaîne de traitement permettant la détection de fixations en cours, prémices de fixations, dans des zones dynamiques Architecture modulable et réutilisable pour plusieurs usages Perspectives Mise en œuvre sur un domaine d application nouveau : l interaction via le regard (travaux en cours) Travaux sur des variantes de l algorithme I- DT et l algorithme I-VT Francis JAMBON Laboratoire d Informatique de Grenoble 29