Comportements (The Observer XT) : activité générale du conducteur : (entre autres) mouvements des mains, position, verbalisations.

Dimension: px

Commencer à balayer dès la page:

Download "Comportements (The Observer XT) : activité générale du conducteur : (entre autres) mouvements des mains, position, verbalisations."

Virginie Samson
il y a 8 ans
Total affichages :

1 Ce document récapitule la participation de Noldus Information Technology à l atelier 1 du workshop ERGO IA (30 juin 1 juillet) : Systèmes Innovants basés sur l émotion pour l analyse des risques ferroviaires (Responsable : Université de Valenciennes). Une étude sur la faisabilité d'usage de systèmes tels qu'un oculomètre ou un système de reconnaissance faciale automatique était conduite, afin d analyser les corrélations entre les émotions et les comportements. Nous vous illustrons les avantages de l utilisation de la plateforme The Observer XT pour l intégration, la synchronisation et l analyse des données provenant de différents dispositifs. Setup de l étude (voir image 1): Un conducteur est soumis à un test d environ 10 minutes dans un simulateur ferroviaire pendant lequel les données suivantes sont enregistrées (représentées par les flèches noirs dans l image) : Expressions faciales (FaceReader) : états émotionnels (happy, sad, disgusted, angry, surprised, scared, neutral), yeux fermés ou ouverts, bouche fermée ou ouverte, sourcils neutres, levés ou froncés, regard à gauche, droite ou devant. Ces données sont obtenues à l aide d une caméra placée devant le conducteur. Comportements (The Observer XT) : activité générale du conducteur : (entre autres) mouvements des mains, position, verbalisations. Données oculométriques (Tobii eye-tracker) : aires d intérêts, fixations, diamètre des pupilles Pendant un test, 2 incidents (non-fermeture d une porte, défaillance frein) ont été simulés. Après le test, toutes les données ont été intégrées (représentées par les flèches vertes dans l image) dans The Observer XT, plateforme pour l intégration, la synchronisation et l analyse des données comportementales. Les données venant du simulateur consistent (entre autres) en la vitesse et l accélération du train. Image 1: Setup de l étude

Une étude sur la faisabilité d'usage de systèmes tels qu'un oculomètre ou un système de reconnaissance faciale automatique était conduite, afin d analyser les corrélations entre les émotions et les

Enregistrement d un test : FaceReader (voir image 2): ce logiciel cherche d abord le visage de la personne, ensuite il cherche le modèle optimale correspondant le mieux au visage du sujet testé pour

Image 2 : user interface de Face Reader The Observer XT (voir image 3): Les différents comportements prédéfinies (voir (1) dans l image) sont encodés, résultant en un event log contenant les

2 Enregistrement d un test : FaceReader (voir image 2): ce logiciel cherche d abord le visage de la personne, ensuite il cherche le modèle optimale correspondant le mieux au visage du sujet testé pour finalement procéder à la classification des états émotionnels. Les différents états émotionnels sont sauvegardés en temps réel dans un fichier *.txt à une fréquence de 8 à 25 échantillons par seconde. Image 2 : user interface de Face Reader The Observer XT (voir image 3): Les différents comportements prédéfinies (voir (1) dans l image) sont encodés, résultant en un event log contenant les informations temporelles ( time-stamp, voir (2)) pour chaque comportement encodé. (2) (1) Image 3 : user interface de The Observer XT : encodage Oculomètre Tobii : Les données obtenues par l eye-tracker (fréquence : 300 Hz) sont enregistrées en temps réel dans un fichier *.tsv

Intégration et synchronisation des données dans The Observer XT Après avoir terminé le test, l observation enregistrée dans The Observer XT ne contient que les comportements (activités du conducteur)

3 Intégration et synchronisation des données dans The Observer XT Après avoir terminé le test, l observation enregistrée dans The Observer XT ne contient que les comportements (activités du conducteur) encodés. La prochaine étape consiste donc à intégrer les données de FaceReader, Tobii et le simulateur ferroviaire dans The Observer XT. Dans The Observer XT, des données venant des fichiers *.txt peuvent être intégrées en créant un import profile (voir image 4). Un import profile traduit le fichier *.txt en un fichier accessible à The Observer XT. Image 4 montre l import-profile utilisé pour l intégration des données en provenance du simulateur. Il contient les informations suivantes nécessaires : (1) l emplacement de l en-tête du fichier *.txt, (2) l emplacement des données et (3) les données à utiliser dans The Observer. (1) (2) (3) Image 4 : Création d un import profile dans The Observer XT Pour l intégration des données de FaceReader et du Tobii oculomètre (partenaire de NOLDUS), il existe des import-profiles prédéfinies.

4 Visualisation des données intégrees dans The Observer XT (voir image 5) Dans l image ci-dessous vous trouvez sur une frise chronologique (1) les comportements encodées manuellement dans The Observer XT, (2) les différents états émotionnels du conducteur obtenues automatiquement par FaceReader, (3) le diamètre de la pupille en mm obtenu par Tobii, (4) la vitesse du train et (5) l accélération du train (données provenant du simulateur). Toutes ces données sont parfaitement synchronisées avec les vidéos. (NB : La vidéo sur la gauche = la vidéo du simulateur) (1) (2) (3) (4) (5) Image 5 : Visualisation des résultats après intégration des données des différentes sources. NB : le diamètre de la pupille (3) tombe régulièrement à zéro. Ceci représente des missing samples, par exemple dû aux clignements des yeux, ou perte du regard dû à la rotation de la tête etc.

train (données provenant du simulateur). Toutes ces données sont parfaitement synchronisées avec les vidéos.

Analyse des résultats (image 6). Le tableau ci-dessous montre les statistiques. Un vaste choix de statistiques est disponible (voir statistics, à droite).

Image 6 : tableau de résultats, statistiques disponibles et diagrammes dans The Observer XT Analyse approfondie Il existe plusieurs possibilités d approfondir l analyse.

5 Analyse des résultats (image 6). Le tableau ci-dessous montre les statistiques. Un vaste choix de statistiques est disponible (voir statistics, à droite). Vous pouvez aussi créer des diagrammes dans The Observer XT. Image 6 : tableau de résultats, statistiques disponibles et diagrammes dans The Observer XT Analyse approfondie Il existe plusieurs possibilités d approfondir l analyse. Par exemple, il est possible d analyser des séquences spécifiques du test en se focalisant uniquement sur les séquences pendant lesquelles le conducteur était happy. Ainsi, il est possible de comparer les comportements pendant que celui-ci était happy à ceux ou il était not-happy (= les autres émotions). Dans l exemple ci-dessous, le conducteur (nommé Manon) n a émis des vocalisations que lorsqu elle était not-happy : Image 7 : analyse de séquences spécifiques ( happy vs not happy ) dans une observation

6 Autre exemple : les conducteurs peuvent être groupés par âge, sexe ou d autres variables indépendantes définies librement. Dans le tableau ci-dessous, les résultats sur quelques expressions faciales sont analysés par genre (hommes vs femmes). Image 8 : comparaison des résultats basés sur une variable indépendante : male vs female Les données importées peuvent également être utilisées pour approfondir l analyse. Par exemple, quel est le comportement du conducteur quand le train roule à vitesse maximale? Image 9 : comparaison des différents états émotionnels du conducteur en fonction de la vitesse

Image 8 : comparaison des résultats basés sur une variable indépendante : male vs female Les données importées peuvent également être utilisées pour

7 Ou quel est le comportement pendant les 20 secondes avant d atteindre la vitesse maximale? En bleu, vous voyez les tranches correspondantes à cette condition, sur lesquels seront basés les calculs statistiques. Image 10 : analyse des états émotionnels du conducteur avant d atteindre la vitesse maximale Lag Sequential Analysis Pour mieux comprendre les causes de certains comportements (ou évènements), la fonction Lag Sequential Analysis (LSA) vous permet d analyser les transitions entre différentes comportements et/ou états émotionnels (détection des patterns). Il existe deux possibilités d analyse: Analyse des transitions entre des comportements séparées par un nombre de comportements spécifique (= lags). NB : lag = 1 => on regarde quel comportement suit un comportement donné. Lag = - 1 => on regarde quel comportement précède un comportement donné. Les lags peuvent varier entre -9 et 9. Analyse des transitions entre des comportements séparées par une durée spécifique (timelag), indépendant du nombre de comportements constatés pendant cette durée, par exemple : que se passe-t-il dans les 10 secondes suivant une action donnée? Lag Sequential Analysis vous permet de calculer la fréquence et la probabilité. Dans l exemple cidessous nous analysons la réaction du conducteur sur l incident (state lag = 1)

Image 10 : analyse des états émotionnels du conducteur avant d atteindre la vitesse maximale Lag Sequential Analysis Pour mieux comprendre les causes de certains comportements (ou évènements), la

Image 11 : Lag Sequential Analysis dans The Observer XT Résultat : Les conducteurs durant le workshop étaient plutôt happy ou disgusted (P = 0,25 0,50) après l annonce de l incident.

8 Image 11 : Lag Sequential Analysis dans The Observer XT Résultat : Les conducteurs durant le workshop étaient plutôt happy ou disgusted (P = 0,25 0,50) après l annonce de l incident. (ceci démontre le côté ludique du workshop ) RESUME : FaceReader permet l analyse automatique des expressions faciales. Important : la nouvelle version 4 de FaceReader (sortie juillet 2011) vous permet de contrôler d autres logiciels et/ou dispositifs via un Application Programming Interface (API). Par exemple : si le conducteur est scared pendant une certaine durée (séquence numérique), une alarme peut être activé!! The Observer XT facilite l intégration, synchronisation et l analyse de données comportementales de sources différentes. Les possibilités d analyse varient (du simple au complexe, voir liste des clients et projets sur info.noldus.com) et sont presque infinies. Les nouvelles fonctions de The Observer XT sont implémentées suite aux requêtes des chercheurs, afin d adhérer toujours aux besoins de la communauté scientifique, ce qui en fait un outil complet et unique de premier choix. Aout 2011 Dr Guus Bongers Noldus Information Technology France Resp. des Ventes Ouest + Sud de la France guus.bongers@noldus.nl Tel : Fax :

Important : la nouvelle version 4 de FaceReader (sortie juillet 2011) vous permet de contrôler d autres logiciels et/ou dispositifs via un Application Programming Interface (API).

Documents pareils

ESPACE MULTIMEDIA DU CANTON DE ROCHESERVIERE

ESPACE MULTIMEDIA DU CANTON DE ROCHESERVIERE Atelier «pour approfondir» Montage vidéo avec Windows Live Movie Maker 1 Présentation de Windows Live Movie Maker Windows Live Movie Maker est le logiciel de