Contrôle sans contact

Transcription

1 Contrôle sans contact vers un pipeline polyvalent et normalisé E E. Clin, R. Guillemot, S. Prévost, Y. Remion, L. Lucas E. Clin, R. Guillemot, S. Prévost, Y. Remion, L. Lucas c 2015 CReSTIC. Tous droits réservés

2 Journée Centre Image Sommaire 1 Introduction 2 Reconnaissance de gestes 3 Implémentation 4 Conclusion et perspectives

3 Introduction "The ultimate display" Journée Centre Image : 50 e anniversaire de "The ultimate display" [Sutherland, 1965]. L écran idéal est une fenêtre sur le monde représenté. L écran idéal "perçoit" l utilisateur et s y adapte.

4 Introduction ICOS Immersive COmputational Surgery (ICOS), projet retenu lors du 16e appel FUI, est un système d aide per-opératoire permettant : une navigation intuitive ; un contrôle sans contact (mains, yeux, voix) ; une visualisation des images médicales en 3D sans lunettes. Journée Centre Image

5 Reconnaissance de gestes Chaîne de traitement Journée Centre Image La reconnaissance de gestes [Sarkar et al., 2013] regroupe principalement trois branches : analyse des gestes de dessins ("drawing gestures") ; gants numériques ("data gloves") ; vision par ordinateur ("vision based").

6 Reconnaissance de gestes Chaîne de traitement Journée Centre Image Data Acquisition Gesture Modelling Modeling Feature Extraction Gesture Classification La reconnaissance de gestes [Sarkar et al., 2013] regroupe principalement trois branches : analyse des gestes de dessins ("drawing gestures") ; gants numériques ("data gloves") ; vision par ordinateur ("vision based").

7 Reconnaissance de gestes Acquisition des données Journée Centre Image Data Acquisition Gesture Modelling Modeling Feature Extraction Gesture Classification L étape d acquisition consiste à récupérer les données produites par les périphériques : Différentes technologies existent. Plusieurs périphériques peuvent être utilisés en combinaison. Données de nature potentiellement très variée.

8 Reconnaissance de gestes Modélisation des gestes Journée Centre Image Data Acquisition Gesture Modelling Modeling Feature Extraction Gesture Classification Durant l étape de modélisation, le système construit à partir des données acquises une représentation des éléments constitutifs du geste, e.g. le système va détecter les mains. Cette étape doit : tenir compte du type des données acquises ; faciliter l extraction des caractéristiques.

9 Reconnaissance de gestes Extraction des caractéristiques Journée Centre Image Data Acquisition Gesture Modelling Modeling Feature Extraction Gesture Classification L extraction des caractéristiques ("feature extraction") peut se baser sur différentes techniques : basée vue ; basée modèle (données cinématiques) ; basée caractéristiques bas niveaux ("low-level features").

10 Reconnaissance de gestes Classification des gestes Journée Centre Image Data Acquisition Gesture Modelling Modeling Feature Extraction Gesture Classification La classification des gestes peut découler d un des deux concepts suivants : l approche basée règle ("rule based") ; l apprentissage supervisé ("machine learning").

11 Implémentation Edwin Journée Centre Image Data Acquisition Gesture Modelling Modeling Feature Extraction Gesture Classification E Notre outil pour la reconnaissance de geste : Edwin.

12 Implémentation Acquisition Journée Centre Image Un périphérique classique est reconnu par le système d exploitation via un fichier pilote : Le périphérique émet un signal qui lui est propre. Le pilote "traduit" le signal en événements normalisés pour le système. Périphériques classiques Signaux A Souris A Pilote A Evénements souris normalisés Souris B Pilote B Signaux B Application

13 Implémentation Acquisition Journée Centre Image L intégration de périphériques sans contact implique pour chaque périphérique : Périphériques sans contact Kinect Leap Motion d intégrer un SDK propre ; de gérer une nouvelle structure de données (potentiellement redondante). Signaux Kinect SDK Kinect Signaux Leap Motion SDK Leap Motion Nécessité de normaliser l acquisition. Mains type Kinect Application Mains type Leap Motion

14 Implémentation Acquisition Périphériques sans contact avec normalisation : Edwin Périphériques classiques Souris A Leap Motion Kinect Souris B Signaux A Signaux B Pilote A Signaux Kinect Signaux Leap Motion Greffon Kinect Greffon Leap Motion Leap Motion Kinect Signaux Kinect SDK Kinect Pilote B Evénements souris normalisés Périphériques sans contact Signaux Leap Motion SDK Leap Motion Mains type Kinect Mains type Leap Motion Application Application Mains type Edwin Application Journée Centre Image

15 Implémentation Reconnaissance - GRT Journée Centre Image Raw data Pre Processing Processed data Gesture Classification Gesture prediction La bibliothèque Gesture Recognition Toolkit (GRT [Gillian, 2013]) permet : de préparer les données au processus de reconnaissance ; d identifier les gestes par apprentissage supervisé. Possibilité pour l utilisateur de choisir ses propres gestes.

16 Implémentation Extraction des caractéristiques Journée Centre Image Les enjeux de l extraction des caractéristiques : Tenir compte des différents types de données reçus ; Extraire des données discriminantes pour la classification. Quelques exemples de caractéristiques [Sarkar et al., 2013] : Références Oka and al., 2002 Malina et al., 2006 Rajesh et al., 2012 Kim et al., 2002 Caractéristiques extraites Centre de la paume Centre de gravité et distance maximale Distance euclidienne au bord, centre de la paume Changement de direction

17 Implémentation Extraction des caractéristiques Journée Centre Image La taxonomie des gestes [Aigner et al., 2012] identifie cinq types de gestes : les gestes de pointage ; les gestes sémaphoriques ; les gestes pantomimiques ; les gestes iconiques ; les gestes de manipulation. Copyright 2012 Microsoft Corporation

23 Implémentation Extraction des caractéristiques Journée Centre Image [Bodiroza and Hafner, 2014] propose une extraction multi-passe : première extraction pour identifier un geste abstrait ; seconde extraction pour caractériser le geste abstrait (désambiguïsation). Cette extraction multi-passe permet une reconnaissance plus robuste par rapport aux variations intrapersonnelles et interpersonnelles : amplitude du geste ; positionnement ; vitesse d exécution.

24 Implémentation Classification Journée Centre Image L identification des gestes est basée sur des algorithmes de classification et fonctionne en deux étapes : Entraînement du système, i.e. des gestes sont associés à des étiquettes. Calcul d une prédiction (étiquette + probabilité) à partir des données acquises.

25 Implémentation Classification Journée Centre Image L identification des gestes est basée sur des algorithmes de classification et fonctionne en deux étapes : Entraînement du système, i.e. des gestes sont associés à des étiquettes. Calcul d une prédiction (étiquette + probabilité) à partir des données acquises. Données acquises Apprentissage Modèle

26 Implémentation Classification Journée Centre Image L identification des gestes est basée sur des algorithmes de classification et fonctionne en deux étapes : Entraînement du système, i.e. des gestes sont associés à des étiquettes. Calcul d une prédiction (étiquette + probabilité) à partir des données acquises. Données acquises Prédiction Étiquette Modèle

27 Journée Centre Image Conclusion Actuellement : plusieurs périphériques sont gérés (Kinect R, Leap Motion R et Tobbi REX R ) ; des outils de classification sont intégrés via GRT. Perspectives : déterminer les meilleures caractéristiques à extraire ; construire une interface intuitive.

28 Journée Centre Image Conclusion Merci de votre attention. Questions?

29 Journée Centre Image Références I [Aigner et al., 2012] Aigner, R., Wigdor, D., Benko, H., Haller, M., Lindbauer, D., Ion, A., Zhao, S., and Koh, J. (2012). Understanding mid-air hand gestures : A study of human preferences in usage of gesture types for HCI. Microsoft Research TechReport MSR-TR [Bodiroza and Hafner, 2014] Bodiroza, S. and Hafner, V. V. (2014). GRaD : Gesture Recognition and Disambiguation framework for unconstrained, real-life scenarios. In Workshop Proceedings of 13th International Conference on Intelligent Autonomous Systems, pages

30 Journée Centre Image Références II [Gillian, 2013] Gillian, N. (2013). Gesture Recognition Toolkit (available from : http :// [Sarkar et al., 2013] Sarkar, A. R., Sanyal, G., and Majumder, S. (2013). Hand gesture recognition systems : a survey. International Journal of Computer Applications ( ), 71(15). [Sutherland, 1965] Sutherland, I. E. (1965). The ultimate display. Multimedia : From Wagner to virtual reality.