Stage L3 ENS Lyon Dynamique d un mouvement articulé et reconnaissance de gestes

Transcription

1 Stage L3 ENS Lyon Dynamique d un mouvement articulé et reconnaissance de gestes Bertrand SIMON Inria Sophia-Antipolis, équipe STARS Du 4 juin au 13 juillet 2012 Bertrand SIMON Études de gestes 1 / 15

2 Sommaire Le fonctionnement d OpenNi 1 Le fonctionnement d OpenNi 2 Pré-traitement Analyse Application : reconnaissance de chiffres 3 4 Bertrand SIMON Études de gestes 2 / 15

3 Où est-on? Le fonctionnement d OpenNi 1 Le fonctionnement d OpenNi Bertrand SIMON Études de gestes 3 / 15

4 Les données fournies par OpenNi Carte de profondeur Le squelette Le capteur Kinect Les informations transmises Position et orientation de 15 articulations (tête, épaules, mains, genoux...), et leur fiabilité (0,0.5 ou 1). Un lissage paramétrable est effectué. Données les plus robustes : torse. Données les moins robustes : genoux et épaules, et pieds et mains immobiles et touchant quelque chose (accoudoir ou sol). Bertrand SIMON Études de gestes 4 / 15

5 Où est-on? Le fonctionnement d OpenNi Pré-traitement Analyse Application : reconnaissance de chiffres 1 Le fonctionnement d OpenNi 2 Pré-traitement Analyse Application : reconnaissance de chiffres 3 4 Bertrand SIMON Études de gestes 5 / 15

6 Pré-traitement Analyse Application : reconnaissance de chiffres Comment traiter les données pour obtenir des résultats convenables? Choix du système de coordonnées : système cartésien (fixe ou mobile) basé sur la position et l orientation du torse Calcul de la vitesse : vit[i] := (pos[i +1] pos[i 1])/dt Système de coordonnées utilisé Bertrand SIMON Études de gestes 6 / 15

7 Pré-traitement Analyse Application : reconnaissance de chiffres Comment traiter les données pour obtenir des résultats convenables? Choix du système de coordonnées : système cartésien (fixe ou mobile) basé sur la position et l orientation du torse Calcul de la vitesse : Réduction du bruit : médiane des 10 derniers points puis moyenne des 5 derniers points Effet du filtre sur un signal de vitesse vit[i] := (pos[i +1] pos[i 1])/dt Application du ======= filtre Signal d entrée Signal de sortie Bertrand SIMON Études de gestes 6 / 15

8 Comparaison de 2 gestes Le fonctionnement d OpenNi Pré-traitement Analyse Application : reconnaissance de chiffres Philosophie de l analyse : étude directe des courbes (sans apprentissage statistique ou chaîne de Markov ) le système de coordonnées traditionnel n est pas approprié pour comparer des gestes (la vitesse et le temps n importent pas assez) utilisation de l espace des phases : la vitesse et la position comptent autant et le temps peut être écarté : le problème devient purement géométrique Méthode : enregistrer la trajectoire dans l espace des phases d une ou plusieurs articulations pour chaque geste. sur une vidéo : toutes les X images, on compare les Y dernières images aux gestes enregistrés et on retourne le plus proche et la distance auquel il est. Difficultés : Quand commence et finit un geste? Comment comparer deux courbes dans l espace des phases? Bertrand SIMON Études de gestes 7 / 15

11 Pré-traitement Analyse Application : reconnaissance de chiffres Trois méthodes de comparaisons de deux ensembles s et t Distance entre deux points i and j concernant n articulations : ) d(i,j) = ((x ki x kj ) 2 +(x ki x kj ) 2 (k:articulation),(x:coord) Dynamic Time Warping (DTW) Distance de Hausdorff (DMAX) Distance moyenne (DMOY) Bertrand SIMON Études de gestes 8 / 15

12 Pré-traitement Analyse Application : reconnaissance de chiffres Trois méthodes de comparaisons de deux ensembles s et t Distance entre deux points i and j concernant n articulations Dynamic Time Warping (DTW) : Idée : Comparer deux courbes dont le début et la fin doivent être couplés. Chaque point d une courbe est couplé avec au moins un point de l autre courbe. Résultat : somme minimale des distances entre chaque couple. Implémentation : Utilisation de la programmation dynamique, où M[i,j] est la distance entre s[0...i] et t[0...j] : M[i,j] = d(i,j)+min(m[i 1,j 1],M[i,j 1],M[i 1,j]) Distance de Hausdorff (DMAX) Distance moyenne (DMOY) Bertrand SIMON Études de gestes 8 / 15

13 Pré-traitement Analyse Application : reconnaissance de chiffres Trois méthodes de comparaisons de deux ensembles s et t Distance entre deux points i and j concernant n articulations Dynamic Time Warping (DTW) Distance de Hausdorff (DMAX) : Idée : Calculer la distance maximale entre un point et l autre courbe. Implémentation : ( max Distance moyenne (DMOY) ( ) max min d(i,j) i s j t ( ) ), max min d(i,j) i t j s Bertrand SIMON Études de gestes 8 / 15

14 Pré-traitement Analyse Application : reconnaissance de chiffres Trois méthodes de comparaisons de deux ensembles s et t Distance entre deux points i and j concernant n articulations Dynamic Time Warping (DTW) Distance de Hausdorff (DMAX) Distance moyenne (DMOY) : Idée : Idem que la distance de Hausdorff mais moins sensible aux phénomènes locaux : calcul de la distance moyenne entre un point et l autre courbe. Implémentation : ( { } { } ) moyenne min d(i,j) j t i s min d(i,j) j s i t Bertrand SIMON Études de gestes 8 / 15

15 Pré-traitement Analyse Application : reconnaissance de chiffres Trois méthodes de comparaisons de deux ensembles s et t Distance entre deux points i and j concernant n articulations Dynamic Time Warping (DTW) Distance de Hausdorff (DMAX) Distance moyenne (DMOY) Exemple : distances prises en compte sur deux courbes Fig 1 : Dynamic Time Warping. Fig 2 : Distance de Hausdorff. Fig 3 Distance moyenne. Bertrand SIMON Études de gestes 8 / 15

16 Reconnaissance de chiffres Le fonctionnement d OpenNi Pré-traitement Analyse Application : reconnaissance de chiffres De gauche à droite : y = f (x). x = f (x). y = f (y). z = f (z). Le 3 rouge est exécuté et les deux autres chiffres sont des exemples d enregistrements. Les distances pour chaque méthode entre le 3 et les autres chiffres sont sur la gauche. Analyse : Remarque : les chiffres bleus ne sont pas lissés : la différence est évidente. Un recentrage et une normalisation ont été appliqués. DTW and DMOY sont beaucoup plus discriminants. DTW est très sensible à la délimitation des gestes. Bertrand SIMON Études de gestes 9 / 15

17 Reconnaissance de chiffres Le fonctionnement d OpenNi Pré-traitement Analyse Application : reconnaissance de chiffres De gauche à droite : y = f (x). x = f (x). y = f (y). z = f (z). Le 3 rouge est exécuté et les deux autres chiffres sont des exemples d enregistrements. Les distances pour chaque méthode entre le 3 et les autres chiffres sont sur la gauche. Analyse : Remarque : les chiffres bleus ne sont pas lissés : la différence est évidente. Un recentrage et une normalisation ont été appliqués. DTW and DMOY sont beaucoup plus discriminants. DTW est très sensible à la délimitation des gestes. Bertrand SIMON Études de gestes 9 / 15

19 Le squelette de la Kinect est-il assez précis pour envisager des applications médicales? Scénario : Des personnes âgées saines et atteintes d Alzheimer accomplissent des exercices et sont enregistrées par une Kinect. Objectif : analyser les données du squelette pour détecter des particularités de la maladie d Alzheimer. Méthode : Aucune base de données compatible n est disponible, donc j ai reproduit ce que les patients faisaient. Les critères ne peuvent pas être évalués rigoureusement. Les patients bougent relativement beaucoup : utilisation d un repère absolu (axes déterminés au début) Salle utilisée Bertrand SIMON Études de gestes 11 / 15

22 Transferts de position assise et debout Objectifs Mesurer le temps de chaque transfert. Analyser l évolution de l orientation du torse et détecter une chute sur le fauteuil. Analyser la trajectoire des épaules. Bertrand SIMON Études de gestes 12 / 15

23 Objectifs Analyser l évolution de l orientation du torse et détecter une chute sur le fauteuil. Méthode employée Calculer la vitesse de l angle α entre le torse et la verticale dans le plan (yz) et détecter des pics. Détection des chutes : un pic positif suit un pic négatif et est 1.5 fois plus élevé, et la personne s assoit. Idée : une différence significative en amplitude signifie une fin de mouvement incontrôlée. Angle alpha Bertrand SIMON Études de gestes 12 / 15

24 Objectifs Analyser l évolution de l orientation du torse et détecter une chute sur le fauteuil. Résultats graphiques : une personne s assoit, puis se relève Les pics détectés sont les courbes rouges. Durant les deux premiers pics, la personne s assoit : elle se penche en avant puis se redresse sur la chaise. Valeurs : gauche : 0.8 ; droite : 1.8. De haut en bas : dα dt, d 1 et d 2, α en fonction du temps. Gauche : action normale. Droite : difficultés et chute. Durant les deux derniers pics, la personne se relève : elle se penche en avant, puis se redresse. Études possibles : quantifier l aplatissement du premier pic. (Idée : le patient a atteint une vitesse maximale). Bertrand SIMON Études de gestes 12 / 15

25 Objectifs Mesurer le temps de chaque transfert. Analyser l évolution de l orientation du torse et détecter une chute sur le fauteuil. Analyser la trajectoire des épaules. Paramètres à ajuster axes du repère taille minimale d une personne debout taille maximale d une personne assise vitesse maximale d une position stable propriétés d un pic (seuils en amplitude et en temps) rapport minimal pour une chute courbure minimale Bertrand SIMON Études de gestes 12 / 15

26 Analyse de la marche Le fonctionnement d OpenNi Objectifs Calculer la longueur et la fréquence des pas, ainsi que la vitesse moyenne. Problème : Comment savoir quand la personne change de pied? Angle de vue Bertrand SIMON Études de gestes 13 / 15

27 Objectifs Calculer la longueur et la fréquence des pas, ainsi que la vitesse moyenne. Problème : Comment savoir quand la personne change de pied? Méthode employée Calcul de la position et de la vitesse de chaque pied dans l axe z. Tracer { des courbes de deux paramètres parmi } temps, z droit, z droit, z gauche, z. gauche Meilleurs résultats obtenus : étudier la vitesse des pieds en fonction du temps. Les délimiteurs d un pas : début : un pied bouge assez vite. fin : ce pied ralentit assez, ou l autre pied bouge plus vite. Le mouvement doit durer assez longtemps. Idée : OpenNi suit plus la cheville que le pied : l articulation bouge encore alors que le pied s est arrêté. L étude comparative des pieds est donc plus adaptée. Le dernier pas est alors biaisé. Bertrand SIMON Études de gestes 13 / 15

34 Objectifs Calculer la longueur et la fréquence des pas, ainsi que la vitesse moyenne. Problème : Comment savoir quand la personne change de pied? Résultats graphiques : une personne marche en arrière puis en avant Courbes vertes (et jaunes) : pied gauche. Courbes mauves (et bleues) : pied droit. Fig 1 : Courbes vitesse-temps. Fig 2 : Courbes position-temps. Fig 3 : Position du pied gauche en fonction de celle du pied droit. Bertrand SIMON Études de gestes 13 / 15

35 Objectifs Calculer la longueur et la fréquence des pas, ainsi que la vitesse moyenne. Problème : Comment savoir quand la personne change de pied? Paramètres à ajuster axes du repère propriétés d un pic (seuils en amplitude et en temps) Bertrand SIMON Études de gestes 13 / 15

37 Le fonctionnement d OpenNi Comment faciliter le fonctionnement de la Kinect? Éviter les mouvements rapides (à cause du lissage). Ne pas placer la Kinect plus loin que 4-5 mètres pour pouvoir détecter les deux jambes le plus souvent possible. Faciliter la détection des axes (noter l angle de vue de la Kinect par exemple). Faciliter la détection des positions assise/debout. Idées générales pour de futures études sur de tels exercices Quantités pertinentes : position et vitesse des articulations concernées (excepté les données les moins robustes) orientation du torse. Espace d étude : l espace des phases ne semble pas adapté l évolution et la comparaison de données reliées en fonction du temps l est plus. Motifs utiles : les pics et la comparaison de pics voisins. des descripteurs géométriques (courbures, extrema...). Bertrand SIMON Études de gestes 15 / 15

38 Le fonctionnement d OpenNi Comment faciliter le fonctionnement de la Kinect? Éviter les mouvements rapides (à cause du lissage). Ne pas placer la Kinect plus loin que 4-5 mètres pour pouvoir détecter les deux jambes le plus souvent possible. Faciliter la détection des axes (noter l angle de vue de la Kinect par exemple). Faciliter la détection des positions assise/debout. Idées générales pour de futures études sur de tels exercices Quantités pertinentes : position et vitesse des articulations concernées (excepté les données les moins robustes) orientation du torse. Espace d étude : l espace des phases ne semble pas adapté l évolution et la comparaison de données reliées en fonction du temps l est plus. Motifs utiles : les pics et la comparaison de pics voisins. des descripteurs géométriques (courbures, extrema...). Bertrand SIMON Études de gestes 15 / 15