Analyse d images avec la Kinect

Transcription

1 Analyse d images avec la Kinect 1 Découverte de la Kinect Initialement destinée à la console Xbox 360 afin de contrôler les jeux vidéo sans utiliser de manette, la Kinect a rapidement séduit de nombreux développeurs du monde entier qui y ont trouvé de nouveaux usages dans les jeux vidéo mais aussi dans les applications de tous les jours. Ce périphérique est doté de différents capteurs permettant d analyser une scène, non seulement par l image mais également par le son. Figure 1 La Kinect. 1) Rechercher et détailler les principales technologies présentes dans la Kinect qui permettent l analyse des images. 2) énumérer les différentes applications d analyse d images qui ont été développées, en dehors de celles destinées aux jeux vidéo. 2 Acquisition d une vidéo avec Matlab Pour utiliser la Kinect Xbox360 avec Matlab et acquérir des vidéos avec la toolbox "Image Acquisition", il est nécessaire d utiliser le driver KinectSDK fournit par Microsoft. 3) Par le biais du gestionnaire de périphériques, vérifier que le driver associé à la Kinect est bien le driver KinectSDK (cf. figure 2). 4) Tester l acquisition de vidéos avec la Kinect par le biais de la toolbox "Image Acquisition". TP de vision 1

2 Figure 2 Driver KinectSDK. 3 Ajustement du champ de vision Pour accéder au moteur de la Kinect Xbox360 et ajuster le champ de vision, nous utilisons ici le logiciel Kinemote. Ce logiciel fonctionne également avec le driver KinectSDK. Il faut impérativement passer par ce logiciel pour ajuster le champ de vision et ne pas forcer manuellement sur la Kinect. Figure 3 Réglage du champs de vision. TP de vision 2

3 4 Programmation de la Kinect avec Matlab 4.1 OpenNI Le driver KinectSDK permet d acquérir des vidéos avec la toolbox "Image Acquisition" à partir de la Kinect Xbox360. Cependant, ce driver fourni par Microsoft ne convient pas pour la programmation avec Matlab. En effet, pour concevoir des applications avec Matlab avec la Kinect, il est nécessaire d utiliser OpenNI (Open Natural Interaction), un framework opensource multi-langages et multiplateformes créé par l entreprise PrimeSense. Ce framework, qui permet d exploiter le capteur de la Kinect, fonctionne en utilisant un autre driver, le driver SensorKinect, lui-même fourni par PrimeSense. 4.2 Changement de driver Selon l utilisation que vous ferez de la Kinect (programmation, simple acquisition ou gestion du champ de vision), le driver à utiliser pour accéder la caméra de la Kinect est donc différent. Pour changer le driver, il faut aller dans le gestionnaire de périphériques, faire un clic droit sur le driver utilisé actuellement, puis cliquer sur "Mettre à jour le pilote...". Cliquer ensuite sur "Rechercher un pilote sur mon ordinateur", puis "Choisir parmi une liste de pilotes de périphériques sur mon ordinateur". Vous pourrez ainsi basculer d un driver à l autre. 4.3 Les fichiers MEX La programmation avec Matlab peut s avérer parfois fastidieuse et n est pas toujours appropriée pour certaines applications où une programmation en C, C++ ou en Fortran est plus aisée. Les fichiers MEX permettent de faire le lien entre Matlab et la programmation dans d autres langages. Ce sont des fichiers écrits en C, C++ ou en Fortran, qui une fois compilés, peuvent être utilisés dans Matlab de la même manière que les fichiers.m. Ils ont l avantage d améliorer la vitesse d exécution par rapport à la programmation basique avec Matlab. Afin de compiler ces fichiers, Matlab doit pouvoir accéder à un compilateur. La commande "mex -setup" permet d identifier les compilateurs compatibles avec Matlab présents dans l ordinateur. Nous utilisons ici le compilateur Microsoft Windows SDK. 4.4 Exemples de programmation Des fichiers permettant d accéder aux capteurs de la Kinect et d acquérir des vidéos sont disponibles sur le réseau d échange de fichiers de la communauté des programmeurs Matlab : ØØÔ»»ÛÛÛºÑ Ø ÛÓÖ º Ö»Ñ ØÐ ÒØÖ Ð» Ð Ü Ò» ¼¾ ¾¹ Ò Ø¹Ñ ØÐ. Des exemples de programmation avec la Kinect sont également proposés. 5) Basculer sur le driver PrimeSense et exécuter le fichier "compile_cpp_files.m". Exécuter ensuite les différents fichiers exemples. Observer le résultat de chaque application. 5 Reconnaissance de caractères Dans ce TP, nous proposons de reconnaître des lettres formées par le corps humain selon deux approches. La première utilise les coordonnées des points formant le squelette du corps humain, tandis que la seconde est basée sur des attributs de reconnaissance de forme. TP de vision 3

4 5.1 Utilisation du squelette Le programme "mxniskeleton.cpp" utilisé dans le fichier Matlab "ExampleSK.m" permet d extraire le squelette correspondant au corps humain présent sur la vidéo acquise par la Kinect. Ce squelette est composé de 15 points, comme l illustre la figure 4. Représentation du squelette par 15 points Head Neck Torso Right shoulder Left shoulder Right elbow Left elbow Right hand Left hand Right hip Left hip Right knee Left knee Right foot Left foot Figure 4 Représentation des 15 points constituant le squelette obtenu par la Kinect. Dans ce TP, nous proposons d utiliser les 9 premiers points correspondant au haut du corps pour reconnaître certaines lettres de l alphabet. 6) Analyser les tableaux de coordonnées x et y obtenus grâce au script "ExampleSK.m" afin d associer les coordonnées aux différents points constituant le haut du corps. 7) écrire une nouvelle fonction "ReconnaissanceLettresSquelette" permettant, à partir des tableaux de coordonnées x et y, de reconnaître et d afficher les lettres présentes sur la figure 5. 8) Insérer la fonction "ReconnaissanceLettresSquelette" dans le script "ExampleSK.m" et tester la reconnaissance. Quelles sont les limites rencontrées? 5.2 Utilisation des attributs de reconnaissance de forme Nous proposons dans cette partie de reconnaître les lettres formées par le corps humain selon une autre approche, basée sur des attributs de reconnaissance de forme. Cette approche nécessite de binariser l image puis d isoler la forme correspondant au corps humain fin d en extraire des caractéristiques. Le fichier Matlab "Example.m" permet d acquérir deux vidéos grâce à la Kinect, la première correspondant au capteur RGB de la Kinect et la seconde correspondant au capteur de profondeur. 9) Effectuer une acquisition du corps humain grâce au fichier "Example.m". Enregistrer la matrice correspondant à l image du capteur de profondeur. TP de vision 4

5 Figure 5 Lettres à reconnaître Prétraitement L objectif du prétraitement est d obtenir, à partir de la matrice précédemment enregistrée, une nouvelle image binaire ne contenant que la forme du corps. Ce prétraitement sera effectué au sein d une nouvelle fonction "ExtractionFormeCorps". 10) Binariser l image du capteur de profondeur enregistrée précédemment de sorte à obtenir les objets (dont la forme du corps) en blanc et le fond en noir. Plusieurs opérateurs morphologiques permettent d améliorer la binarisation afin d obtenir une image dans laquelle les formes correspondent au mieux aux objets de la scène réelle : La fonction ÑÐ Ö ÓÖ Ö est une fonction morphologique qui permet de supprimer des régions qui sont au contact des bords de l image binaire. La fonction Û Ö ÓÔ Ò, basée sur une analyse en composantes connexes, permet de supprimer des régions de trop petites tailles dans une image binaire. La fonction Ñ ÐÐ est une fonction morphologique qui permet de combler les "trous" dans les régions d une image binaire. La fonction ÛÑÓÖÔ permet plusieurs opérations morphologiques sur des images binaire dont l érosion, la dilatation, l ouverture, la fermeture, l amincissement,... Les fonctions Ñ ÖÓ et Ñ Ð Ø permettent respectivement de réaliser des opérations d érosion et de dilatation sur des images à niveaux de gris à partir d un élément structurant. Cet élément structurant peut être défini soit par une matrice de 0 et de 1, soit en utilisant la fonction ØÖ Ð qui permet de configurer des éléments structurants élémentaires. 11) En utilisant une ou plusieurs de ces fonctions, traiter l image binarisée afin d obtenir une image dans laquelle la forme correspond au mieux au corps humain Localisation de la région d intérêt La fonction Û ÓÙÒ Ö détermine les régions de pixels connexes dans une image binaire. L image résultante de cette fonction est une image indexée où chaque index correspond à une étiquette (label), c est à dire une région. Cette image peut être convertie en une image RGB grâce à la fonction Ð Ð¾Ö. Enfin, la fonction Ö ÓÒÔÖÓÔ permet de mesurer différents paramètres de régions contenues dans une image d étiquettes, tels que : la surface, le périmètre, TP de vision 5

6 le diamètre équivalent, la longueur de l axe principal d inertie (longueur de la région), la longueur du second axe d inertie (largeur de la région), l angle de l axe principal d inertie (orientation de la région), les coordonnées du centre de gravité, les coordonnées du cadre circonscrit à la région (boundingbox)... 12) En utilisant la fonction Û ÓÙÒ Ö, créer l image d étiquettes correspondant à votre acquisition avec des étiquettes en niveau de gris. Afficher cette image en utilisant la fonction Ð Ð¾Ö afin de coder la valeur de chaque étiquette sur 3 8 bits. 13) Pour chacune des régions contenues dans l image d étiquettes, calculer sa surface, son périmètre, les coordonnées de son centre de gravité, ainsi que celles de sa boundingbox. Afficher à proximité de chaque objet son numéro, sa surface, son périmètre. Représenter le centre de gravité par une croix. 14) En utilisant les valeurs du périmètre et/ou de l aire de chaque région, ainsi que les coordonnées de la boundingbox, isoler la région correspondant au corps humain et copier cette région dans une nouvelle image (cf. figure 6) qui sera le paramètre de sortie de la fonction "ExtractionFormeCorps". Figure 6 Corps isolé. 15) Vérifier que les valeurs choisies précédemment permettent bien d isoler le corps quelque soit la lettre dessinée. Pour cela, intégrer la fonction "ExtractionFormeCorps" dans le fichier "Example.m" et analyser les résultats obtenus avec de nouvelles acquisitions. On renommera le fichier ainsi complété en fichier "Example_Lettre.m" Extraction des caractéristiques Afin d identifier la lettre dessinée par le corps humain, il est nécessaire d extraire des attributs qui permettent de caractériser la forme d un objet. La caractéristique utilisée ici est la cavité. Les cavités se TP de vision 6

7 définissent par leur direction d ouverture. Cinq types de cavités sont ainsi définies : cavité Nord : vers le haut, cavité Est : vers la droite, cavité Sud : vers le bas, cavité Ouest : vers la gauche, cavité Centrale : au centre. Par exemple, un pixel de la région appartient à une cavité Sud si, et seulement si, les trois conditions suivantes sont vérifiées : ce pixel n appartient pas à l objet ; en se déplaçant en ligne droite vers le sud, à partir de ce pixel, on ne rencontre pas l objet ; en se déplaçant en ligne droite vers l est, l ouest, ou le nord, à partir de ce pixel, on rencontre l objet. Un pixel appartient à une cavité Centrale si, et seulement si, les deux conditions suivantes sont vérifiées : ce pixel n appartient pas à l objet ; en se déplaçant en ligne droite vers l est, le sud, l ouest, ou le nord, à partir de ce pixel, on rencontre l objet. Afin de mettre en évidence les pixels appartenant aux différents types de cavité, on réalise une première série de traitements morphologiques à partir de l image 6. La figure 7 montre le résultat de ces traitements. (Nord) (Est) (Sud) (Ouest) Figure 7 Traitements réalisés sur l image de la figure 6. 16) Déterminer le plus précisément possible quelle opération morphologique a été réalisée sur chacune des images de la figure 7. 17) Écrire une fonction "Cavites" permettant d appliquer ces traitements. Pour CHAQUE cavité, une seconde série de traitements est ensuite effectuée à partir des images (Nord) à (Ouest). La figure 8 montre le résultat de ces traitements pour la détection des pixels appartenant à des cavités Sud. 18) Après avoir déterminé les traitements effectués sur l image de la figure 8, déduire les opérations à effectuer pour détecter les pixels des cavités Nord, Ouest, Sud et Centre. 19) Compléter la fonction "Cavites" afin de déterminer les 5 types de cavités associés à chaque forme. Maintenant qu il est possible de calculer un vecteur d attributs de forme à partir d une image, nous allons mettre en place la procédure de classification. Cette procédure va nous permettre d analyser la pertinence de nos attributs en mesurant le taux d images bien classées. TP de vision 7

8 (a) (b) (c) Figure 8 Traitements réalisés pour la détection des cavités Sud Classification Le processus de classification est divisé en deux étapes successives : 1. L apprentissage : l objectif est de "construire" des classes d objets à partir de l ensemble d images d apprentissage. Pour cela, les objets présents dans les images d apprentissage sont décrits par un ensemble d attributs. 2. La classification : durant cette seconde phase, nous utiliserons la méthode du plus proche voisin qui consiste à assigner chaque image requête à la classe de l image d apprentissage la plus similaire. Cette similarité entre images est mesurée en comparant les vecteurs d attributs. Apprentissage Afin de caractériser les différentes lettres, il est nécessaire de disposer d une base d apprentissage et de relever pour chacune des images constituant cette base la valeur des attributs. 20) Intégrer la fonction "Cavites" dans le fichier "Example_Lettre.m", puis acquérir 5 images pour chacune des lettres présentes sur la figure 5. A chaque acquisition les valeurs des différentes cavités seront relevées. 21) Enregistrer les données d apprentissage dans une variable "Apprentissage.mat". Afin d évaluer si la caractérisation avec les cavités est pertinente, nous allons présenter au système de nouvelles acquisitions et vérifier si les lettres formées par le corps humain sont assignés correctement à leur classe d appartenance. C est la phase de décision. Décision Pour effectuer la classification de la nouvelle acquisition, nous allons considérer la méthode du plus proche voisin. 22) Implémenter la classification par le plus proche voisin. La fonction ÓÔ Ò permettra d accéder à la matrice "Apprentissage.mat" précédemment enregistrée Essais expérimentaux 23) Tester la pertinence de votre approche en présentant au système de nouvelles acquisitions et en vérifiant la pertinence de la classification. Indiquer les limites de l approche mise en place. 24) Poursuivre les essais afin d améliorer les résultats de classification. Pour cela, vous pouvez envisager d utiliser un ensemble d attributs différent, tester d autres classifieurs, d autres distances,... TP de vision 8