Traitement d images en trois dimensions - Reconnaissance de plans (sols/murs) et reconnaissance d objets. Simon Landrault

Transcription

1 Institut des Sciences et Techniques de l Ingénieur d Angers Ingénieur 5 ème année, Automatique et Génie Informatique MASTER Ingénierie des Systèmes Industriels et des Projets Spécialité, Systèmes Dynamiques et Signaux Année Traitement d images en trois dimensions - Reconnaissance de plans (sols/murs) et reconnaissance d objets Présenté et soutenu par : Simon Landrault Le 6 juillet 2012 Au sein de l Institut des Sciences et Techniques de l Ingénieur d Angers JURY Président : L. Hardouin Professeur Université d Angers Examinateurs : F. Chapeau Blondeau Professeur Université d Angers J.L. Boimond Professeur Université d Angers F. Guérin Professeur Université d Angers A. Kobi Professeur Université d Angers P. Lucidarme MCF Université d Angers Encadrant : P. Lucidarme MCF Université d Angers Laboratoire d Ingénierie des Systèmes Automatisés LISA - EA Université d Angers

2

3 Remerciements Avant de commencer ce développement, je souhaiterais adresser mes sincères remerciements à Philippe Lucidarme, enseignant-chercheur au LISA et qui a aussi été mon maître de stage pendant toute la période de recherche. Merci à lui pour sa patience, son écoute et la qualité de son enseignemant. Merci aussi de m avoir fait confiance et donner la chance de participer au défi Carotte. Merci à tout les membres du LISA, pour tout le temps qu ils ont pu consacré à répondre à mes questions ; et toujours avec le sourire. J aimerais aussi remercier tout les membres de l équipe Cartomatic à Angers (Bruno, Saeed, Etienne, Elliott, Remy) et à Nancy (Antoine, Nicolas, Olivier Simonin, Francois Charpillet), pour tout ce qu ils ont pu m apporter et pour avoir eu la chance de travailler avec eux. Enfin, une petite pensée va aussi aux membres du bureau des étudiants de Master : Saeed, Landry, Julien, Etienne, Elliott, Connor ; pour la bonne humeur et ambiance apportée au sein de la salle pendant tout les mois de travail. 2

4 Introduction 0.1 Contexte et cadre du Master Recherche SDS Ce projet de recherche rentre dans le cadre d une double inscription liant le master SDS (Systèmes Dynamiques et Signaux) et un diplôme d ingénieur AGI (Automatique et Génie Informatique) à l ISTIA (Institut des Sciences et Techniques de l Ingénieur d Angers). Le sujet étudié provient du développement du robot "Cartomatic". Ce robot est réalisé afin de produire une plate-forme de collection d information sur un environnement inconnu. Ces informations servent deux objectifs : Réaliser une cartographie automatique de l environnement parcouru Recherche des objets d intérêts. Ce robot est développé dans le cadre du concours "Carotte" (CArtographie par ROboT d un TErritoire) [1]. Ce concours est organisé par la DGA (Direction Générale de l Armement) et se déroule sur trois ans consécutifs. Chaque année les épreuves permettent de confronter les équipes et ainsi de révéler les atouts ou faiblesses de chacun des robots. Au sein de l ISTIA, c est le laboratoire du LISA (Laboratoire Ingénierie Systèmes Automatisés) qui est responsable du projet. Sa tâche principale est le développement des algorithmes de cartographie. Il travaille en coopération avec la société "Wany Robotics S.A." et le laboratoire universitaire LORIA (Laboratoire Lorrain de Recherche en Informatique et ses Applications) qui s occupe plus particulièrement de la partie communication informatique. 0.2 Problématique et objectifs Relativement au problème de la cartographie se trouve plusieurs questions sur le traitement d images. En effet, pour se repérer dans l espace le robot utilise plusieurs capteurs. Deux d entre eux sont un capteur LASER pour faire des mesures trois dimensions de l espace environnant et un capteur "Kinect" pour faire de l imagerie dans le domaine du visible ainsi qu en profondeur. Ces deux groupes d informations forment ainsi un nuage de points. Au cours des deux premières années de concours, le consortium a développé des solutions de cartographie efficace. Un des objectifs de la dernière manche du concours est la reconnaissance d objets dans l environnement parcouru. C est sur ce point que s effectuera mon travail de recherche dans le cadre du master SDS. La reconnaissance d objets se fera sur les images en trois dimensions précédemment acquises. Elle sera effectuée en deux étapes successives : Une recherche de plans qui permettra d identifier le sol et les murs La recherche d objets d intérêt en relation avec une base de donnée 3

5 Durant la phase d exploration du robot, une carte doit-être réalisé afin de donner une représentation géographique des lieux à l opérateur distant. Cette carte doit ensuite être peuplée avec les positions des objets trouvés. Les objets à identifier proviennent d une liste fournie par l organisateur du concours. Pour cette dernière année du concours, huit catégories d objets sont à reconnaître : Objets canoniques (cônes,cylindres...) Papeterie (bloc de feuilles, bloc-notes...) Contenant de liquides (bouteilles) Outils (clé plate) Éléments électriques (Caméra de surveillance et ventilateur) Fournitures de bureau (stylos) Ameublement (chaise et servante à outils) Jouets (balle) 0.3 Organisation de la rédaction Ce rapport se divisera en deux parties majeures correspondantes chacune aux deux grandes parties de la recherche. La première correspondra à la recherche bibliographique et un état de l art. Elle a pour but de présenter une recherche sur les algorithmes existants permettant d apporter une approche de solutions aux problèmes étudiés. Tout comme la recherche elle-même, cette partie se divisera en deux chapitres distincts : Un premier traitera de la discrimination de plans (sols et murs) dans une scène en trois dimensions de type "nuage de points". Un second chapitre apportera des informations sur la reconnaissance d objets en trois dimensions dans le même type d environnement. Chacun de ces chapitres sera divisé en différentes sections permettant la présentation d un concept, d un algorithme ou d une solution. Tout traitement d images se fait normalement en plusieurs étapes. Ici, nous n étudierons qu une seule d entre elles qui est la segmentation. En effet, nous ne considérons pas les processus d acquisitions et de prétraitement fait en amont, ceci afin de se focaliser sur le problème étudié. La seconde partie regroupera le travail de recherche effectué durant les six mois de stage permettant la validation du double diplôme "Master Recherche - Systèmes Dynamiques et Signaux" ainsi que "Ingénieur Automatique et Génie Informatique". Elle présentera les développements informatiques ainsi que les problèmes et solutions rencontrés en réponse à la problématique étudiée. 4

6 Table des matières 0.1 Contexte et cadre du Master Recherche SDS Problématique et objectifs Organisation de la rédaction I État de l art 7 1 Discrimination de plans Transformation de Hough 3D Rappel : Transformée de Hough 2D Transformée de Hough 3D, reconnaissance de plans RANSAC Division - fusion Étape de division Étape de fusion Cas d étude : recherche de plans Croissance de surface Reconnaissance d objets A partir d images 2D Génération des vues 2D Appariement 2D/3D Détection de caractéristiques Carte de profondeur Utilisation de la profondeur, la normale et la courbe Approche géométrique Utilisation de caractéristiques clés Conclusion sur l état de l art Bilan sur la détection de plans Bilan sur la reconnaissance d objets II Développement 20 4 Reconnaissance et isolation 2D des murs Fonctionnement Génération de l accumulateur Recherche des murs Fusion et vectorisation Résistance au bruit

7 TABLE DES MATIÈRES 5 Extraction des textures Sols/Murs Segmentation des sols Segmentation des murs Division en vignettes Recherche de zones 29 7 Travaux Annexes La semaine de défi Vulgarisation de la science Travaux postérieurs au concours Conclusion et perspectives Sur la recherche de plans Sur le projet "Carotte" Sur le travail de recherche Table des figures 35 Bibliographie 36 6

8 Première partie État de l art 7

9 Chapitre 1 Discrimination de plans 1.1 Transformation de Hough 3D Rappel : Transformée de Hough 2D La transformation de Hough a vu le jour en 1959, dans le cadre de recherche sur le traitement d images [10]. Elle a fait l objet d un dépôt de brevet durant l année 1962 [11]. Ce procédé est utilisé pour reconnaître des éléments géométriques qui peuvent répondre à un modèle mathématique paramétrable. Les cas les plus fréquents sont ceux de la droite et du cercle. En effet, dans un plan, une droite est défini par une équation de type y = ax + b ou a est le coefficient directeur de la droite et b son ordonnée à l origine. De même, un cercle sera défini par l équation (x a) 2 + (y b) 2 = r 2 ou le couple (a, b) est le centre du cercle et r son rayon. Nous allons étudier le cas simple de la droite pour démontrer cette méthode. Lorsqu on applique la transformée de Hough, chaque ligne devient un vecteur de coordonnées paramétriques formé par : θ : l angle formée entre la droite et l axe 0x p : la norme du vecteur (la longueur du segment perpendiculaire à la droite d angle θ et passant par l origine) Pour chaque pixel de l image, on va calculer la valeur de p à chaque θ. Dans l espace de Hough, les résultats donneront une sorte de sinusoïde. Lorsque chaque pixel a été traité avec chaque valeur de θ, on va explorer les courbes obtenues. Á chaque fois qu il y a une intersection, on met le nombre de courbe qui se croisent dans un tableau servant d accumulateur. Lorsque tout est analysé, on va rechercher les maximaux locaux dans l accumulateur. Les paramètres reflétant ces maximaux seront ceux définissant des droites dans l image. La figure 1.1 représente une droite dans un espace cartésien à deux dimensions puis dans un espace de Hough. Voici un exemple du traitement par transformée de Hough sur une image (exemple tiré de la documentation matlab). La première image sera celle de départ (fig. 1.2) dans laquelle on cherche les segments les plus longs. Cette image sera tout d abord binarisée (fig. 1.3). Ensuite, on applique la transformée de Hough à chaque pixel de l image. Le résultat de la transformée peut être visualisé sur la figure 1.4. Ce graphique, représente l accumulateur des jeux de paramètres (θ,p). Dans les zones de 35 et +60 on peut observer des points plus blancs qui sont les couples les plus représentés dans l image. Enfin, après avoir déterminé les maximums locaux (zones les plus blanches du graphique précédent), on peut les retranscrire sur l image initiale (fig. 1.5). 8

10 CHAPITRE 1. DISCRIMINATION DE PLANS Figure 1.1 Représentation dans un espace de Hough Figure 1.2 Image originale Figure 1.3 Image binarisée Figure 1.4 Espace de Hough Figure 1.5 Image finale Transformée de Hough 3D, reconnaissance de plans Cet algorithme peut-être utilisé pour de la reconnaissance de plans dans un nuage de points (utilisation de voxels en lieu et place des pixels). Au lieu d utiliser une équation de droite, nous utiliserons celle d un plan (ou d une sphère à la place des cercles). 9

11 CHAPITRE 1. DISCRIMINATION DE PLANS Dans l espace de Hough, un plan se traduira par l équation suivante et ses trois paramètres : p = cos(θ) sin(φ)x + sin(θ) cos(φ)y + sin(φ)z θ : l angle formé entre la droite et l axe 0x φ : l angle formé entre la droite et l axe 0y p : la norme du vecteur (la longueur du segment normal au plan et passant par l origine) De la même façon que pour une droite, on explorera chaque voxel et établira tous les plans à partir de ce dernier. Ensuite, un accumulateur servira à enregistrer les résultats. Enfin, on recherchera les maximums locaux pour déduire les paramètres des plans présents. Voici un algorithme possible [5] : Pour chaque points pi dans l ensemble P faire Pour chaque cellule (θ,φ,p) dans l accumulateur A Faire Si pi est dans le plan defini par (θ,φ,p) Alors Augmenter le score de A(θ,φ,p) de 1 Fin Si Fin Pour Fin Pour Rechercher les maximums locaux dans A, qui définissent le(s) plan(s) P Note : Dans le cas de l application considérée (recherche des plans représentant les murs et le sol), il serait judicieux de réduire les angles étudiés pour la recherche de plan, afin de les cadrer avec des angles "réaliste" en ce qui concerne des murs ou le sol. Ainsi, l exécution de l algorithme serait plus rapide. 1.2 RANSAC RANSAC est un acronyme signifiant RANdom SAmple Consensus. Elle a été élaboré par Fischler et Bolles en 1981 [7]. Cette approche n est pas très éloigné de l algorithme de la transformée de Hough en 3D. En effet, comme cette dernière, elle se base sur l évaluation d un modèle géométrique et étudie la correspondance des points vis-à-vis de ce dernier. Une fois les points correspondants au modèle obtenus, on recalcule le modèle de cet ensemble, puis on le compare au modèle parfait théorique (équation de plan d un sol ou d un mur). Comme tout capteur souffre d imprécision, l évaluation de distance d un point par rapport au modèle testé se fait avec une tolérance, en effet, même si le système de mesure était parfait le plan testé lui ne l est pas forcément (mur présentant des défauts ou avec une texture particulière par exemple). Voici les principales étapes de ce procédé, dans le cas d étude d un plan (donc trois paramètres) : On prend au hasard trois points dans le nuage de points étudié On déduit les trois paramètres du modèle selon ces trois points Pour chaque point du nuage, on compare sa distance à celle du plan défini par le modèle Si la distance est inférieure à un seuil d, on considère le point comme appartenant au plan On recalcule le modèle à partir de l ensemble obtenu (avec méthode des moindres carrées par exemple) Si ce modèle est plus proche du modèle parfait théorique que le précédent On sauve ce nouveau modèle On sauve l erreur obtenue Fin Si On répète cet algorithme N fois 10

12 CHAPITRE 1. DISCRIMINATION DE PLANS Afin d économiser du temps de calcul, l algorithme peut-être arrêté lorsqu un modèle obtenu avec une erreur suffisamment faible par rapport à l original a été obtenu. Par exemple, on peut se contenter de la recherche d un plan horizontal pour le sol et d un plan vertical pour les murs. De même, si un modèle empirique ne possède pas assez de points concordants, il peut-être exclu de suite (surface trop faible ou incohérente). Enfin, si l on voulait obtenir à coup sur un modèle le plus parfait, il faudrait pouvoir tester tous les triplets de point possibles du nuage initial. Pour des raisons évidentes de temps de calcul, cette manipulation n est pas envisageable. Le nombre de tirage N doit donc être évalué soit empiriquement, soit de manière formel. L objectif est de maximiser la probabilité k (k 3 pour trois points) que les points sélectionnés appartiennent vraiment au plan final, le tout sous une probabilité p d avoir un plan soit correcte. On obtient alors l équation suivante : Ce qui après manipulation donne : (1 p) = (1 k 3 ) N N = log(1 p) log(1 k 3 ) On obtient alors N le nombre optimal de tirages à faire pour espérer obtenir le plan recherché vis-à-vis du modèle étudié. 1.3 Division - fusion Étape de division Cette méthode part du principe que l image peut-être divisée en régions possédant une caractéristique identique (par exemple les pixels sont tous de la même couleur). Á la base de la recherche, on considère l image tout entière comme une région (un carré dans le cas d une image 2D ou un cube dans le cas de l image 3D, qui sera étudiée ici). Si les voxels ne répondent pas tous à la même caractéristique, le cube étudié sera divisé en huit selon la moitié des côtés (figure 1.6). Ensuite, la recherche de la caractéristique se poursuivra sur les "sous-cubes" obtenues. On arrêtera le découpage lorsque les cubes atteindront une taille minimale critique. On obtient alors des cubes remplis de points répondant à la caractéristique étudié ou alors des cubes vides. Figure 1.6 Résultat des divisions successives ; (a) L image entière ; (b) Première division ; (c) seconde division 11

13 CHAPITRE 1. DISCRIMINATION DE PLANS Étape de fusion Lorsque l étape de division est terminé, une autre fait place afin de regrouper les cubes adjacents ayant des caractéristiques similaires : la fusion. Durant cette procédure, chaque cube est étudié par rapport à ses 25 voisins (neuf au-dessus et au-dessous et huit autour sur le même niveau. Si la caractéristique étudié est suffisamment similaire (rose au lieu de rouge par exemple), les deux cubes sont fusionnés entre eux. L opération est poursuivi jusqu à ce que chacun des "sous-cube" de l ensemble est été étudié Cas d étude : recherche de plans Dans notre cas de la recherche de plans, c est la coplanarité des voxels qui est étudiée au sein de chaque cube. Si les points d un cube ne sont pas tous coplanaires, le cube est divisé en huit sous-cubes. Comme expliqué précédemment, à la fin de la division nous aurons un ensemble de cubes qui seront soit vides, soit possédant des points coplanaires. Une fois cette étape achevée, le processus de fusion va démarrer. Afin de déterminer si deux cubes peuvent être fusionné en un seul, deux critères sont pris en compte : la coplanarité et la distance. En effet, si deux plans ne sont pas coplanaires, alors on peut considérer qu il ne forme pas le même plan (fig. 1.7 (a) ). Cependant, ce critère seul ne suffit pas. En effet, le cas peut se présenter d avoir deux plans coplanaires mais qui n est rien à voir entre eux pour autant. Par exemple les marches d un escalier. Les plans horizontaux correspondants à deux marches successives sont coplanaires. Cependant, l information de distance entre les deux nous permet de déterminer qu ils ne sont pas identiques (fig. 1.7 (b) ). Ces deux plans ne peuvent donc pas être fusionné. La fin de cette étape nous donne des régions représentés par des cubes fusionnés entre eux. En faisant un seuillage à partir de la taille de cube, on peut déterminer lesquels sont susceptible de représenter un sol ou un mur. Figure 1.7 Différents conditions de non-fusion ; (a) Les plans sont adjacents mais non coplanaires ; (b) Cas critique, les plans sont coplanaires, leurs cubes sont adjacents, mais ils ne peuvent pas être fusionnés 12

14 CHAPITRE 1. DISCRIMINATION DE PLANS Figure 1.8 Traitement d un nuage de points représentant une façade par la méthode de croissance de surface [12] 1.4 Croissance de surface Cette technique est très similaire à celle utilisée pour des régions en deux dimensions. En effet, Lors d une étude en 2D, on utilise des pixels "graines" pour faire croître des régions. En trois dimensions, ces pixels sont remplacés par des surfaces graines que l on étendra. On retrouve notamment cette technique pour la segmentation de façades de bâtiments (fig.1.8) [18] [12]. Cet algorithme fonctionne en plusieurs étapes. Tout d abord, un ensemble de n points voisins est créé pour chaque voxel. Ensuite, on détermine si cet ensemble permet de décrire un plan (si les points ne sont pas trop dispersés). Enfin, on va chercher à regrouper toutes les surfaces ainsi créées afin de parvenir à n plan plus grand contenant les plus petits initiaux. Comme pour l étape de fusion de la méthode précédente, on considère certains critères pour déterminer si deux plans peuvent oui ou non être agrégé : Le critère de co-normalité : Pour considérer que deux surfaces peuvent-être réunies, on doit tout d abord s assurer que leurs normales (n 1 et n 2 ) sont orientés de la même façon. L angle θ représentant cette orientation est calculée de la manière suivante : θ = arcos(n 1 n 2 ) Afin de prendre en compte les erreurs de mesures et le bruit durant ces dernières, cet angle sera soumis à une tolérance. Le critère de distance : Comme vu dans l algorithme précédent, deux plans peuvent être coplanaire sans être réuni en un seul pour autant. On pourra pour cela reprendre l exemple des marches d escaliers pour illustrer ce cas. Pour traiter ce critère, on étudie la distance entre les deux plans concernés. Comme on peut s en douter, les graines de départ jouent un rôle important dans l efficacité de l algorithme. En effet, il est difficile de prévoir si une graine pourra ensuite s accroître convenablement. Plusieurs recherches propose des solutions à cette problématique. Par exemple, Leonardis [15] propose l utilisation de plusieurs graines de départ en même temps qui vont s accroître de manière indépendante. Une autre solution consiste à recherche de manière statistique les meilleures graines de départ [8]. 13

15 Chapitre 2 Reconnaissance d objets 2.1 A partir d images 2D Une première approche de la reconnaissance d objets en trois dimensions est de se baser sur une bibliothèque d images en deux dimensions. En effet, en considérant plusieurs vues d un objet en deux dimensions, on peut espérer pouvoir en faire concorder une avec la vue 3D courante. Un des gros avantages du passage par une vue 2D est l augmentation de la vitesse de calcul Génération des vues 2D Pour optimiser le processus de reconnaissance, on ne peut pas se baser juste sur une seule vue 2D de face de l objet à reconnaître. En effet, il nous faut plusieurs (face, dos, côté, dessus...) afin de prendre en compte les différentes situations possibles. Une méthode permettant une génération homogène des vues (géographiquement) est l utilisation de projection dans un dodécaèdre (12 faces). Cette étape permet de "discrétiser" un objet 3D en plusieurs vues 2D (figure 2.1) [4]. Figure 2.1 Discrétisation d image 3D selon le principe lightfield Dans cette méthode, on s imagine prendre une photographie de l objet centré dans le dodécaèdre en plaçant successivement la caméra sur chacune de ses faces. Afin d améliorer les correspondances, on peut effectuer plusieurs fois cette opération en faisant tourner le dodécaèdre entre chaque prise de vues. 14

16 CHAPITRE 2. RECONNAISSANCE D OBJETS Appariement 2D/3D Une fois que les images 3D ont été rendus en 2D, une base de données est créée avec ces dernières. Ensuite, le travail de reconnaissance d objets peut commencer. Pour cela, plusieurs algorithmes peuvent-être utilisés. On se contentera seulement de les énumérer et de donner une bref description de ces derniers car ils ne représentent pas l objet de cette recherche. distance d Hausdroff : Cette méthode mesure l écart de distance des pixels entre l image binarisée de référence et l image binarisée étudiée [14]. Correspondance de formes : Comme son nom l indique, il s agit de faire correspondre des formes entre elles. Les formes sont identifiés par des vecteurs qui sont ensuite comparés pour obtenir un score [2]. Correspondance de formes et ajustement par moindres carrées : Cette méthode reprend le fonctionnement de la précédente mais ajoute un traitement sur les pixels du bord de la forme en faisant un calcul moindres carrées [17]. Transformée de Hough modifiée : Cette méthode s appuie sur la transformée de Hough généralisée dans laquelle on réduira l espace de recherche afin de réduire le coût calculatoire du processus [16]. 2.2 Détection de caractéristiques Afin de faire concorder une vue 3D avec une image de référence, on peut utiliser un système de reconnaissance de points d intérêts. Ces mécanismes se servent des variations géométriques de l objet à reconnaître afin d observer des similitudes. On retrouve plusieurs procédés Carte de profondeur Une première approche se base sur l utilisation de machine à vecteurs de support (SVM). Cet algorithme est décrit comme une technique d apprentissage supervisé. Dans leurs publications [6], les auteurs se basent sur la variation de profondeur en partant du principe que la caméra est toujours à la même auteur du sol. L algorithme sera alors le suivant : Le capteur (laser, kinect...) effectue une prise de vue. Le nuage de points est ensuite divisé en "carreaux" sur l axe des abscisses et ordonnées (l information portée sera alors celle de la profondeur). Pour chaque "carreau", on recherche la profondeur maximale, minimale et moyenne (si on recoupe plusieurs mesures/capteurs, sinon la valeur est la même). Une carte de la profondeur est alors réalisée (fig. 2.2). La SVM se charge alors de trouver le modèle correspondant le plus fidèlement. Comme on peut se douter, un des points délicats à gérer sera celui de la taille d un carreau. Plus ils seront petits et plus on aura des informations détaillées. En contre-partie le temps de calcul se verra augmenter (ainsi que le bruit). Note : la SVM ne sera pas étudié ici en détail puisque les algorithmes d apprentissage seront traités par un autre étudiant. 15

17 CHAPITRE 2. RECONNAISSANCE D OBJETS Figure 2.2 Discrétisation d une image selon la profondeur. A gauche l image originale dans le repère étudié, à droite le résultat de l opération (carte de profondeur) Utilisation de la profondeur, la normale et la courbe Lorsque nous possédons des informations tridimensionnelles sur une image, il n est pas forcément pertinent de se limiter à l exploitation unique de l information de profondeur qu apporte la troisième dimension. L approche qui va être décrite maintenant se base donc sur trois paramètres [9] : La profondeur, qui est l information la plus évidente fourni par la troisième dimensions. La normale à la surface, qui est obtenu à partir de la dérivé de l image. Elle est représentée par un vecteur et deux angles (fig. 2.3). Les angles sont calculés de la manière suivante : φ = arctan n z n 2 y + n 2 z, θ = arctan n y n x Figure 2.3 Représentation d un vecteur normale La courbe de la surface qui représente la variation d orientation des normales de la surface. Elle est calculée à partir de la première et la seconde dérivé. Une fois que ces différentes caractéristiques sont calculées, elles sont compilées pour obtenir un histogramme (à plusieurs dimensions) des valeurs. On peut alors calculer la distribution des données pour obtenir un modèle de l objet. Ensuite, il suffit de calculer le modèle empirique trouvé dynamiquement dans l image étudiée avec les modèles théoriques stockés et définit auparavant pour trouver une correspondance (en utilisant des méthodes de reconnaissance d histogramme ou de probabilité). 16

18 CHAPITRE 2. RECONNAISSANCE D OBJETS 2.3 Approche géométrique Comme son nom l indique, cette méthode se base sur des attributs géométriques des objets à reconnaître. Par conséquent, elle est bien indiquée pour des objets simples (bouteille, livre...) mais sera plus difficile à déployer pour des objets plus complexes (jouets, voiture...). Dans cette approche, un objet est décrit comme un ensemble de paramètre, représenté par des vecteurs. Dans l exemple fourni sur la figure 2.4, on se base sur la largeur et la longueur de la figure. Ces valeurs sont ensuite reportées sur un graphique possédant autant de dimensions que de caractéristiques étudié (ici deux). Figure 2.4 Identification de vecteurs d une figure (ici longueur et largeur Afin d effectuer une classification et obtenir des régions d intérêt, une phase d apprentissage est faite pour créer un nuage de point pour chaque type d objet comme montré sur la figure 2.5. On peut alors déterminer des classes d objets en observant les différentes densités de points. Une fois que les différentes zones sont mises en évidence, il faut réussir à discriminer les zones entre elles pour faire ressortir les classes d objets. Enfin, lorsque l objet à déterminer a été réduit à un ensemble de vecteur, une étude probabiliste permet de déterminer l appartenance de l objet à une classe. Comme on peut se douter, plus le nombre de classe est élevé et proche les une des autres et plus la décision d appartenance sera délicate à faire. Figure 2.5 Nuage de points représentant les classes d objets selon leurs caractéristiques. A gauche les classes sont sans ambiguïté, à droite les classes sont plus dur à isoler. 17

19 CHAPITRE 2. RECONNAISSANCE D OBJETS 2.4 Utilisation de caractéristiques clés Une dernière approche retenue est celle proposée par L. Desmecht et M. Rémon [3], s appuyant sur des caractéristiques clés au sein d une image 3D. Ce procédé s appuie sur la sémantique pour décrire un objet. Ainsi, en prenant l exemple d une voiture on pourrait décrire l objet de la manière suivante : L objet a des roues L objet a des vitres L objet a une carrosserie Ce concept permet de donner des poids aux différentes caractéristiques, afin de les hiérarchiser au sein de la détection. Par exemple, dans la figure 2.6, le contraste du trait indique l importance de la caractéristique. On voit ainsi dans cet exemple que la caractéristique "roue" est plus importante que la caractéristique "carrosserie". Afin de bien isoler les différentes caractéristiques, un traitement particulier doit-être apporté à la détection de contour pour qu elle soit le plus efficace possible ([13]). Figure 2.6 Représentation des caractéristiques clés sur un exemple : une voiture. L intensité du trait représente l importance de la caractéristique. 18

20 Chapitre 3 Conclusion sur l état de l art La discipline concernant la reconnaissance d objets dans un nuage de points est assez nouvelle grâce aux améliorations apporté aux capteurs et aux puissances de calculs. En effet, obtenir un capteur permettant d obtenir une image tridimensionnelle est devenue assez simple financièrement parlant notamment grâce à l arrivée des capteurs Kinect de Microsoft. De plus, il est maintenant aisé d embarquer une puissance de calcul considérable (processeur double cœur par exemple) dans un robot pour faire de la reconnaissance dynamique à partir d un robot. De cette manière, de plus en plus de personnes ou organisation s intéresse à ce genre de problème. 3.1 Bilan sur la détection de plans Comme on peut le voir, la détection de plans possède plusieurs approches et est étudié depuis longtemps. En effet, depuis de nombreuses années ces méthodes ont été développées, notamment pour la segmentation d image de bâtiment. Cette partie de la problématique possède aussi de nombreuses ressources car elle est relativement facile à traiter. En effet, les plans sont mathématiquement simples à décrire. De plus, de part le contexte étudié, il est assez simple d anticiper leurs positions. Par exemple le sol se trouvera forcément en bas de l image (d autant plus que la dernière partie ne contiendra pas de plans inclinés). 3.2 Bilan sur la reconnaissance d objets Contrairement à la reconnaissance de plans, les objets à étudier peuvent être géométriquement plus complexe (caméra de surveillance ou chaise par exemple). Par conséquent, les algorithmes à mettre en place seront plus compliqués et demanderont des ajustements plus longs. Comme on peut le voir, plusieurs méthodes existent déjà. Cependant, la primeur de cette matière ne permet pas d avoir beaucoup de recul et de diversité sur les sujets/objets étudiés. On notera particulièrement que les algorithmes "statiques" ne sont pas très répandus. En effet, des méthodes "dynamiques" à partir d intelligence artificielle voit le jour et peuvent donc représenter une alternative intéressante (elles seront étudiées par un autre étudiant). 19

21 Deuxième partie Développement 20

22 Chapitre 4 Reconnaissance et isolation 2D des murs Comme expliqué dans l introduction, un premier objectif est de trouver et supprimer les murs dans le nuage de points de la scène finale. Cette étape permet ainsi de "débruiter" le nuage de points pour faciliter la recherche d objets. En effet, lorsque nous recherchons des objets proches d un mur, le mur apparait comme du bruit (grande zone verticale inutile) à l égard de la partie recherchée, comme illustré sur la figure 4.1. Afin de retrouver les murs, on effectuera leur recherche directement sur la carte en deux dimensions fourni par les robots lorsque leur mission est terminée. On utilise la carte 2D plutôt que le nuage de points 3D pour plusieurs raisons : Il est plus simple et rapide de recherche des lignes/segments sur un plan plutôt que des plans dans un nuage de points Nous connaissons des caractéristiques clés sur le plan (un mètre équivaut à 50 pixels, les murs font un mètre minimum) En utilisant la carte 2D, on peut ensuite regénérer une carte "vectorisée" avec les murs alignés tels qu ils devraient l être à l origine (correction de l incertitude des mesures). Figure 4.1 Illustration d un cas ou le mur est considéré commme du bruit (la boîte en bas à gauche est trop proche du mur et ne pourra pas être segmentée) 21

23 CHAPITRE 4. RECONNAISSANCE ET ISOLATION 2D DES MURS L algorithme utilisé pour déterminer la position des murs est basé sur la recherche de droites par une transformée de Hough. Une première étape de génération d un accumulateur se fait de manière similaire à l algorithme original. Ensuite, des améliorations ont été faites pour la recherche des meilleures droites de l image. Ces dernières sont exploitées par une croissance de région pour extraire des segments. Enfin, une étape de vectorisation (alignement angulaire puis sur une grille virtuelle) est appliquée pour générer une carte vectorisée ainsi qu un fichier XML définissant les coordonnées de tout les murs dans le repère de l image. Une fois les coordonnées des murs obtenues, il n est pas difficile de faire correspondre le repère image et celui des nuages de points pour supprimer les voxels correspondant. Cette partie va maintenant présenter ces différentes étapes de la recherche. 4.1 Fonctionnement Génération de l accumulateur La première étape de la transformation de Hough est la génération d un accumulateur contenant tous les couples possibles (ρ, θ). Pour des raisons d efficacité et de gain de temps, θ est compris dans [0; π]. En effet, aller jusqu à 2π n apporte rien de plus (effet de symétrie). ρ, quant à lui est compris dans [ ρ max ; +ρ max ]. ρ max représente la longueur de l hypothénuse de l image ( ρ Max = x 2 max + y 2 max ). L accumulateur peut donc être représenté sous la forme d un tableau de deux dimensions avec 180 cellules en horizontal et 2 ρ max + 1 en vertical (+1 pour le zéro central). Toutes les cases de ce tableau sont initialisées à 0. Une fois l accumulateur initialisé, on peut commencer à le remplir. Pour cela, on va explorer l image source pixel par pixel. A chaque fois qu un pixel aura une valeur différente de zéro (donc autre que noir), on effectuera la transformation à partir de ce dernier. Sinon on passe au pixel suivant. La transformation de Hough sur un pixel se passe de la manière suivante : Soit (x, y) les coordonnées du pixel étudié Pour chaque θ dans [0; 2π] Faire : ρ = x cos(θ) + y sin(θ) Incrémenter l accumulateur en (ρ, θ) de la valeur du pixel utilisé Fin Retour au parcours de l image Comme on peut le voir, cet algorithme n est pas très différent de celui proposé initialement dans l état de l art (cf page 8). La seule différence se trouve dans la manière d incrémenter l accumulateur. En effet, nous ne travaillons pas avec une image binarisée mais avec une image en niveaux de gris comme vu sur la figure 4.2. Sur cette dernière, un pixel ayant une forte valeur (proche du blanc, 255) signifie que quelque chose a été vu de manière certaine tandis qu un pixel avec une valeur plus faible montrera une plus grande incertitude (quelque chose de mobile par exemple). Les pixels noirs représentent des zones sans obstacle ou inexplorées. Incrémenter selon la valeur du pixel permet de donner d avantage de poids sur les murs (ou les objets fixes) et donc d augmenter le poids de ces derniers dans l accumulateur. Lorsque tous les pixels de l image ont été parcouru, l accumulateur est complet et peut être analysé. Un exemple d accumulateur par rapport à une image simple est présenté à la figure

24 CHAPITRE 4. RECONNAISSANCE ET ISOLATION 2D DES MURS Figure 4.2 Exemple de carte utilisée pour la transformée de Hough. Plus un pixel est blanc et plus la certitude de présence d obstacle est élevée. Figure 4.3 a) Image source à analyser ; b) Accumulateur résultant (contraste amélioré pour la visualisation) Recherche des murs Recherche des pics Une fois l accumulateur créé, on peut passer à la recherche de mur. Les plus grandes valeurs ("pics") de l accumulateur représentent les coordonnées polaires (ρ, θ) des lignes présentes dans l image. Afin de trouver les segments représentant les murs, il nous faut trouver ces pics. Une première méthode simple à mettre en place est d explorer l ensemble de l accumulateur pour trouver tous les pics supérieurs à un seuil. Cette méthode présente cependant des défauts difficiles à parer : Afin de ne pas détecter une valeur adjacente à un pic déjà trouvé il faut prendre en compte une zone de tolérance. Cette zone peut occulter des valeurs interressantes et est délicate à paramétrer correctement (d autant plus que le repère polaire utilisé n est pas orthonormé). La détection de la singularité que forme la jonction entre le début et la fin de l accumulateur (visible sur la figure 4.3.b) oblige à faire des calculs supplémentaires pour un cas particulier, celui du passage de 0 degrée (à gauche) à 180 degrée (à droite) puisque l intervalle des θ est circulaire. La solution développée pour garantir l identification d un pic sans se soucier de ses voisins est la suivante : On détecte le meilleur pic de l image On trouve tous les points sur la ligne issu de ces coordonnées (explications suivantes 4.1.2) Une fois que l on a tout les points non noirs sur la ligne concernée, on effectue une trans- 23

25 CHAPITRE 4. RECONNAISSANCE ET ISOLATION 2D DES MURS formation de Hough inverse pour chacun de ces points (on décrémente l accumulateur en (ρ, θ) au lieu d incrémenter). On recommence du début tant qu un pic peut-être trouvé supérieur à un seuil Grâce à cette méthode, le problème de la zone de tolérance ne se pose plus puisque chaque ligne intérressante est supprimée au fur et à mesure de leur identification. La même observation s applique sur la jonction entre le début et la fin du repère. La figure 4.4 présente l enchaînement de cet algorithme sur une forme rectangulaire simple. Figure 4.4 a) Accumulateur résultant (contraste amélioré pour la visualisation) ; b) Image source à analyser (la ligne blanche sur chaque image représente la ligne de recherche des segments Recherche de segments sur une droite Une fois qu un pic à été trouvé dans l espace de Hough, on peut le convertir en droite. En superposant cette droite à l image source, on peut facilement isoler les segments. En effet, en faisant une croissance de surface dès qu on trouve un pixel blanc sur la droite et sur l image d origine on pourra trouver chaque segment. Afin de générer une tolérance et 24

26 CHAPITRE 4. RECONNAISSANCE ET ISOLATION 2D DES MURS considérer des approximations de mesures, on effectue une dilatation sur la droite utilisée. Au fur et à mesure que les pixels sont mis en évidence, on les "active" sur une image cible qui possèdera ainsi tous les segments, sans le bruit. On recalculera à chaque itération de la croissance de surface les positions de départ et de fin du segment. Ainsi, on pourra déterminer facilement une "géographie" du segment pour pouvoir l aligner sur une grille virtuelle (cf. partie suivante). Ces pixels sont aussi stockés pour pouvoir faire la transformée inverse et les éliminer de l espace de Hough initial Fusion et vectorisation Fusion des segments L utilisation d un seuil pour la détection des pics et la dilatation de la droite tracée comme référence génère plus de segments que nécessaire. Comme vu sur la figure 4.5.a), certains segments sont très proches voire superposés. On a donc une redondance superflue de l information. Pour réduire cette quantité d information, une étape de fusion des segments est mise en place. Son principe est le suivant : Pour chaque segment (i) Existe-t-il un autre segment (j) avec les mêmes caractéristiques (ρ, θ)? NON, on étudie le segment suivant OUI : j est-il inclus dans i? -> si oui supprimer j i est-il inclus dans j? -> si oui supprimer i Le départ de j est-il inférieur à l arrivée de i? -> agrandir l un et supprimer l autre Le départ de i est-il inférieur à l arrivée de j? -> agrandir l un et supprimer l autre Fin Pour Note : L observation des départs et arrivées des segments se fait avec une tolérance de quelques pixels pour éviter de considérer deux segments avec juste un "trou" de quelques pixels entre les deux dû à une erreur de mesure par exemple. Le résultat de cette opération peut-être observé de manière comparative sur la figure 4.5. Figure 4.5 a) Image brute (sans fusion) ; b) Segments fusionnés Vectorisation Lorsque tout les segments ont été récupéré et réduit à un nombre minimal, une étape de vectorisation est effectuée. Ce processus est effectué relativement au contexte étudié. En effet, notre cas d étude porte sur la recherche des murs. Ces murs sont principalement placés sur une grille d une résolution d un mètre par un mètre (50x50 pixels dans le domaine de l image). On peut donc effectuer deux types de placement pour assurer la position des murs : 25

27 CHAPITRE 4. RECONNAISSANCE ET ISOLATION 2D DES MURS Un ajustement de la direction de la droite par rapport aux références de zéro degrée (horizontal) et 90 degrées (vertical). Un ajustement des extremités des segments sur une grille virtuelle de 50 pixels de cotés (1 mètre par 1 mètre). Ces deux cas sont indépendants. Un segment peut-être soit alignés de manière angulaire, soit sur la grille ou les deux. Chacune de ces opérations prennent en compte une certaine tolérance. Une fois ce "snapping" terminé, un fichier est généré avec la liste des segments présent dans l image. La figure 4.6 suivante permet de mettre en évidence l effet de la vectorisation sur les segments. Figure 4.6 a) Image brute (sans vectorisation) ; b) Image vectorisée Résistance au bruit Comme expliqué dans l introduction, le but de toute cette démarche est d isoler les murs sur une carte initiale. Sur cette carte "brute" se trouve des mesures faites par le robot sur son environnement. On peut y retrouver des objets ou des "signaux" qui ne représente en rien des murs, par exemple des colonnes, une boîte suffisamment haute pour être dans le champ de vision du LIDAR... Tout ces objets formeront du bruit dans l image, même si, en définitive, ils représenteront les objets clés à reconnaitre à la fin du projet. La stratégie utilisée pour supprimer les objets est de ne considérer que les segments longs de minimum 40 pixels (soit 80 cm dans l espace réel). Ce seuil est règlable, mais correspond à un compromis réaliste vis-à-vis des erreurs de mesures possibles, en considèrant que pour notre application un mur fait minimum un mètre. Sur la figure 4.7, on peut voir que le système implémenté donne de très bons résultats. En effet, de nombreux "faux objets" ont été ajouté sur l image (avec un poids maximal) mais ils n ont pas été reconnu comme des murs sur l image finale. Figure 4.7 a) Image bruitée ; b) Image finale, après traitement 26

28 Chapitre 5 Extraction des textures Sols/Murs Une des épreuves du concours consiste en la détection des textures des sols et des murs. Ces derniers sont classés en différentes catégories qui sont présentées ci-dessous : sols murs - bois - cloison noire - béton - cloison jaune - métal - cloison rouge - carrelage - cloison bleue - grille métallique - cloison blanche - vinyle/linoléum - grille métallique - herbe synthetique - vitre transparente/plexiglas - zone dangereuse (terre/gravier) - plaque métallique - miroir Afin de pouvoir effectuer leure détection correctement, une première étape de segmentation doit être faite pour les isoler dans le nuage de points complet. C est cette étape qui sera présentée ici. Ensuite, plusieurs aspects sont étudiés afin de classifier la texture dans une base de donnée et décider ainsi à quelle catégorie elle appartient. Les caractéristiques étudiées représente un espace de 12 dimensions constitué de : La couleur moyenne (3 dimensions) La dispersion des couleurs (3 dimensions) La couleur moyenne du LBP (Local Binary Pattern) (3 dimensions) La dispersion du LBP (3 dimensions) 5.1 Segmentation des sols La segmentation des sols est une étape simple à mettre en place puisque la position du sol est connu. En effet, son altitude peut être bornée (afin de garder une tolérance avec les bruits de mesures, on ne prendra pas juste z=0). Il nous suffit donc de prendre le nuage de points, d étudier chaque voxel et de décider selon son altitude s il appartient au sol ou non. Une fois que tout les voxels trop hauts ont été supprimés, on peut générer une nouvelle image 2D RGB du point de vue de la caméra Kinect comme vu sur la figure 5.1 b.. Cette image sera ensuite découpée en vignettes de 80 par 80 pixels (cf. 5.3). Ce sont ces vignettes qui seront envoyées à l algorithme de classification pour déterminer leur appartenance à une classe. 27

29 CHAPITRE 5. EXTRACTION DES TEXTURES SOLS/MURS 5.2 Segmentation des murs L étape de segmentation des murs est plus délicate que celle des sols. Afin de pouvoir déterminer sur l appartenance d un voxel à un mur, on ne peut pas juste étudier son altitude. On pourrait déterminer l appartenance du voxel à un plan en détectant ces derniers avec une transformée de Hough en 3D tel que présentée dans l état de l art. Cependant, une recherche des murs a déjà été faite en amont (cf. chapitre 4) pour trouver les murs sur une carte 2D. On va donc se servir de cette nouvelle carte pour en déduire les murs présent dans le nuage de points. Lorsque le robot prend une capture Kinect, il enregistre aussi un fichier lié à cette image portant l information de position et d angle du robot dans le repère de la carte. En ayant cette position, il devient possible de faire faire un changement de repère à tout les points de l image 3D. Une fois que leur position correspond à celle du repère de la carte, qui est le même que celui de la carte de Hough, il devient possible de faire correspondre les deux informations. Si un voxel a les mêmes coordonnées x et y qu un pixel "allumé" de la carte 2D de Hough, on peut conclure que c est un mur et décider de le conserver. Là encore, une fois tout les pixels étudiés il devient possible de regénérer une image 2D RGB ayant uniquement le mur (figure 5.1 c.). Figure 5.1 Segmentation des sols et des murs ; a) L image originale ; b) Le sol extrait de l image ; c) Le mur extrait de l image 5.3 Division en vignettes Pour obtenir des informations pertinentes, on ne peut pas considérer l image du sol/mur dans sa globalité mais plutôt étudier des données locales. Ainsi, on sera moins sensible au bruit (présence d objet faisant des "trous" dans l image) et moins sensible aux différents changements de texture. Les images obtenues tel que vu sur la figure précédente (5.1) seront donc divisées en vignette d une taille de 80 par 80 pixels. Cette taille a été choisie pour une raison simple, c est le meilleur diviseur commun entre la longeur et la largeur de l image initiale (640*480). En choisissant une taille plus grande, on risque d obtenir à de nombreuses reprises plusieurs textures dans une seule vignette, rendant la décision du classificateur délicate. Dans le cas où la taille est plus petite, on risque de ne pas avoir assez d informations pour pouvoir conclure la encore sur l appartenance d une vignette à une classe. On obtient ainsi huit vignettes sur la longueur et six en largeur (24 vignettes au total par image). Le classificateur sera ensuite exécuté sur chacune des vignettes pour déterminer les textures présentes dans l image parente. 28

30 Chapitre 6 Recherche de zones Lors du développement sur la recherche d objets dans une image, un problème est apparu concernant les objets superposés. En effet, l outil de segmentation se base sur la distance entre deux points pour déclarer s ils appatiennent au même objet ou non. Cette idée n est plus applicable aux objets superposés et d autres solution ont du être explorées, tel que la recherche de zone présentée ici. Cette partie n aura malheureusement abouti à aucun résultat exploitable. En effet, ce travail a été fait dans un but d exploration et sans promesse de réussite. Un des premiers algorithmes de classification des objets était basé sur une méthode de regroupement en gaussienne des caractéristiques des objets. Cette méthode nommée SAMA- GAS est généralisable à d autres buts et permet donc a priori de séparer n importe quel espace en clusters sous forme de gaussienne. Nous avons donc voulu l utiliser pour réussir à segmenter une image possèdant plusieurs objets superposés afin de trouver des zones et donc de séparer les objets "attachés". Malheureusement, l étape de discretisation de l image était très consommatrice en mémoire et prenait ensuite énormément de temps à analyser. En effet, l étude est faite sur un espace colorimétrique de type HSV. Cet espace est cylindrique, on doit donc passer par une étape de discretisation pour transformer des coordonnées HSV (repère colorimétrique) en coordonnées XYZ (repère cartésien). H représente la teinte (Hue), c est une valeur angulaire allant de 0 à 360 degrées (convertie en radians). S est la saturation et représente l intensité de la couleur. Elle ira de 0 à 100 %. Enfin V est la valeur et traduit la brillance de la couleur et elle aussi va de 0 à 100 %. Cette transformation est donnée par les formules suivantes : X = S cos(h) Y = S sin(h) Z = V Au final, on aura donc X et Y pouvant aller de -255 à +255 et Z qui ira de 0 à 255. Cela représente donc un tableau de = cases. Chaque case n a besoin de prendre qu une seule valeur, "activée" ou non et on peut stocker 8 cellules dans un octet. On aura donc besoin d un peu plus de 8 méga-octet pour stocker l ensemble de ce tableau. Ce qui reste possibles sur les machines actuelles. Si l on souhaite appliquer un filtre sur le tableau, il nous faudra faire une copie de ce dernier, et on atteindra alors 16 méga octets en mémoire. Le résultat du traitement peut-être vu sur la figure 6.1 b). Cependant, cette méthode a été essayée pour travailler sur les couleurs (espace HSV, 3 dimensions) mais aussi sur les couleurs ET une information spatiale (HSV et XY, 5 dimensions). Cela signifie qu en plus de l information de couleur (le tableau précédent) il nous faut 29

31 CHAPITRE 6. RECHERCHE DE ZONES l agrandir d autant de case que la longueur et la largeur de l image. Pour une petite image de 150 pixels de large, il nous faudra alors un tableau d une taille de cases. Cela n étant pas gèrable en mémoire car beaucoup trop grand, il a été décidé d abandonner l information de brillance des pixels (le V) et donc d enlever un facteur 255 à la taille du tableau. On se retrouve ainsi avec une taille en mémoire d un peu plus de 700 méga-octets, qui passe alors à 1.4 giga-octets lors de l application d un filtre. Comme on peut s en douter, cette taille rend l application très laborieuse pour le processeur, tant en terme de place prise en mémoire mais aussi en terme de volume de données à traiter. Á titre d exemple, la machine utilisée pour les tests possède 4 Go de mémoire et un processeur de type i3 (4 coeurs à 3 GHz chacun) et le traitement nécessitait une dizaine de minutes pour traiter l image présentée ci-dessous. L application n a donc pas été pousuivi sur une image en 3 dimensions pour des raisons de place et de temps de traitement devenu évidentes. Quelques résultats montrant cette transformation sont illustrés ci-dessous (figure 6.1). Dans l ordre nous avons l image originale (a), le traitement en utilisant uniquement la couleur (HSV) (b) puis le même traitement en servant de la couleur (H et S) et l espace (X et Y) (c). Figure 6.1 Identification de zones dans une image avec des objets superposés ; a) L image originale ; b) La segmentation en utilisant HSV ; c) La segmentation en utilisant HS-XY 30