Segmentation semi-automatique en plans pour la génération de cartes denses de disparités

Segmentation semi-automatique en plans pour la génération de cartes denses de disparités Semi-automatic Planar Segmentation Applied to the Generation of Dense Disparity Maps Benoît Bocquillon Sylvie Chambon Alain Crouzil Institut de Recherche en Informatique de Toulouse Université Paul Sabatier 118, route de Narbonne 31062 Toulouse Cedex 4 bocquillon@irit.fr chambon@irit.fr crouzil@irit.fr Résumé Ce travail s inscrit dans le cadre de la vision par ordinateur et plus précisément de la segmentation d images en plans pour le calcul de cartes de disparités denses. Il a pour but d établir des couples stéréoscopiques avec vérité terrain pour permettre notamment l évaluation et la comparaison précise d algorithmes de stéréovision. Pour cela, nous considérons des scènes planes par morceaux et nous proposons une méthode de segmentation semi-automatique s appuyant sur les modèles de contours actifs dans le cas de polygones. Les apports de cette segmentation sont directement évalués sur les cartes de disparités que nous calculons et de nouveaux couples stéréoscopiques sont proposés. Mots Clef Vérité terrain, cartes de disparités, homographie, segmentation en plans, stéréovision. Abstract This work falls under computer vision framework and more precisely planar segmentation applied to the generation of dense disparity maps. The goal is to produce new stereoscopic images with ground truth in order to evaluate and to compare precisely stereovision algorithms. We consider piecewise planar scenes and we propose a semi-automatic segmentation method based on the active contour models in the case of polygonal shapes. We analyze the disparity maps to evaluate the accuracy of the segmentation and new image pairs are proposed. Keywords Ground truth, disparity map, homography, planar segmentation, stereovision. 1 Introduction Les deux dernières décennies ont vu des progrès conséquents dans tous les domaines de la vision par ordinateur. Plusieurs solutions ont été proposées par différents membres de la communauté pour tenter de répondre à chacun des problèmes abordés. Au fil du temps, la nécessité s est faite ressentir d effectuer des travaux de synthèse de ces solutions. Dans ce contexte, l évaluation des performances des algorithmes de vision par ordinateur apparaît comme un enjeu important pour renforcer la maturité de la discipline 1. Dans de précédents travaux [6], nous nous sommes inscrits dans cette démarche en réalisant une taxonomie et une comparaison des mesures de corrélation utilisées en mise en correspondance stéréoscopique dense. La mise en correspondance consiste à localiser dans les images les projections (pixels, régions,...) de la même entité de la scène. Cette étape délicate a posé et pose encore de nombreux problèmes aux algorithmes de stéréovision. Beaucoup de travaux ont été proposés, chacun essayant de prendre en compte une ou plusieurs difficultés de la mise en correspondance [1, 17] : changements de luminosité, raccourcissements, bruits, zones non texturées, occultations. Face au nombre très important d algorithmes proposés et afin d en valider un nouveau ou afin d en choisir un parmi d autres dans une situation donnée, il s est avéré indispensable d établir des protocoles d évaluation et de comparaison pour mettre en évidence les propriétés de ces algorithmes. Ainsi, petit à petit, des efforts ont été déployés pour établir des protocoles d évaluation. Ils s appuient, pour une majeure partie, sur des images de référence avec vérité 1. Voir le programme national Techno-Visionµµlancé par le ministère délégué à la recherche : http://www.recherche.gouv.fr/appel/2004/technovision.htm 1

terrain, c est-à-dire des couples d images dont l ensemble des correspondances est connu. Nous définissons la disparité comme le vecteur déplacement entre deux pixels qui se correspondent. La vérité terrain se présente souvent sous la forme de cartes de disparités. Nous observons néanmoins un manque de données stéréoscopiques avec des cartes de disparités disponibles. En effet, la vérité terrain n existe que lorsque nous travaillons avec des données de synthèse (nous proposerons un moyen simple de produire des images de synthèse avec les disparités associées). Dans le cas d images réelles, obtenir des données de référence est une tâche complexe car elles doivent offrir une qualité supérieure, en termes de localisation des occultations et de précision des disparités, à celles obtenues par les algorithmes classiques pour être acceptées comme références. Il est alors souvent nécessaire de faire un compromis entre la pertinenceµde la scène et sa capacité à être traitée avec précision. Les méthodes d obtention de la vérité terrain les plus utilisées sont l obtention manuelle, la synthèse d image, les capteurs actifs (lumière structurée, laser 3D, etc.) et les méthodes géométriques. Les images stéréoscopiques de référence (avec carte de disparités) rencontrées le plus souvent dans la communauté sont celles de Scharstein et Szeliski 2 [3], de l université de Tsukuba 2 [15], de Šára 3 [19] et les images de synthèse de l université de Bonn 4. Excepté pour les images de synthèse et les images de Scharstein et Szeliski obtenues en utilisant de la projection de lumière structurée, les scènes utilisées sont planes par morceaux et les plans ont été identifiés manuellement. La segmentation en plans d un couple stéréoscopique est une opération qui consiste à identifier dans chaque image les régions qui sont des projections de plans de la scène. Les méthodes qui permettent de segmenter les images en plans peuvent être classées en deux catégories, selon l utilisation séparée ou simultanée des images. D une part, les méthodes qui utilisent les images séparément sont des méthodes qui s appuient sur des critères photométriques pour segmenter les images en régions. L exemple le plus classique est celui des modèles de contours actifs (aussi appelés snakes) [11]. Citons également les travaux de Harris sur le suivi d objets rigides [8]. Ces méthodes nécessitent une solution initiale souvent fournie manuellement. D autre part, les méthodes qui utilisent les images simultanément recherchent des correspondants entre les images afin de calculer des contraintes sur les positions des régions planes dans les images [2, 4, 5, 13, 18]. Ces méthodes sont semi-automatiques ou complètement automatiques mais, si la précision obtenue sur la localisation des plans est suffisante pour des applications comme la reconstruction, elle ne l est pas pour obtenir des cartes de disparités de référence. À partir de la segmentation en plans d un couple d images, 2. http://cat.middlebury.edu/stereo 3. http://cmp.felk.cvut.cz/~sara/stairs/home.html 4. http://www-student.informatik.uni-bonn.de/~gerdes/mrtstereo une carte de disparités est calculée en utilisant des contraintes géométriques. Dans cet article, nous proposons un algorithme permettant une segmentation semi-automatique des images en plans, afin de déterminer précisément les frontières entre les plans et donc les zones d occultation et les ruptures de profondeur. Nous nous restreignons à des scènes planes par morceaux où les plans sont des polygones et nous utilisons les modèles de contours actifs appliqués aux polygones afin de segmenter automatiquement les images après une segmentation initiale manuelle. Nous supposons que nous utilisons les images d un couple stéréoscopique classique, acquises par exemple avec un capteur binoculaire, de sorte que les transformations géométriques entre les deux images (rotation, changement d échelle, etc) ne soient pas importantes. Un outil permettant de calculer la segmentation semi- automatique et les cartes de disparités, ainsi que le code source et de nouvelles images avec leurs cartes de disparités, sont disponibles sur notre site internet 5. Dans la section suivante, nous rappelons les grandes lignes des approches fondées sur les contours actifs. Puis, nous décrivons la méthode de segmentation et le calcul de cartes denses de disparités. La méthode est ensuite testée sur des images de synthèse photo-réalistes, que nous avons réalisées, puis sur des images réelles de référence dont les cartes de disparités sont disponibles et enfin sur des images que nous avons acquises. Nous terminons par la conclusion et une description des améliorations envisagées. 2 Contours actifs Les contours actifs sont généralement utilisés pour la détection de contours dans des images ou le suivi de contours mobiles dans des vidéos. Pour ces modèles, on associe souvent un contour continu à une énergie de la forme générale : µ ÒØ ÖÒ µ ÜØ ÖÒ µ Ñ µ(1) Le premier terme est un terme de régularisation qui impose des contraintes de continuité de la courbe. Il agit notamment sur la longueur et la courbure de la courbe. Le second terme exprime les informations a priori sur la courbe, comme les positions de points de contrôle. Ces informations sont de haut niveau. Le dernier terme représente les caractéristiques de l image à mettre en valeur. Le contour actif qui maximise (ou qui minimise) l énergie de l équation (1) est celui qui respecte le mieux les caractéristiques désirées. Un contour initial est donné manuellement ou par un algorithme en amont. Ensuite, une des nombreuses méthodes d optimisation est utilisée (descente de gradient, programmation dynamique,...). Notons que, selon la méthode, une mauvaise initialisation peut conduire l énergie dans un maximum local (ou minimum local). 5. http://www.irit.fr/~benoit.bocquillon/ 2

3 Segmentation à l aide de contours actifs polygonaux Nous présentons ici notre méthode de segmentation semiautomatique des images en plans. Nous appliquons le modèle de contours actifs aux polygones. D une part, nous supposons que chaque polygone est initialisé manuellement de sorte que ses côtés soient prochesµdes contours rectilignes, dans l image, vers lesquels ils devraient tendre. Une telle initialisation entraîne une erreur d un ou deux pixels sur les positions des sommets d un polygone. En utilisant une solution initiale proche de la solution optimale, nous n avons pas besoin de contrôler la longueur et la courbure du polygone. D autre part, nous n ajoutons pas de contrainte sur les positions des sommets. Ces deux hypothèses permettent d éliminer les deux premiers termes de l équation (1) qui se résume alors à µ Ñ µ. Nous décidons d utiliser la valeur du gradient de l image en niveau de gris évaluée le long des côtés de chaque polygone et dans la direction orthogonale à celle des côtés. En effet, ce gradient directionnel privilégie la direction qui nous intéresse, afin de s abstraire des contours qui ne sont pas des frontières de régions planes. Nous désignons un polygoneècomme étant un ensemble deæsommets. Un côté du polygoneèa pour extrémités et et désigne l abscisse curviligne d un point µ ȵ Ñ Èµ ½ Ð ¾È ÖÁ µµ Ò µ¾ appartenant à. L énergie d un polygoneè, en continu, s écrit donc : ȵ ½ ÆÈ Ô¾È ÖÁ Ôµ Ò µ¾ (2) oùð est la longeur de,öá µµest le vecteur gradient de l imageáau point µetò est la normale au côté. En discrétisant cette équation, nous obtenons : (3) processus itératif est décrit dans l algorithme 1. De plus, nous fixons un nombre maximal d itérations afin d arrêter le processus en cas de non convergence. Nous obtenons ainsi le meilleur polygone, au pixel près, à partir d un polygone initialè ¼µ. Nous souhaitons améliorer la précision de localisation des positions des sommets par rapport à une segmentation manuelle. Ainsi, pour trouver le meilleur polygone à une précision supérieure, nous adoptons l algorithme 2 dans lequel le fait de doubler la précision signifie que nous doublons la résolution de l image et que nous doublons le nombre de points d échantillonnage le long des côtés. En ce qui concerne la gestion de tous les plans de l image, nous ne pouvons pas considérer simultanément tous les sommets de tous les polygones car l espace de recherche serait trop grand. Nous estimons plutôt les polygones successivement et nous fixons les positions des sommets des polygones déjà estimés. Cette démarche est critiquable car a priori rien ne nous assure que les positions finales des sommets soient les mêmes quel que soit l ordre d estimation des polygones. En pratique nous avons testé l estimation avec différents ordres sur les polygones et il s avère que cet ordre influe peu sur les positions des sommets. Lorsque le nombre de sommets d un polygone est trop important et lorsque les temps de calcul deviennent trop élevés, l exploration complète des sous espaceså µest remplacée par une exploration stochastique. Pour cela, nous utilisons la méthode d optimisation du recuit simulé [12]. 1.È ¼µest le polygone initial. 2.Å µest le sous-espace des polygones dont les sommets sont compris dans le voisinageæ Æ deè µ. 3.Å µest entièrement exploré : nous trouvonsè ½µ, le polygone avec l énergie maximale, puis nous itérons le processus en retournant en 2 avecè ½µcomme nouveau polygone initial. oùæèest le nombre de points d échantillonnage le long des côtés du polygone. Les vecteurs gradients sont calculés en ces points, qui ne sont pas obligatoirement des pixels, par interpolation bicubique. Nous devons maintenant chercher les positions des sommets qui maximisent l énergie d un polygone donnée par l équation (3). Pour cela nous définissons un espace de recherche de polygones Ået une stratégie de parcours de cet espace. L espace est défini comme suit : les sommets d un polygone peuvent se déplacer autour de leur position initiale dans une fenêtre carrée de tailleæ Æ et l espace est constitué de tous les polygones possibles à partir de ces positions des sommets. Pour trouver le meilleur polygone, nous devons parcourir totalement cet espace, ce qui devient vite irréalisable lorsque le nombre de sommets est très important. Nous considérons alors des sous-espaceså µplus petits qui seront explorés complètement et successivement. Ce 4. Le processus s arrête lorsque l énergie cesse d augmenter.è µest alors choisi comme polygone final. ALGO. 1 Exploration de l espace de recherche. 4 Calcul des cartes de disparités Les disparités sont calculées en estimant les homographies entre les plans. Nous pourrions envisager d utiliser les sommets des polygones pour estimer les homographies mais leurs correspondants peuvent être occultés dans l autre image et il faut au moins quatre correspondances pour estimer une homographie. Nous avons alors utilisé des points d intérêt : dans les régions planes déterminées par la segmentation semi-automatique, nous détectons des points d intérêt à l aide du détecteur de coins de Harris [9]. Ces points sont appariés entre les deux images en utilisant une mesure de corrélation. Nous avons utilisé la corrélation croisée nor- 3

1. Nous calculons le meilleur polygone à la précision initiale (algorithme 1). Sous-pixels Pixel 2. Nous doublons la précision et nous recommençons (par exemple, si les positions des sommets étaient estimées au pixel près à l itération précédente, alors nous les estimons ༠pixel près à cette itération, puis à ¼ ¾ pixel près à la suivante, etc). 3. Le processus s arrête lorsque la précision voulue est atteinte. ALGO. 2 Recherche du meilleur polygone pour une précision donnée. malisée centrée [1]. Nous effectuons une vérification bidirectionnelle souple et nous conservons les points appariés dont le score de corrélation est supérieur à un seuil choisi. À partir de ces points, l estimateur RANSAC [7] permet ensuite de calculer une estimation robuste des homographies des plans entre les deux images. Puisque les positions des sommets ont été calculées avec une précision au souspixel, la carte de disparités est calculée à partir des homographies et de ces positions à une résolution supérieure à celle des images du couple stéréoscopique. La carte de disparités est ensuite rééchantillonnée en tenant compte des catégories des pixels. Les catégories sont pixel correspondant à un point occultéµ, pixel correspondant à un point du plan½µ, pixel correspondant à un point du plan¾µ, etc. La catégorie d un pixel donné sera la catégorie la plus représentée parmi les sous-pixels dont ce pixel est composé. La figure 1 illustre cette méthode dans le cas d une image dont les dimensions initiales sont trois fois plus grandes que les dimensions finales. Dans cet exemple, un pixel est alors composé de neuf sous-pixels. Dans le premier cas, il y a trois sous-pixels gris, appartenant à un plan numéro 1 et six sous-pixels blancs, appartenant à un plan numéro 2. Les sous-pixels appartenant au plan 2 sont majoritaires donc le pixel est considéré comme appartenant au plan 2. Dans le second cas, il y a un sous-pixel du plan 1, trois sous-pixels du plan 2 et cinq sous-pixels occultés. Le pixel est donc déclaré comme occulté. 5 Critères d évaluation Nous allons présenter les résultats à la fois qualitativement et quantitativement. 5.1 Évaluation de la segmentation La segmentation sera évaluée en mesurant sur les cartes de disparités les erreurs commises aux frontières des plans. Ces erreurs sont affichées sous la forme de cartes de différences, comme dans la figure 3. Nous considérons qu il y a une erreur sur un pixel dans les trois cas suivants : Un pixel est détecté comme occulté dans la première carte alors qu il est apparié dans la seconde (pixel noir dans la carte des différences). Le pixel ou le sous-pixel correspond à un point appartenant au plan 1. Le pixel ou le sous-pixel correspond à un point appartenant au plan 2. Le pixel ou le sous-pixel correspond à un point occulté. FIG. 1 Détermination de la catégorie d un pixel à partir de ses sous-pixels pour le rééchantillonnage. Un pixel est apparié dans la première carte alors qu il est occulté dans la seconde (pixel noir dans la carte des différences). Un pixel est affecté à un plan dans la première carte et affecté à un autre plan dans la seconde carte (pixel gris dans la carte des différences). Par souci de lisibilité, nous avons ajouté un cadre noir de deux pixels d épaisseur autour des cartes de différences. Le pourcentage d erreurs est le nombre d erreurs en tenant compte des pixels de toute l image. 5.2 Évaluation des disparités Nous évaluons les disparités en calculant la moyenne et l écart-type de l écart entre les disparités théoriques et les disparités calculées pour l ensemble des pixels de l image. Comme les erreurs sur les disparités aux frontières des plans sont déjà prises en compte dans l évaluation de la segmentation, nous excluons les pixels des frontières (les contours plus leur voisinage). Les cartes de disparités sont un critère visuel d appréciation des disparités. Sur ces cartes, par exemple sur la figure 3, plus les pixels sont clairs, plus les disparités sont grandes et plus le point de la scène est proche de la caméra. Les pixels noirs correspondent à des points occultés. 5.3 Évaluation de l estimation des homographies Dans le but d apprécier l estimation des homographies, nous visualisons des iso-disparités à partir des cartes de disparités. Les homographies sont d autant mieux estimées que les iso-disparités sont linéaires (voir annexe). Les cartes 4

d iso-disparités, comme par exemple dans la figure 8, montrent quelques iso-disparités. Les iso-disparités sont les frontières entre les bandes blanches et noires. Pour apprécier visuellement la linéarité des iso-disparités, il est indispensable de connaître l écart des disparités entre deux iso-disparités successives. 6 Résultats 6.1 Expériences sur des images de synthèse Afin de tester notre méthode, nous avons réalisé des couples stéréoscopiques de synthèse photo-réalistes : nous avons modélisé des scènes planes par morceaux et nous avons plaqué une image réelle sur chaque plan. Le rendu des images a été réalisé grâce au logiciel libre Blender 6. Les cartes de disparités ont été calculées grâce à un lancer de rayon classique [20]. Les couples que nous avons produits ( journauxµet mursµ) sont présentés sur la figure 2. (e) FIG. 2 Couples stéréoscopiques de synthèse journauxµ et mursµ. Pour chaque couple, nous avons segmenté manuellement en régions planes chaque image et nous avons calculé la carte de disparités à partir de cette segmentation, selon la méthode décrite dans la section 4 (figures 3 et 4). Ce découpage a ensuite servi pour l initialisation de la segmentation semi-automatique. La segmentation finale, obtenue grâce à l algorithme 2, est utilisée pour calculer la carte de disparités (figures 3 et 4). Les différences entre les cartes de disparités théoriques (figures 3 et 4) et les cartes de disparités obtenues à partir des segmentations manuelle et semi-automatique sont présentées respectivement sur les figures 3, 4, 3(e) et 4(e). Nous observons que le nombre de pixels correspondant à une erreur est moins élevé lorsque la segmentation semiautomatique est utilisée. Pour le couple journauxµ, le pourcentage d erreurs est égal འ±avec une segmentation 6. http://www.blender3d.org FIG. 3 Cartes pour le couple journauxµ: disparités théoriques, disparités calculées à partir d une segmentation manuelle et semi-automatique et différences entre la carte théorique et ces deux dernières et (e). manuelle et¼ ½ ±avec une segmentation semi-automatique au dixième de pixel près (à titre d information, une erreur de½±correspond à plus de ¼¼¼pixels erronés pour une image ¼ ¼). Pour le couple mursµ, l amélioration est moins importante car le pourcentage d erreurs passe de¼ ±à¼ ½±. La carte des différences montre en effet que les côtés des polygones sur la gauche vaut¼ ± de l image n ont pas convergé vers la meilleure solution. Néanmoins, avec la segmentation semi-automatique, les erreurs sont regroupées sur un certain nombre de côtés plutôt qu éparpillées sur tous les côtés. Pour le couple journauxµ, nous avons fait varier la précision de la segmentation : pourcentage d erreurs diminue avec l augmentation de la précision. Par exemple, le pourcentage d erreurs pour une segmentation au pixel près contre¼ ½ ±pour une segmentation au dixième de pixel près. L écart moyen des disparités entre les disparités calculées et les disparités théoriques est¼ ¼¾ ¼ ¼½pixel pour le et¼ ¼ ¼ ¼ pixel pour le couple mursµ. 6.2 Expériences sur des images réelles Nous avons ensuite testé la méthode sur sept couples d images réelles 2. Nous présentons ici les résultats pour deux de ces couples, mapµet posterµ(figure 5). Pour ces couples, les plans ont été identifiés manuellement par leurs auteurs [3, 17]. Nous avons segmenté les images en plans manuel- 5

sont affichées sur les figures 6 et 7. (e) FIG. 4 Cartes pour le couple mursµ: disparités théoriques, disparités calculées à partir d une segmentation manuelle et semi-automatique et différences entre la carte théorique et ces deux dernières et (e). (e) FIG. 5 Couples stéréoscopiques réels mapµ et posterµ. lement puis nous avons calculé automatiquement les polygones. Les cartes de disparités ainsi que les cartes de différences entre les cartes de disparités théoriquesµ(celles données par les auteurs) et les cartes de disparités calculées FIG. 6 Cartes pour le couple mapµ: disparités théoriquesµ, disparités calculées à partir d une segmentation semi-automatique, agrandissement de la zone pointillée de la carte théoriqueµ et de la carte calculée et différences entre les deux cartes (e). Puisque pour des images réelles la vérité terrain n existe pas, il est difficile de comparer ces cartes de disparités. Nous pouvons néanmoins comparer la qualité visuelle de ces cartes. Prenons par exemple la carte de disparités théoriqueµdu couple mapµ(figure 6). Cette scène possède deux plans. La carte présente des occultations à la frontière des plans sur le côté droit du plan le plus proche de la caméra (figure 6). Ces occultations n ont pas de raison d être car les images ont été rectifiées (les plans subissent donc une translation vers la gauche, d autant plus importante qu ils sont proches de la caméra). La carte que nous avons obtenue (figures 6 et 6) ne possède pas de telles occultations. En ce qui concerne la carte théoriqueµdu couple posterµ (figure 7), certaines zones d occultations sont anormalement discontinues (dans le coin en haut à gauche par exemple, figure 7). Sur la carte que nous avons calcu- 6

FIG. 8 Iso-disparités théoriquesµet calculées pour le couple mapµ et et le couple posterµ et. (e) FIG. 7 Cartes pour le couple posterµ: disparités théoriquesµ, disparités calculées à partir d une segmentation semi-automatique, agrandissement de la zone pointillée de la carte théoriqueµ et de la carte calculée et différences entre les deux cartes (e). lée, nous n avons pas ces artefacts (figures 7 et 7). L écart moyen entre les disparités théoriquesµet celles que nous avons calculées est inférieur au quart de pixel. Or, l erreur donnée par les auteurs sur les disparités est de l ordre du quart de pixel. Les disparités que nous avons calculées sont donc en bon accord avec celles données par les auteurs. Sur les figures 8 et 8, nous voyons que notre carte respecte presque toujours la linéarité des isodisparités (l écart entre deux iso-disparités correspond à un quart de pixel). Notons que pour le couple posterµ, la linéarité est mieux respectée dans la carte théoriqueµ (figure 8) que dans la carte calculée (figure 8). Ceci peut s expliquer par le fait que les auteurs ont utilisé neuf images pour estimer les homographies alors que nous n en avons utilisées que deux. Afin d illustrer l utilisation des iso-disparités, la figure 9 montre l influence de différentes estimations des homographies pour le calcul de la carte de disparités du couple posterµ. Nous remarquons ainsi, en termes de linéarité des iso-disparités, que l apport d une estimation robuste par rapport à une estimation non robuste est plus impor- FIG. 9 Influence des différentes estimations des homographies (linéaire, non linéaire, linéaire robuste et non linéaire robuste ) sur les iso-disparités du couple posterµ. tant que l apport d une estimation non linéaire par rapport à une estimation linéaire. Les résultats sur les autres couples d images réelles étudiés, mais non présentés ici, sont similaires. 6.3 Expériences sur de nouvelles images Pour terminer nos expériences, nous avons fait l acquisition d une scène plane par morceaux avec un appareil photo numérique Canon EOS-300D. Les images ont été rectifiées 7

[14], puis segmentées semi-automatiquement. La figure 10 montre le couple stéréoscopique, la carte de disparités obtenue et les iso-disparités associées. Sachant que nous ne possédons pas, dans ce cas, de carte de référence pour évaluer la carte calculée, nous pouvons uniquement détecter visuellement les erreurs correspondant à des fausses occultations. La figure montre qu il y en a très peu. De plus la linéarité des iso-disparités est bien respectée : même si les iso-disparités ne sont pas exactement des droites, nous voyons que cette non linéarité induit une erreur inférieure à l écart entre deux iso-disparités dans la carte. Or cet écart vaut¼ ¾ pixel. Nous pouvons donc espérer avoir calculé les disparités au quart de pixel près. FIG. 10 Nouveau couple stéréoscopique réel livresµ, carte de disparités et iso-disparités. 6.4 Quelques remarques Dans nos expériences, nous ne nous sommes pas souciés de la distorsion mais il est évident que si celle-ci est importante alors la segmentation sera de mauvaise qualité. Il sera alors nécessaire de traiter préalablement les images afin de corriger la distorsion. Remarquons que les homographies ne sont pas indépendantes. Il existe en effet des contraintes de compatibilité des homographies avec la géométrie épipolaire [10, chapitre 13] qui nous auraient permis d affiner l estimation des homographies. Nous terminons par quelques considérations techniques. Les temps de calcul sont donnés pour un Ahtlon XP 1800+ et des images ¼ ¼. Un langage compilé a été utilisé. Le nombre d itérations nécessaires pour que l algorithme 1 converge dépend de la qualité de la segmentation initiale manuelle. Dans nos tests, l algorithme 1 converge en moins de 5 itérations. Le temps de calcul pour atteindre la convergence dépend de la taille des polygones et de la précision voulue sur les positions des sommets car cela influe sur le nombre de points d échantillonnage des côtés du polygone. Ce temps va de quelques secondes pour une précision au pixel près à quelques minutes pour une précision au dixième de pixel près. Le calcul des disparités demande 1 à 2 minutes de calcul. Au total, il faut donc une dizaine de minutes pour obtenir une carte dense de disparités. 7 Conclusion et perspectives Dans cet article, nous avons présenté une méthode semiautomatique de segmentation d images en plans dans le but de calculer des cartes de disparités de couples stéréoscopiques. Cette méthode s appuie sur les modèles de contours actifs. Nous nous sommes restreints à des scènes planes par morceaux dont les plans sont des polygones. Nous avons vu, sur des images de synthèse photo-réalistes et sur des images réelles, que cette segmentation semi-automatique apportait une meilleure localisation des frontières entre les plans, par rapport à une segmentation manuelle et ainsi une meilleure localisation des occultations. Nous avons alors utilisé la méthode pour produire un nouveau couple stéréoscopique de référenceµ. Cette méthode peut donc fournir des données de référence permettant de comparer des algorithmes de mise en correspondance. Un outil, avec le code source, ainsi que tous les résultats sont disponibles sur notre site internet 5. Il reste néanmoins des améliorations à apporter à ce travail. Tout d abord, nous utilisons les niveaux de gris pour calculer les gradients alors que nous pourrions utiliser la couleur. Ensuite, nous utilisons les images séparément alors qu il existe des contraintes entre les deux images via les homographies: nous pourrions imaginer un terme supplémentaire dans l expression de l énergie d un polygone. Ce terme refléterait la distance (à minimiser) entre le côté d un polygone dans l image droite et l image par l homographie du côté lui correspondant dans l image gauche. Enfin, nous pourrions utiliser plus de deux images afin d augmenter le nombre de contraintes et mieux estimer les homographies. Références [1] P. ASCHWANDEN et W. GUGGENBÜL. Experimental results from a comparative study on correlation type registration algorithms. Dans FÖRSTNER et RUWIE- DEL, éditeurs, Robust Computer Vision: Quality of Vision Algorithms, pages 268 282. Wichmann, Karlsruhe, Allemagne, mars 1992. [2] C. BAILLARD et A. ZISSERMAN. «Automatic reconstruction of piecewise planar models from multiple views». Dans Computer Vision and Pattern Recognition, volume 2, pages 2559 2565, Fort Collins, Colorado, États-Unis, juin 1999. [3] S. BAKER, R. SZELISKI et P. ANANDAN. «A Layered Approach to Stereo Reconstruction». Dans Computer Vision and Pattern Recognition, pages 434 441, Santa Barbara, Californie, États-Unis, juin 1998. 8

[4] A. BARTOLI. «Piecewise planar segmentation for automatic scene modeling». Dans Computer Vision and Pattern Recognition, volume 2, pages 283 289, Kauai, Hawaii, décembre 2001. [5] B. BOUFAMA et D. O CONNELL. «Identification and Matching of Planes in a Pair of Uncalibrated Images». International Journal of Pattern Recognition and Artificial Intelligence, 17(7):1127 1143, novembre 2003. [6] S. CHAMBON et A. CROUZIL. «Dense matching using correlation: new measures that are robust near occlusions». Dans British Machine Vision Conference, volume 1, pages 143 152, Norwich, Royaume- Uni, septembre 2003. [7] M. A. FISCHLER et R. C. BOLLES. «Random sample consensus: a paradigm for model fitting with applications to image analysis and automated cartography». Graphics and Image Processing, 24(6):381 395, juin 1981. [8] C. J. HARRIS. Tracking with Rigid Models. Dans Active Vision, Chapitre 4. Blake and Yuille, MIT Press, 1992. [9] C. J. HARRIS et M. STEPHENS. «A combined corner and edge detector». Dans Alvey Vision Conference, pages 147 151, Manchester, Royaume-Uni, août 1988. [10] R. HARTLEY et A. ZISSERMAN. «Multiple View Geometry». Seconde édition. Cambridge University Press, 2004. [11] M. KASS, A. WITKIN et D. TERZOPOULOS. «Snakes: Active contour models». International Journal of Computer Vision, 1(4):321 331, janvier 1988. [16] M. POLLEFEYS et S. SINHA. «Iso-disparity surfaces for general stereo configurations». Dans European Conference on Computer Vision, volume 3, pages 509 520, Prague, République Tchèque, mai 2004. [17] D. SCHARSTEIN et R. SZELISKI. «A Taxonomy and Evaluation of Dense Two-Frame Stereo Correspondence Algorithms». International Journal of Computer Vision, 47(1):7 42, avril 2002. [18] K. SCHINDLER. «Generalized Use of Homographies For Piecewise Planar Reconstruction». Dans Scandinavian Conference on Image Analysis, pages 470 476, Halmstad, Suède, juin 2003. [19] R. ŠÁRA et R. BAJCSY. «On Occluding Contour Artifacts in Stereo Vision». Dans Computer Vision and Pattern Recognition, pages 852 857, San Juan, Communauté de Porto Rico, juin 1997. [20] T. WHITTED. «An Improved Illumination Model for Shaded Display». Communications of the ACM, 23(6):343 349, juin 1980. Annexe Les images ayant subi une rectification épipolaire, les lieux de l espace de même disparité sont des plans parallèles entre eux et parallèles au plan de la caméra [16]. Un plan de la scène intersecte ces plans en des droites parallèles entre elles et parallèles au plan de la caméra (voir figure 11). Ces droites se projettent dans l image en des droites parallèles entre elles. Nous en déduisons que les iso-disparités correspondant à un même plan sont des droites parallèles. En pratique, le bruit perturbe l estimation des homographies et les iso-disparités ne sont pas exactement des droites. L importance de la non linéarité de ces iso-disparités permet ainsi d apprécier visuellement l estimation des homographies. [12] S. KIRKPATRICK, C. GELATT et M. VECCHI. «Optimization by simulated annealing». Science, 220:671 680, mai 1983. [13] R. KOCH. «Surface Segmentation and Modeling of 3-D Polygonal Objects from Stereoscopic Image Pairs». Dans International Conference on Pattern Recognition, volume A, pages 233 237, Vienne, Autriche, août 1996. [14] C. LOOP et Z. ZHANG. «Computing Rectifying Homographies for Stereo Vision». Dans Computer Vision and Pattern Recognition, volume 1, pages 125 131, Fort Collins, Colorado, États-Unis, juin 1999. [15] Y. NAKAMURA, T. MATSUURA, K. SATOH et Y. OHTA. «Occlusion Detectable Stereo - Occlusion Patterns in Camera Matrix». Dans Computer Vision and Pattern Recognition, pages 371 378, San Francisco, Californie, États-Unis, juin 1996. 9

Þ Ý Ü centre optique gauche plans iso-profondeurs plans image gauche et droite centre optique droit Þ Ý Ücentre optique gauche centre optique droit plans iso-disparités plans image gauche et droite plan de la scène iso-disparités dans l image plans iso-disparités plan image centre optique gauche FIG. 11 Plans iso-profondeurs, plans iso-disparités et projection d iso-disparités dans le plan image. 10