Une approche unifiée reposant sur l information mutuelle pour l estimation du mouvement 2D et l asservissement visuel

Transcription

1 Une aroche unifiée reosant sur l information mutuelle our l estimation du mouvement D et l asservissement visuel Amaury Dame 1 Eric Marchand 1 CNRS, Université de Rennes 1 1, INRIA Rennes-Bretagne Atlantique, Lagadic Prenom.Nom@irisa.fr Résumé Dans cet article nous roosons une aroche unifié reosant sur l information mutuelle et ermettant la définition tant d algorithmes de suivi différentiel (dans la lignée du KLT) que d une alternative originale et robuste à l utilisation d informations visuelles géométriques en asservissement visuel. L information mutuelle est une mesure de recalage introduite dans le cadre de la théorie de l information et utilisée, rincialement, dans le domaine de l imagerie médicale our le recalage multimodal. Utilisée récemment our le suivi, cette mesure de similarité est reconnue our sa robustesse ar raort au changements d illumination ainsi qu au occlusions. Nous roosons un cadre général ermettant de considérer cette mesure dans le cadre d un rocessus d estimation du mouvement D dans une séquence d images. La fonction de similarité reosant sur l entroie des images étant non-linéaire, une attention articulière sera ortée à l estimation efficace des aramètres du mouvement. Enfin, la roblématique de l estimation du mouvement étant très similaire à celui de l asservissement visuel, nous montrerons que la même aroche eut être utilisée our réaliser des tâches de ositionnement en robotique. Différents résultats valideront les déveloements roosés. Mots Clef Information mutuelle, suivi différentiel, asservissement visuel. 1 Introduction L estimation du mouvement dans des séquences d images est un roblème clef dans le domaine de la vision ar ordinateur. Dans le cadre de cet article nous nous intéresserons uniquement au contete de l estimation de modèle aramétrés de mouvement. Si de nombreuses solutions ont été roosées dans la littérature [9][1][6][1][16], la fiabilité de ces aroches est souvent remise en cause rincialement du fait de la faible robustesse au changements d illumination ou au occultations de la fonction de similarité sous-jacente : la différence de l intensité lumineuse (SSD). Des solutions efficaces reosant sur des rocessus d estimation robustes [1] ou sur l estimation locale des variations d illumination [6][16] ont été roosées our tenter de résoudre ce roblème. Outre la robustesse au variations d illumination, nous avons our objectif de ouvoir mettre en œuvre un rocessus de suivi dans un contete de multimodalités (ar eemle, localiser et suivre dans des image infrarouges des objets dont l image de référence à été arise dans un image acquise ar une caméra classique). La solution roosée ne eut donc reoser sur une modification du rocessus d otimisation ou sur l ajout de aramètres ermettant d introduire des variations locales de la hotométrie dans la SSD. C est dans cette otique que nous nous intéressons à l information mutuelle [19][14]. Cette fonction d alignement reosant sur la quantité d information artagée ar les deu signau images [15], est reconnue our sa robustesse au occlusions, au variations d illumination et à sa robustesse face au différentes modalités d acquisition. Viola [19] a montré l efficacité de cette technique, utilisée rincialement our le recalage en imagerie médicale. Mais ce n est que récemment que des techniques ermettant l otimisation de ce critère ar des aroches de tye Newton ont vues le jour [18][5] et que des aroches de suivi différentiel (ie, similaire au KLT modulo la modification fondamentale de la fonction de similarité) ont été roosées [4][13][7]. Le suivi n est as le seul contete que nous considérerons dans cet article. Dans [1], nous avions montré l équivalence entre un grand nombre de roblèmes de vision ar ordinateur (calcul de ose, calibration, estimation de modèles aramétrés de mouvement,...) et l asservissement visuel []. L asservissement visuel consiste à contrôler les mouvements d un système dynamique, tel un robot, en utilisant les informations visuelles d images acquises ar une ou lusieurs caméras. Classiquement, ce tye d aroche nécessite d etraire des rimitives visuelles de l image afin de définir la loi de contrôle. L etraction et le suivi robuste en tems réel de ces informations visuelles est un roblème classique our l asservissement visuel [11]. Ceendant, dans [3] il a été montré que considérer l image dans son ensemble en tant que rimitive visuelle, ermet de définir une loi de commande ermettant de s affranchir de l etraction et du suivi d indices visuels. Positionner le

2 robot à la osition désirée revient donc à minimiser l erreur entre l image courante et l image désirée. Fondamentalement, et suivant l équivalence établie dans [1] et bien que l esace des aramètres considérés soit différent, l asservissement visuel hotométrique et le suivi différentiel sont deu roblèmes très roches. Souffrant des mêmes défauts (rincialement l absence de robustesse au variations d illumination) nous rooserons, comme dans le cas du suivi, de modifier la nature fondamentale de la fonction de coût en remlaçant la SSD ar l information mutuelle. Les contributions de cet article sont donc les suivantes : nous roosons un cadre unifié ermettant la définition de techniques de suivi différentiel et d asservissement visuel. Nous orterons un soin articulier à la définition du rocessus d otimisation et en articulier à la définition des Jacobien et Hessien de la fonction de similarité (à notre connaissance, ces méthodes utilisent toutes une aroimation sur le calcul du Hessien de l information mutuelle qui se révèle être roblématique) ermettant une convergence à la fois lus efficace et lus raide de l estimation. Finalement, nous montrerons eérimentalement que les techniques roosées sont efficaces dans les deu contetes roosés et sont robustes tant à des variations non-linéaires de l illumination que dans le cas ou le temlate de référence et l image courante sont acquises avec des modalités différentes. Cet article s articule de la manière suivante. Dans la rochaine section nous montrerons comment les roblèmes de suivi différentiel et d asservissement visuel sont définis sous forme de maimisation non linéaire d une fonction d alignement reosant sur l information mutuelle. La section 3 résente l information mutuelle et détaille comment calculer ses dérivées. Enfin la section 4 résente les différents résultats obtenus our l asservissement visuel ainsi que our le suivi d images de référence dans des séquences. Deu roblèmes de recalage Dans un remier tems nous allons décrire les deu roblèmes qui vont nous intéresser dans cet article, le suivi différentiel de tye KLT et l asservissement visuel. Nous tenterons de montrer les liens entre ces deu roblèmes et les solutions que nous roosons..1 Suivi différentiel Raelons dans un remier tems la roblématique de l estimation du mouvement D ar des techniques de suivi différentiel. Le roblème est formulé de la manière suivante : nous cherchons à estimer les aramètres de délacement qui ermettent de asser de l image de référence T à l image courante I. Ce roblème est le lus communément résolu en minimisant la différence entre l image courante et une image de référence délacée, on l écrit alors [9] : = arg min (SSD(T, I())) (1) = arg min [T() I()()] () où I()() = I(w(,)). w : R R est la fonction de transfert qui modifie un oint de l image de référence à son corresondant dans l image courante. Il est ossible d ajouter à cela des aramètres sulémentaires our rendre en comte les variations d illumination [17]. Notre objectif étant d être robuste au changements d illumination et à la multimodalité dans le rocessus d acquisition des images, nous avons choisis de réécrire le roblème de la manière suivante : = argma (MI(T, I())) (3) où nous chercherons à maimiser l information mutuelle entre les deu images ermettant ainsi d estimer le délacement entre chaque image de la séquence.. Asservissement visuel Le roblème de ositionnement d un robot eut être erimé comme suit : connaissant l image désirée T(r ) (corresondant à une osition r de la caméra) il convient de délacer le robot de manière à ce que l image courante I(r) soit équivalente à T(r ). Plutôt que d etraire des images T(r ) et I(r) des informations visuelles qui devront être mises en corresondance une solution, l asservissement visuel hotométrique, roosée dans [3] reose sur l utilisation directe de la luminance comme information visuelle. r = arg min r [T(r )() I(r)()]. (4) Comme dans le cas récédent, il est aussi ossible de redéfinir le roblème sous la forme d une maimisation de fonction d alignement définie grâce à l information mutuelle. On cherchera alors r tel que : r = argma (MI(T(r ), I(r))) (5) r où r est la osition désirée..3 Généralisation On remarque que les équations (3) et (5) sont similaires. Si les fonctions de coût sont très roches l une de l autre, l esace des aramètres sur lequel doit être fait l otimisation est très différent. Les deu roblèmes euvent alors être généralisés en utilisant dans un remier tems le terme µ à la fois our définir la osition du robot µ = r SE(3), et our le aramètre de délacement du roblème de suivi, où nous rendrons une homograhie our modéliser le mouvement, µ = SL(3).

3 Dans ce cas, le roblème revient à la maimisation du critère non-linéaire suivant : µ = argma (MI(T, I(µ))). (6) µ Cette équation est tyiquement résolue en utilisant une aroche de tye Gauss-Newton. À chaque itération de la maimisation, un incrément µ du aramètre courant µ est calculé tel que : µ = λh 1 G (7) où G est le gradient de l information mutuelle ar raort au aramètres µ et à H sa matrice Hessienne. Pour l estimation du mouvement, la mise à jour du aramètre de délacement courant est alors effectuée jusqu à convergence : µ µ µ (8) où définit l oération qui décrit la combinaison de deu matrices d homograhie. Pour l asservissement visuel le aramètre µ corresond à la commande directement envoyée au robot (c est à dire sa vitesse de translation et de rotation). C est le système dynamique qui va donc imlémenter naturellement l équation (8) 3 Information mutuelle et otimisation non-linéaire 3.1 Information mutuelle et théorie de l information Dans cette section nous allons définir de façon générale la fonction d alignement utilisée dans les tâches d alignement et de ositionnement (équation (6)). L information mutuelle a été roosée ar [15] dans le contete de la théorie de l information. Sa définition est liée au définitions de l entroie et de l entroie jointe. Entroie. L entroie h(x) d une variable X est une mesure de sa variabilité. On la retrouve fréquemment en théorie de l information car elle ermet d erimer le nombre de bits nécessaire à l encodage de chaque valeur d une variable. Si rerésente les valeurs ossibles de X alors l entroie est donnée ar : h(x) = X ()log ( X ()). (9) où X () = P(X = ) est la robabilité our que la variable X ait la valeur. On utilise alors ar définition log() =. Entroie jointe. L entroie jointe est en fait l utilisation de l entroie sur un système de deu variables. Ainsi l entroie jointe h(x, Y ) de X et Y définit la variabilité du coule de variables (X, Y ) et est donnée ar : h(x, Y ) =,y XY (, y)log ( XY (, y)) (1) où et y sont resectivement les valeurs ossibles de X et Y et où XY (, y) = P(X = Y = y) est la robabilité que le coule de variables (X, Y ) ait la valeur (, y). En théorie de l information elle rerésente le nombre théorique de bits nécessaire à encoder les valeurs du coule (X, Y ). La recherche du minimum de l entroie jointe ourrait sembler adéquate our une tâche d alignement. Mais un simle eemle ermet de montrer le roblème que sa définition ose. Considérons un alignement arfait entre X et Y quel qu ils soient. Nous avons alors X = Y ce qui, en utilisant l équation (1), nous donne H(X, Y ) = H(X) qui, si X est fie, est le minimum de H(X, Y ). Les deu variables étant identiques, la variabilité du système est égale à la variabilité de l une de ses comosante. Si maintenant nous considérons Y = Cste alors en utilisant l équation (1) on trouve de la même façon H(X, Y ) = H(X). En effet, la variabilité du système corresond à la variabilité de X uisque Y est constant. Si l on minimise l entroie jointe en faisant varier Y ar eemle, alors Y = X et Y = sont solutions. Ce qui est dû à la déendance de l entroie jointe ar raort au entroies des deu variables. C est our cette raison qu il est nécessaire de définir l information mutuelle. L information mutuelle. La définition de l information mutuelle ermet de résoudre le roblème récédent et de créer une fonction d alignement à artir des notions de variabilités. On définit l information mutuelle M I(X, Y ) entre X et Y de la manière suivante : MI(X, Y ) = h(x) + h(y ) h(x, Y ). (11) En utilisant les équations (9) et (1) on eut regrouer les sommes de la manière suivante : MI(X, Y ) = ( ) XY (, y) XY (, y)log (1),y X () Y (y) Ainsi en soustrayant les entroies des variables avec leur entroie jointe, on enlève la déendance observée récédemment. L information mutuelle est alors la quantité d information artagée ar les deu variables. Si l on maimise cette information alors les deu signau doivent a riori être alignés. 3. Information mutuelle sur des images Dans les aragrahes récédents, l eression générale de l information mutuelle a été donnée. Considérons maintenant le cas de l information mutuelle définie our un coule d images. Si dans l équation (1) X et Y sont remlacés ar T et I(µ) (définis dans la section ), alors l information mutuelle utilisée dans l équation (6) eut être erimée ar : MI (T, I(µ)) = ( ) ij (i, j, µ) ij (i, j, µ)log. i,j i (i, µ) j (j) (13)

4 On retrouve les robabilités cette fois-ci définies au sens de l image, avec i (i, µ) et j (j) resectivement les robabilités our qu un iel de I(µ) et T ait la valeur i et j. Et de même ij (i, j, µ) la robabilité our que le coule de valeurs d un iel de (I(µ), T) ait la valeur (i, j). Ces robabilités sont calculées en normalisant les histogrammes et l histogramme joint des deu images. Les images ayant 56 niveau de gris, on a ( (i, j) [; 55] Z ). Considérer ces 56 niveau de gris s avère couteu en tems de calcul et rovoque une lus forte sensibilité au bruits. Il est donc classique de normaliser les images our obtenir un nombre d entrées lus etit our chaque histogramme de la manière suivante : I(µ)() = I(µ)() N c N ci T() = T() N c N ct. (14) où N ci et N ct sont les niveau de gris corresondant à I et T, et N c est le nombre de niveau de gris maimal des nouvelles images I et T. De cette façon le nombre d entrées de chaque histogramme est égal à N c. On eut finalement erimer les robabilités comme suit : ij (i, j, µ)) = 1 φ [ i I(µ)() ] φ [ j T() ] N i (i, µ) = 1 φ [ i I(µ)() ] N j (j) = 1 φ [ j T() ] (15) N où N est le nombre de iels de la région d intérêt considérée qui ermet de normaliser la somme sur chaque iel our obtenir une valeur de robabilité. Classiquement la fonction φ utilisée our le calcul d histogrammes est une gaussienne. Dans ces travau les gaussiennes sont aroimées ar des B-slines qui ermettent un calcul aisé de la fonction ainsi que de ses dérivées. 3.3 Les dérivées Afin de mettre en œuvre l otimisation non linéaire résentée dans la section, il est nécessaire de calculer les dérivées du remier et deuième ordre de l information mutuelle. Gradient. Le calcul du gradient de l information mutuelle est obtenu en dérivant l équation (13). Les détails des calculs euvent être trouvés dans [18]. Le résultat obtenu est le suivant : G = ( ( )) ij ij 1 + log. (16) i,j i Il est donc nécessaire de calculer la dérivée de la robabilité jointe en fonction du aramètre µ. Cette dérivée est simlement obtenu à artir de l équation (15) : ij = 1 φ (i I(µ)()φ(j T()) (17) N avec : φ(i I(µ)()) = φ(i I(µ)() i I(µ)(). (18) L eression déveloée de I(µ)()/ déend de l alication. Les détails sont donnés dans la section suivante en fonction du contete de chacune des deu alications considérées. Hessien. La matrice Hessienne est la dérivée du gradient ar raort au aramètre µ. Si l on alique les lois de dérivation, on obtient [5] : H = ( ij ij 1 1 ) ( ) + ij ij i,j ij i i Le troisième terme d ordre est généralement considéré comme nul à convergence, ce qui revient à écrire : H ( ij ij 1 1 ). (19) i,j ij i ij Cette aroimation est commune dans les articles qui traitent de l information mutuelle [18, 5, 4]. Elle s insire de la similarité avec le calcul du Hessien dans la minimisation de la SSD. L eérience montre ceendant que cette aroimation classique n est as aroriée. En effet considérons simlement l équation de la robabilité marginale i (i), on sait que i (i) = j ij(i, j). Sachant que chaque valeur de robabilité est ositive, on a finalement i (i) > ij (i, j). Puisque ij est ositive alors la matrice Hessienne donnée ar l aroimation (19) est ositive. Par définition, on cherche à maimiser l information mutuelle qui est donc concave à convergence, l aroimation donnée récédemment n est donc as adatée. De lus si l on considère le cas à convergence avec un alignement arfait, alors I = T. Ainsi ij = i our tout i = j et ij = sinon. De lus le gradient de la robabilité jointe est quasiment nulle our i j. L aroimation de la matrice Hessienne est donc quasiment nulle à convergence ce qui rend roblématique son utilisation dans un rocessus d otimisation non linéaire qui utilise son inverse. Dans nos travau le calcul du Hessien a donc été entièrement réalisé. Pour cela, comme le montre l eression (19), la dérivée seconde de la robabilité jointe est nécessaire. En se basant sur la dérivée au remier ordre de ij et en aliquant les règles de dérivation, on obtient finalement : ij (µ) (i, j, (µ)) = avec : φ ( ) ( ) i I(µ)() φ j T() () φ ( ) φ I I i I(µ)() = i φ I i (1) De la même manière que our le gradient, le déveloement de I déend du contete et sera donc détaillé dans la artie corresondante.

5 3.4 Alication au suivi On se limitera ici à l alication au suivi d un lan. Le modèle de délacement choisi est donc une homograhie. Les eressions I et I euvent alors être détaillées en fonction du aramètre R 8 d une homograhie : I(r)() r I(r)() r = I w(,) () = w I w + I w + I w y y où I et I corresondent resectivement au gradient et au gradient de deuième ordre de l image. Les dérivés w et w sont obtenus en aliquant les lois de dérivation à la fonction de transfère w(). Leurs calculs [1] n aorte as d intérêt sécifique dans cet article et ne seront donc as détaillés. 3.5 Alication à l asservissement visuel Dans le cas de l asservissement visuel, les eressions I et I résentes dans l équation (18) et (1) euvent donc être détaillées en fonction de la osition de la caméra r tel que : ( I(,r) I(r)() = I L (3) r I(r)() r = L I L + I H + I y H y (4), I(,r) y où I est le gradient ) de l image (I, I y ) où encore avec et y erimés dans le reère métrique, I est le gradient du gradient. L est la matrice d interaction qui lie le délacement d un oint (, y) distant de Z avec la caméra au délacement de la caméra v (voir [] our l eression détaillée). Aucun modèle de la scène n est fourni, seule l image désirée est connue. Une aroimation doit donc être faite sur Z. H et H y sont resectivement la dérivée de la remière et seconde ligne de la matrice d interaction ar raort au délacement de la caméra. Le détail de leur obtention est donnée dans [8]. 4 Résultat eérimentau 4.1 Suivi différentiel Recalage. Une remière eérience de recalage a été réalisée dans l objectif de justifier la méthode roosée our calculer le Hessien de l information mutuelle. Dans cette eérience, le temlate de l image 1(a) a été sélectionné. Pour illustrer le comortement des deu minimisations avec et sans aroimation, le résidu normalisé du recalage a été calculé et rerésenté arès chaque itération dans la figure 1 ainsi que l erreur de recalage mesurée ar la somme des distances entre les sommets du temlate et les sommets du temlate délacé ar. Comme on le voit la solution utilisant le Hessien ar la méthode roosée arrive à convergence en très eu d itérations, ce qui est cohérent uisque lus aucune aroimation n est faite. La minimisation utilisant l aroimation quant à elle converge arrive à convergence arès beaucou lus d itération. On remarquera ceendant dans ce cas l oscillation résente à convergence du résidu et de l erreur sur l estimation. (a) Methode roosee Methode commune Methode roosee Methode commune (b) (c) Methode roosee Methode commune Methode roosee Methode commune FIG. 1 Recalage d un temlate avec (vert) et sans (rouge) aroimation sur le Hessien. (a) temlate d origine (rouge) et déformé (vert), (b,c) somme des différences des intensités des iels au carré normalisés en fonction du nombre d itérations et (d,e) évolution de l erreur sur le aramètre ar raort à la vérité terrain, remière ligne : sans méthode de Brent et deuième ligne : avec méthode de Brent. Les méthodes d otimisation de tye Brent euvent être utilisées our remédier à ces oscillations. Cette méthode consiste à évaluer l incrément tel qu il est défini dans l équation (7) et à l utiliser avec un gain λ otimal. Ce gain est obtenu ar une recherche (coûteuse) à une dimension sur la fonction de coût ar interolation arabolique. Cette méthode a été étudiée avec et sans aroimation sur le Hessien. On eu voir l évolution des erreurs de recalage dans la figure 1. On remarque que l évolution du résidu est toujours décroissante. Malgré tout, l évolution avec un calcul eact du Hessien reste meilleure. De lus on observe que si la méthode de Brent ermet de limiter les effets d oscillation sur le résidu, l erreur sur l estimation du aramètre de délacement reste variable. Suivi dans une séquence. Cette section résente les résultats obtenus lorsque l algorithme de suivi a été testé dans une séquence avec de forts changements d illumination (avec de fortes sécularités) et dans une séquence où l image de référence n a as la même modalité d acquisition que la séquence elle-même. Pour la remière eérience rerésentée dans la figure, l image de référence est définie manuellement dans la remière image de la séquence. La zone d intérêt sélectionnée comrend 33 iels. La remière ligne montre les images de la séquence avec la zone d intérêt rojetée en utilisant le aramètre de délacement estimé. La deuième ligne rerésente l image courante rojetée sur la zone d intérêt. On eut voir que le lan est suivi avec récision. Malgré les grandes variations d illumination résente sur la zone suivie, l image reste recalée correctement. (d) (e)

6 FIG. Suivi d un lan dans une séquence d image avec de forte variation de luminosité. Première ligne : image, 78, 11, 1 et 41. Le rectangle vert rerésente le temlate de référence transféré sur l image courante à artir de l homograhie estimée. Deuième ligne : rojection de l image courante sur l image référence. FIG. 3 Suivi d une image de référence de tye satellite (à gauche) sur une séquence acquise en infrarouge. À gauche les images 1, 5, 5 et 75 avec l image de référence recalée (images infrarouge de Thales Otronic et satellite de google earth). Dans la deuième séquence rerésentée dans la figure 3 l image de référence est une image satellite (issue de google earth). La transformation de cette image vers la remière image d une séquence acquise dans la artie infrarouge du sectre a été sélectionnée manuellement. Le recalage entre la référence et la séquence est ensuite faite automatiquement ar la technique de suivi résentée dans cet article et reosant sur l information mutuelle. Comme on eut le voir sur ces quelques images le recalage se fait correctement. Conséquence du caractère multimodal des images concernées, un suivi basé sur la différence des images (SSD) n a as de sens et diverge dès la remière itération. 4. Asservissement visuel Eérience de ositionnement. Dans cette artie nous résentons les résultats obtenus our des tâches de ositionnement d un robot à 6 degrés de liberté. L image T est acquise à la osition désirée du robot. Cette image corresond à la osition r du robot. Cette osition r est mémorisée dans le seul but de connaître la vérité terrain et ainsi de ouvoir calculer la transformation r décrivant l erreur entre la osition courante et la osition désirée et qui mesure donc l erreur de ositionnement. Dans une remière eérience la caméra a été ositionnée avec r = ( 15cm, 3cm, 3cm, 19, 11, 13 ) ce qui corresond à un mouvement relativement imortant de la caméra sur les 6 aes. La figure 4 montre les images acquises ar la caméra ainsi que l évolution de r au cours du tems. Malgré le large écart initial, le robot converge vers la osition désirée et l erreur finale tend vers. L erreur finale enregistrée ar le robot est de l ordre de.1mm en translation et.1 en rotation ce qui est très récis sachant que la distance entre la scène et la caméra est d environ 1 mètre. De lus comme on eut le voir sur la figure 5, la trajectoire de la caméra est très satisfaisante : au début le centre otique de la caméra décrit une ligne dans l esace 3D jusqu à ce qu il ne reste qu un coulage d erreurs entre les transformations (t, r y ) ou (t y, r ) alors la caméra décrit une rotation autour de la scène jusqu à la osition désirée. Une deuième eérience similaire montre les résultats obtenus en résence de fort changements (non globau) d illumination. L image désirée est acquise uis le robot est délacé à sa osition initiale et l illumination de la scène est changée. On eut voir les images acquises ainsi que le changement d illumination aliqué sur la figure 6. L erreur de ositionnement final d ordre de.4mm en translation et de.5 en rotation est tout à fait satisfaisante. Une loi de commande d asservissement visuel basée sur la différence des images [3] aurait dans ce cas divergé. Eérience de navigation. Dans cette eérience la robustesse de l information mutuelle est testée concernant la multimodalité d acquisition. Pour cela nous considérons une tâche de navigation corresondant à une succession de tâches de ositionnement. Une séquence d images désirées

7 t t y t z r r y r z.1.5 t t y t z uθ uθ y uθ z (a) (b) (a) (b) (c) (d) (c) (d) (e) (f) (e) (f) FIG. 4 Eérience d asservissement visuel utilisant l information mutuelle. (a) erreur de translation en mètre, (b) erreur de rotation en ( ), (c) image initiale, (d) image désirée, (e) différence d image initiale entre l image courante et l image désirée et (f) différence d image finale. FIG. 6 Eérience d asservissement avec changement d illumination. (a) erreur de translation en mètre, (b) erreur de rotation en ( ), (c) image initiale, (d) image désirée, (e) différence d image initiale entre l image courante et l image désirée et (f) différence d image finale FIG. 5 Trajectoire trois dimension de la caméra. Les aes sont en mètres. La osition désirée de la caméra est rerésentée en rouge. T(t) est acquise sur une scène où se trouve une carte IGN. L image aérienne corresondante à la carte IGN est ositionnée sur la scène du robot de façon à ce que la osition initiale du robot soit roche de la osition corresondante à T(t ). Alors la tâche de navigation est lancée en utilisant our image désirée T(t ). Lorsque le robot eut être considéré comme arrivé à convergence, c est à dire lorsque le gradient de l information mutuelle devient tro faible, alors l image désirée suivante est rise en comte. Pour évaluer le résultat obtenu nous avons reresenté la trajectoire de référence et la trajectoire obtenue sur la figure 7. Certaines images désirées et courantes sont également rerésentées dans cette figure avec leur suerosition qui ermet d en faire la comaraison. Comme on eut le voir dans ces deu figures, l asservissement visuel reosant sur l information mutuelle ermet de faire naviguer (en utilisant les 6 ddl) le robot sur une trajectoire 3D de manière récise, ce qui montre sa robustesse face au images mul- timodales. 5 Conclusion Nous avons résenté dans cet article une utilisation de l information mutuelle our l asservissement visuel et our le suivi. L information mutuelle qui est une fonction reconnue our sa robustesse au changements d illumination et à la multimodalité est utilisée ici dans un cadre unifié ermettant de rooser une solution au deu roblèmes. L intérêt de ces travau our le suivi et our la tâche de ositionnement d un robot est démontré et validé ar des eériences qui confirment la robustesse de l information mutuelle au variations d illumination et au différentes modalités considérées. Recaler une image infrarouge avec une image aérienne ainsi que ositionner une robot sur une image satellite ar raort à une carte est alors ossible et cela avec récision. Remerciements Amaury Dame est financé ar la DGA dans le câdre d une bourse de thèse DGA-CNRS. Les images infrarouge de la figure 3 nous ont été fournies ar Thalès-Otronique. Références [1] S. Benhimane and E. Malis. Homograhy-based d visual tracking and servoing. Int. Journal of Comuter Vision, 6(7) : , July 7. [] F. Chaumette and S. Hutchinson. Visual servoing and visual tracking. In B. Siciliano and O. Khatib, editors,

8 FIG. 7 Navigation ar asservissement visuel multimodal. Première ligne : images désirées ; deuième ligne : images courantes ; troisième ligne : images désirées suerosées au l images courantes (images satellite et carte du geoortail de l IGN). Handbook of Robotics, chater 4, ages Sringer, 8. [3] C. Collewet, E. Marchand, and F. Chaumette. Visual servoing set free from image rocessing. In IEEE Int. Conf. on Robotics and Automation, ICRA 8, Pasadena, CA, May 8. [4] N. Dowson and R. Bowden. Mutual information for lucas-kanade tracking (milk) : An inverse comositional formulation. IEEE Trans. on PAMI, 3(1) :18 185, January 8. [5] N.D.H. Dowson and R. Bowden. A unifying framework for mutual information methods for use in nonlinear otimisation. In ECCV 6, volume 1, ages , June 6. [6] G. Hager and P. Belhumeur. Efficient region tracking with arametric models of geometry and illumination. IEEE PAMI, (1) :15 139, October [7] K.S. Kim, J.H. Lee, and J.B. Ra. Robust multisensor image registration by enhancing statistical correlation. In Int. Conf. on Information Fusion, FU- SION 5, ages , July 5. [8] J.T. Laresté and Y. Mezouar. A hessian aroach to visual servoing. In IEEE/RSJ Int. Conf. on Intelligent Robots and Systems, IROS 4, ages , Sendai, Jaan, Setember 4. [9] B.D. Lucas and T. Kanade. An iterative image registration technique with an alication to stereo vision. In Int. Joint Conf. on Artificial Intelligence, IJCAI 81, ages , [1] E. Marchand and F. Chaumette. Virtual visual servoing : a framework for real-time augmented reality. In G. Drettakis and H.-P. Seidel, editors, EUROGRA- PHICS Conf. Proceeding, ages 89 98, Saarebrücken, Germany, Setember. [11] E. Marchand and F. Chaumette. Feature tracking for visual servoing uroses. Robotics and Autonomous Systems, 5(1) :53 7, June 5. [1] J.-M. Odobez and P. Bouthemy. Robust multiresolution estimation of arametric motion models. Journal of Visual Communication and Image Reresentation, 6(4) : , December [13] G. Panin and A. Knoll. Mutual information-based 3d object tracking. Int. Journal of Comuter Vision, 78(1) :17 118, 8. [14] J.P.W. Pluim, J.B.A. Maintz, and M.A. Viergever. Mutual-information-based registration of medical images : a survey. IEEE Trans. on Medical Imaging, (8) :986 14, August 3. [15] CE. Shannon. A mathematical theory of communication. Bell system technical journal, 7, [16] G. Silveira and E. Malis. Real-time visual tracking under arbitrary illumination changes. In IEEE Comuter Vision and Pattern Recognition, CVPR 7, Minneaolis, USA, June 7. [17] G. Silveira and E. Malis. Real-time visual tracking under arbitrary illumination changes. In IEEE Int. Conf. on Comuter Vision and Pattern Recognition, CVPR 7, Minneaolis, USA, June 7. [18] P. Thévenaz and M. Unser. Otimization of Mutual Information for Multiresolution Image Registration. IEEE trans. on Image Processing, 9(1) :83 99,. [19] P. Viola and W. Wells. Alignment by maimization of mutual information. International Journal of Comuter Vision, 4() : , 1997.