Utilisation d informations visuelles dynamiques en asservissement visuel Armel Crétual IRISA, projet TEMIS puis VISTA

L asservissement visuel géométrique Principe : Réalisation d une tâche robotique par un contrôle dans l image [Chaumette 90, Hashimoto 93] Mouvement de caméra

Une limite pratique Extraction des informations en temps-réel Généralement, utilisation d objets «simples», binaires

Que faire avec une scène complexe? Extraction fiable et stable de points d intérêt délicate Extraction d informations de mouvement possible

Problématique Quelles sont les tâches robotiques réalisables à l aide d informations visuelles de mouvement? Comment réaliser ces tâches?

Plan de l exposé Caractérisation du mouvement et état de l art Asservissement géométrique à partir de mesures dynamiques Asservissement visuel «d 2D / d t» ou dynamique

Partie I : Caractérisation du mouvement et état de l art

Caractérisation du mouvement apparent Détection Segmentation Champ dense Modèle paramétrique de mouvement Estimation réalisée par l algorithme Robuste Multi-Résolution [Odobez 95]

Calcul du modèle de mouvement Relation de la cinématique Mouvement rigide de l objet : Projection perspective sur le plan image : Approximation planaire de la surface :

Expression du modèle Paramètres du modèle quadratique simplifié : [Subbarrao 90, Negahdaripour 92] avec :

Applications de l analyse du mouvement en robotique Poursuite d objets mobiles Navigation d un robot mobile Tâches de positionnement

Poursuite de cibles Application de type surveillance : Avec une caméra fixe «par morceaux» [Yamane 98] En utilisant le mouvement connu de la caméra [Murray 94, Arias98] En estimant le mouvement dominant [Nordlund 96]

Navigation de robots mobiles Contrôle du temps à collision [Cipolla 97] Détection d obstacles [Young 92, Giachetti 98] Navigation dans un couloir [Santos-Victor 96, Dev 97, Coombs 98] Contrôle du cap [Fermüller 98]

Tâches de positionnement Complément de l asservissement géométrique : Robustification par estimation de la position suivante [Bensalah 95, Gengenbach 96] Contraintes sur la trajectoire dans l image [Grosso 96, Martinet 96] Alignement de l axe optique avec la direction de translation [Sundareswaran 96]

Partie II : Asservissement visuel géométrique à partir de mesures dynamiques

Principe Projection d un point dans l image : Estimation de à partir de la mesure de sa vitesse : Schéma de commande :

Poursuite d un objet mobile en pan et tilt Objectif : Maintenir un objet mobile au centre de l image Contrôle des rotations panoramique (pan), inclinaison (tilt) Relation d interaction associée à : avec : Loi de commande :

Estimation du mouvement de l objet Compensation des erreurs de traînage [Chaumette 93]: Estimation de l influence du mouvement propre de l objet Filtrage par filtre de Kalman à modèle à accélération constante et bruit corrélé

Expérimentations Une image initiale Au départ, caméra immobile : Détection par différence d image Point d intérêt : centre du masque de détection Translation le long d un rail

Vidéo Résultats Erreur sur la position du point d intérêt Vitesse de translation de l objet (cm/s)

Poursuite d un piéton Tâche de poursuite testée sur un piéton Difficultés : Un piéton n est pas un objet plan Un piéton n est pas un objet rigide Son mouvement n est pas uniforme Vidéo

Application à la stabilisation d images sous-marines Technique appliquée dans le cadre d une convention avec IFREMER Objectif : Stabiliser l acquisition d images par une caméra embarquée dans un engin sous-marin.

Stabilisation d images sous-marines Mouvements contrôlés ou incontrôlés de l engin Déplacement dans l image

Mise en œuvre expérimentale Observation par une caméra pan-tilt d un écran sur lequel sont projetées des images sous-marines

Séquence «rocher» Séquence de référence

Séquence «rocher» Séquence résultat

Séquence «requin» Séquence de référence

Séquence «requin» Séquence résultat

Poursuite rigide d un objet mobile Estimation de la position d un point : Suivi en pan et tilt Estimation de la position de plusieurs points : Suivi rigide Calcul des points d intérêt :

Relation d interaction associée Vecteur des positions à réguler : Relation d interaction associée :

Résultats de simulation Estimation avec le modèle affine de mouvement (6 axes contrôlés, 6 paramètres extraits de l image) Mouvement complexe de l objet (translation + rotation) Résultat : Mouvement de l objet Coordonnées d un des points

Explication Espace d évolution de à l équilibre, de rang 4 : Mouvements comparés de l objet et de la caméra : Translations Rotations

Nécessité d utiliser le modèle quadratique Modèle quadratique : espace engendré de dimension 6 Mouvements comparés de l objet et de la caméra : Translations Rotations

Résultats Coordonnées d un des points de contrôle :

Partie III : Asservissement visuel d 2D / d t

Comparaison asservissements géométrique et dynamique Asservissement géométrique Asservissement dynamique

Comparaison : Schémas bloc Schéma bloc de l asservissement visuel géométrique Schéma bloc de l asservissement visuel dynamique

Relations d interaction associées aux paramètres du mouvement Information visuelle utilisée : Paramètres du modèle quadratique de mouvement Ces paramètres dépendent linéairement de la vitesse : Leurs dérivées dépendent linéairement de l accélération et quadratiquement de la vitesse :

Une équation intégro-différentielle Relation d interaction associée à un vecteur : Avec la fonction d erreur : Une décroissance exponentielle de conduit à résoudre :

Différents cas pour la linéarisation Cas où est de rang plein : Commande en accélération Cas où n est pas de rang plein : Commande en partie en accélération et en partie en vitesse Cas où est nulle : Commande en vitesse

Cas d une matrice de rang plein Commande en accélération : Comportement du système bouclé : avec :

Cas d une matrice de rang non-plein de rang, son noyau de dimension ( + =6) Discrétisation de termes d accélération : Vecteur de commande : Nouvelle relation d interaction : Loi de commande :

Cas où est nulle Pas nécessaire de discrétiser Commande en vitesse Problème lié à l écriture de la forme quadratique sous forme linéaire

Applications Cas où est de rang plein : Poursuite d un objet mobile Cas où est nulle : Positionnement de la caméra parallèle à un plan Cas où n est pas de rang plein : Suivi d une trajectoire d observation

Poursuite d objet mobile en pan et tilt Principe : Maintenir à zéro la vitesse apparente Relation d interaction associée : avec : Loi de commande :

Expérimentations Réalisée dans la même configuration que pour l approche où l on remonte à la position Impossible de ramener l objet au centre de l image

Résultats Paramètres constants du modèle de mouvement Mais, déplacement de la position estimée du centre de l objet

Positionnement parallèlement à un plan Objectif : Choix des paramètres de contrôle : Avec les termes affines Avec les termes quadratiques

Loi de commande Relation d interaction (avec constant) : avec : Loi de commande :

Ajout d une tâche de fixation Commande en boucle ouverte Commande en asservissement visuel dynamique Commande par estimation de la position du centre initial

Résultats Image initiale Image finale

Résultats (suite) Paramètres quadratiques Déplacement du centre initial

Vidéo Résultats (fin) Erreur angulaire

Application au positionnement par rapport à un jambon Démonstration en direct

Suivi de trajectoire d observation Deux objectifs : Rester parallèle à la surface observée Contraindre la vitesse de défilement dans l image

Réalisation du suivi de trajectoire Contrôle de l orientation : Utilisation des termes affines Contrôle du défilement dans l image : Utilisation des termes constants et du terme de rotation affine dans l image Vecteur de commande :

Résultats avec une surface plane Trajectoire souhaitée Position 3D du centre optique Projection sur le plan

Conclusion et Perspectives

Contributions Asservissement géométrique à partir de mesures dynamiques Problème de dérive de l estimation très limité Poursuite en pan et tilt applicable en temps-réel Nécessité d utiliser le modèle quadratique pour le suivi rigide

Contributions Asservissement dynamique Définition de nouvelles lois de commande Définition de tâches irréalisables par l asservissement géométrique Démonstration de l applicabilité de l approche

Perspectives Asservissement géométrique à partir de mesures dynamiques Utilisation de l approche pour du positionnement par rapport à une scène complexe Compléter la poursuite par des algorithmes plus haut niveau pour réactualiser la zone d estimation

Perspectives Asservissement dynamique Etude théorique de la stabilité Résolution en ligne de l équation différentielle Intégrer le suivi de trajectoire avec la stabilisation pour une application d observation sous-marine

Validation Validation : Comparaison des positions vraie et estimée Nécessité d utiliser un objet marqué Erreur < 0.5 pixel

Nouvelle relation avec l accélération : Nouvelle expression de la relation quadratique :