Environnement évolutif

Projet METRO : Modélisation des Environnements pour la TéléRObotique 1. Objectifs scientifiques L autonomie des machines physiques passe par l intégration des fonctions de perception - décision - action. La prise de décision pour l action s appuie sur la connaissance d un modèle a priori de l environnement construit et mis à jour à partir d informations sensorielles délivrés par un réseau de capteurs distribués. Les objectifs scientifiques du projet proposé sont d apporter de nouvelles solutions aux problématiques inhérentes à la modélisation des environnements en Robotique. La démarche adoptée est schématisée par la figure ci-dessous. Elle consiste, à partir d'une connaissance a priori de l'environnement (par exemple, modélisation du site par CAO), à enrichir et à mettre à jour les modèles afin de faciliter la prise de décision pour l'action. Ce processus se traduit par une interaction forte au sein de la boucle perception-modélisation-action. Perception Modélisation Environnement évolutif Action 1.1 Problématiques scientifiques Trois problématiques scientifiques constituent le cœur du projet : - Prise en compte d'un environnement évolutif. Plusieurs causes sont à l origine de l évolution de l environnement : le déplacement naturel de certains objets de la scène, la modification de la forme de certains objets (objets flexibles) ou de la structure de l environnement, qui résultent des actions de la tâche. La prise en compte de l évolution de l environnement implique l étude de techniques pour l identification du mouvement relatif capteur/scène (recalage 2D/3D ou 3D/3D) et pour la mise à jour automatique du modèle de l environnement (reconstruction 3D, gestion des incertitudes). - Multireprésentation. Le processus de modélisation passe par l acquisition et le traitement de données multimodales : gestion de systèmes multi-capteur, fusion de données bas niveau, segmentation 2D/3D. La modélisation cohérente de l environnement implique alors la construction et la manipulation de représentations hétérogènes : définition de représentations multiples (géométriques, photométriques, 1

fonctionnelles, multirésolution), intégration de représentations hétérogènes dans un modèle unique, maintien de la cohérence. - Décision pour l'action. La prise de décision pour l action s appuie sur une interprétation du modèle de l environnement qui est obtenue par la fusion haut niveau (fusion symbolique), l identification, mais aussi l extraction d informations utiles à la définition de l action (caractéristiques fonctionnelles, points de vue métier). Dans ce domaine, le développement de nouvelles techniques pour l aide à la décision facilitant la valorisation de l information et pour la planification de la tâche est indispensable. 1.2 Contexte de validation Dans le cadre de la phase exploratoire que constitue ce pré-projet, nous proposons une étude sur la "modélisation d'environnements pour une mission robotisée en milieu hostile ou difficilement accessible par l'homme " (par exemple en milieu nucléaire ou sous-marin). On s'intéressera plus particulièrement à des procédés qui mettent en évidence des tâches impliquant de fortes interactions entre l'environnement et le robot, ou entre l'environnement et l'opérateur. Dans ce cadre, on peut identifier un certain nombre de tâches type: - opérations de maintenance, - tâches de saisie et de dépose, - assemblage de pièces, - découpe, - démantèlement de structures, - réalisation de procédés spécifiques (dépôt de revêtements de surface, soudure, projection plasma, ponçage, usinage, ), inspection à l'aide de capteurs embarqués (contrôle de l'état de soudures, de déformation de structures, ) Plusieurs modes d'exécution sont envisageables pour ces tâches (automatique, semiautomatique, manuel), selon les contraintes imposées par l'environnement ou par le procédé. Ces différentes tâches peuvent induire: - des modifications structurelles de l'environnement (ajout ou suppression d'éléments dans la structure initiale), - des modifications de l'état de surface (couleur, texture, etc.), - des modifications de la forme des éléments qui peuvent être plus ou moins importantes selon la flexibilité des matériaux utilisés. Les modifications importantes de l'environnement sont dues généralement à l'action robot. Dans certains cas, elles peuvent être provoquées par l'évolution naturelle de la scène (phénomènes de corrosion ou de dépôt de sédiments en milieu sous-marin, déformations de pièces dues à des phénomènes de surchauffe, ). Les travaux réalisés dans le cadre du projet porteront sur l'étude d'algorithmes et de méthodes permettant de résoudre les problèmes de perception et de modélisation de ces environnements évolutifs. Pour créer une synergie autour du projet qui sera spécifié pendant cette phase exploratoire, il est envisagé de définir une application, dans un domaine donné, qui permettra la validation des techniques et des outils. Aujourd hui, le consortium ne fait pas apparaître de partenaire utilisateur (industriel ou institut de R&D). Cependant, il est prévu d'en solliciter un afin d établir un cahier des charges et éventuellement d obtenir des données réelles (mesures, images) pour valider les concepts développés. 2

2. Approche envisagée En s appuyant sur l application choisie, les travaux développés dans le cadre de ce projet concerneront les aspects suivants : a) Perception et fusion de données La prise en compte simultanée de données géométriques (3D) et photométriques (couleur, niveau de gris, texture, ) doit permettre de créer des modèles complets et précis pouvant répondre au cahier des charges d'un grand nombre de tâches types énumérées dans le paragraphe 1. La complémentarité de plusieurs modalités (intensité et distance) peut être obtenue soit à partir d'une caméra vidéo et/ou d'un télémètre laser à balayage, soit à partir d'un système de vision 3D (banc stéréoscopique ou caméra en mouvement). La combinaison des segmentations de profondeur et de luminance conduit à une description volumique (3D) et photométrique des objets observés. Cette description permet un recalage avec le modèle CAO de la scène. Le choix et la mise en œuvre d'un système multicapteurs soulève un certain nombre de problèmes qui seront analysés dans le cadre de cette étude: - coopération des différents types de capteurs qui est indispensable lorsqu'un mode de perception s'avère insuffisant dans le contexte de l'application; - choix de points de vue permettant une perception efficace de la scène. Par exemple, il est envisageable de gérer le déplacement de la caméra pour améliorer la reconstruction 3D à partir d'images vidéo (perception des faces cachées, amélioration de la géométrie épipolaire, etc.), - mise en correspondance d'images 2D/2D ou 2D/3D :développement de méthodes robustes vis à vis du bruit (reflets, saturation, zones d'ombre, ) ou des phénomènes d'occlusion dus aux conditions d'observation, - segmentation et fusion des données pour l'extraction des caractéristiques fonctionnelles dont la connaissance est nécessaire à la réalisation de la tâche. b) Modélisation géométrique La modélisation d'environnements évolutifs nécessite l'étude de formalismes spécifiques plus particulièrement, pour ce qui concerne les aspects géométriques. A coté des outils de création et de manipulation des modèles, travaillant dans un monde purement virtuel, on étudiera des méthodes et des outils permettant l'intégration d'objets réels dans le système de modélisation. La reconstruction s appuiera sur des techniques basées sur des formalismes tels que modèles paramétriques, surfaces implicites, systèmes de particules et fractals. Les outils développés permettront en particulier de répondre aux problèmes de modélisation de certains phénomènes de déformation qui apparaissent dans des environnements évolutifs. Pour des environnements de grande dimension, la quantité d'informations à manipuler est très importante et elle est souvent incompatible avec les contraintes temps réel imposées par la tâche. Des techniques de structuration et de simplification de la représentation géométrique de l environnement pourront être mises en œuvre. Elles porteront sur la décimation géométrique et l'analyse multirésolution. L'exploitation des résultats pourra être réalisée dans un contexte soit de réalité virtuelle, soit de réalité augmentée. c) Réalité augmentée pour l action L apport des techniques de la réalité augmentée constitue un atout important dans l amélioration de la prise de décision pour l action. Elles permettent en particulier : - de représenter l environnement de travail uniquement par un aspect fonctionnel. Le but recherché est alors une transformation du site de travail en un environnement virtuel où les tâches à effectuer sont simples à réaliser pour un opérateur non-spécialiste de la téléopération, 3

- de préparer et de planifier des missions de télétravail hors ligne afin (i) d acquérir une expertise (entraînement) (ii) de parer à d éventuels accidents (prédiction), - de concevoir des interfaces de commande ergonomiques permettant une interaction multimodale avec l environnement virtuel, - d'assister l'opérateur pour augmenter ses performances lors d'un télétravail par l'utilisation de guides virtuels passifs ou actifs, - d'assister plusieurs opérateurs afin de leur permettre de collaborer pour une même tâche de télé travail. Les techniques développées permettront en particulier d aborder les points suivants : - superposition des mondes réels et virtuels avec prise en compte d un environnement évolutif (traitement du recalage 2D/3D, 3D/3D). Cette fonctionnalité utilise les informations de l'environnement et les paramètres des points de vue mis au point dans les parties a) et b) ci-dessus, - étude et mise en œuvre d aides graphiques à la décision. En effet, des guides virtuels passifs ou actifs destinés à l'opérateur ou au robot sont applicables dans un contexte de télétravail, - prise en compte des contraintes de communication (retards, temps réel) et de coopération entre plusieurs opérateurs dans la réalisation à distance d'une tâche commune. 3. Partenaires du projet Le consortium du projet est constitué de 5 laboratoires de recherche ayant des approches scientifiques complémentaires (robotique et informatique). Partenaire 1 : LIRMM - (Responsable du projet) (Responsable du projet: M.J. Aldon) Nom: LIRMM (Laboratoire d Informatique, de Robotique et de Microélectronique de Montpellier), Département de Robotique. Personnes impliquées: M. J. Aldon (CR), A. Crosnier (MC) Affiliation: Université Montpellier II / UMR C55060 Domaines d'activité du partenaire: Les activités du département de Robotique sont centrées autour de trois thèmes : Gestion de systèmes complexes Conception, modélisation et commande de systèmes complexes Navigation, perception et pilotage de véhicules autonomes. La mise en synergie de ces thèmes se fait autour d'applications concernant la productique, la robotique sous-marine, la robotique d'intervention, la robotique médicale et la télérobotique. Les activités en perception et en modélisation géométrique conduisent à l'étude de techniques et d'outils pour la modélisation des environnements en télérobotique. Implications dans des projets (nationaux, européens, internationaux): Actions financées par l état : projets SCALPP et ENDOXYROB (RNTS) de robotique médicale, 2 jeunes équipes (vision intégrée, téléopération via réseau UMTS), Actions financées par des organismes publics : CEA, IFREMER, Actions financées par des industriels : Dassault Systèmes, Renault Automation, APART, Projets européens : BRITE EURAM MACH21 et EURON, Joint Research Project GOATS 2000. 4

Partenaire 2 : CEMIF Nom: CEMIF-LSC (Laboratoire Systèmes Complexes) Affiliation: EA 3330 Personnes impliquées: M. Mallem (PR), S. Otmane (MC), D. Roussel, A. Kheddar(MC), F. Chavand (PR) Activités du groupe: Les activités du Laboratoire Systèmes Complexes sont centrées autour de trois thèmes : Traitement des données et modélisation par apprentissage, Réalité virtuelle et Vision artificielle, Modélisation et Contrôle des machines complexes. Les activités en Réalité Virtuelle et Réalité Augmentée conduisent à l étude et au développement d Interfaces avancées dans des systèmes - système au sens de machine ou environnement réel ou virtuel, base de données- mettant en jeu une coopération avec un opérateur humain. Implications dans des projets (nationaux, européens, internationaux): Projet ARITI (Augmented Reality Interface for Teleoperation applications via Internet) : Télétravail via l Internet Projet MATEO (en collaboration avec l hôpital Tenon) : Assistance au geste chirurgical, ACI, MENRT Projet ARPH (en collaboration avec l' Association Française contre la Myopathie) : Assistance aux personnes handicapées physiques développement d une IHM pour le télécontrôle d un robot mobile muni d un bras manipulateur. Partenaire 3 : LASMEA Nom : LASMEA - (Laboratoire des Sciences et Matériaux pour l'electronique et d'automatique) Affiliation : Université Blaise Pascal / UMR 6602 Personnes impliquées: J. Alizon (CR), J. Gallice (PR), L. Trassoudaine (PR) Activités du groupe: Les recherches menées au LASMEA relèvent des Sciences et Technologies de l'information et de la Communication et portent sur les Matériaux pour l'electronique ou l'optoélectronique, l'electromagnétisme, la Vision Artificielle et la Robotique. Dans le GRoupe Automatique et VIsion pour la Robotique (GRAVIR), l'objectif est "de développer des concepts théoriques et méthodologiques pour la perception de l'environnement de machines, et de valider ceux-ci expérimentalement sur des démonstrateurs par des systèmes dédiés". Ces travaux sont appliqués en particulier au domaine des véhicules routiers intelligents (recherches sur les capteurs, la reconnaissance des formes et la fusion de données). Implications dans des projets (nationaux, européens, internationaux): Actions financées par l état : ARCOS (Predit), PAROTO (Predit), Actions financées par des industriels : PSA, Projets européens : ROADSENSE (5 PCRDT) 5

Nom: CLGI2P (Groupe de Recherche Heuristiques) Partenaire 4 : LGI2P Affiliation : Ecole des Mines d'alès Personnes impliquées dans le projet: P. Montesinos (MC), P. Couturier (MC), S. Janaqi (MC). Activités du groupe: Les axes de recherche du groupe Heuristiques du CLgi2P sont : - le traitement d'images et la vision par ordinateur. Les thèmes abordés sont : la segmentation d'images, la structuration d'informations visuelles, la mise en correspondance, la reconstruction 3D, la reconstruction projective, et l'autocalibration des systèmes de vision. Un accent particulier a été mis sur le traitement de l'image couleur basé sur la géométrie différentielle des surfaces, pour la segmentation et la mise en correspondance. - l'optimisation combinatoire sous contraintes selon des méthodes exactes ou selon des méthodes approchées (méta-heuristique tabou, algorithmes évolutifs ). - le connexionisme et l'auto-organisation. Nous étudions et développons des techniques d'apprentissage pour la classification, la configuration et la commande de processus. Implication dans les projets nationaux et européens Projets européens (ESPRIT) : - GNOSIS VF [Esprit, 1998-2001] - Usine virtuelle : Etude et développement d outils de configuration, de planification et de contrôle, - PABADIS [IMS, 2000-2002] :Plant Automation Based on DIstributed Systems - Configuration d'un atelier de production par approche multi-agents. Projets nationaux - CNET [96-00] : Visite virtuelle, - INNOGARD [99-00] : Bibliothèque de traitement d image, - TTI [00-01] : Restauration d images laser. Partenaire 5 : LIGIM Nom: Laboratoire d Informatique Graphique Image et Modélisation (LIGIM) Affiliation: Université Claude Bernard Lyon1 / EA 1899 Personnes impliquées: M. Melkemi (MC), E. Perna (MC), B. Shariat (PR) Activités du groupe: Les domaines de compétence du LIGIM concernent l'analyse d'images et la modélisation (analyse, synthèse, transmission, stockage, reconstruction, visualisation,...), dans les domaines d'applications tels que la C.F.A.O., l'imagerie médicale et le multimédia. Implications dans des projets (nationaux, européens, internationaux): Projet ESPRIT-3DSCAN : reconstruction des formes manufacturées Projets BIOMED2-INFOCUS et BIOMED2-ARROW : reconstruction et animation physique d organes déformables Projet Régional ADEMO : reconstruction des formes anatomique pour la radiothérapie conformationnelle 6

Projet Régional DEREVE : modélisation géométrique et visualisation rapide pour la réalité virtuelle. Activités du projet 4.1 Plan de travail Tâches Description Objectif Perception et fusion de données Acquisition, traitement et fusion des données capteur. Modélisation géométrique Construction et mise à jour des modèles de l'environnement. Pré-requis Modèle des capteurs. - Connaissance a priori (modèle CAO), - Caractéristiques géométriques et photométriques des objets, Réalité augmentée pour l'action Assistances du robot et de l'opérateur dans la réalisation de tâches à distance. Modélisation de l'environnement et des capteurs Actions Partenaires concernés - Gestion des capteurs - Recalage des données - Mise en correspondance d'images - Segmentation 2D/3D - Fusion de données. LGI2P LASMEA LIRMM - Reconstruction ou "remodélisation" totale ou partielle de l'environnement - Construction de modèles multirésolution LIGIM LIRMM - Programmation des tâches (génération de trajectoires, de guides virtuels, ) - Synthèse de retours haptique et visuel. CEMIF-LSC LIGIM LIRMM 4.2 Echéancier et fournitures T0+12mois Validation, en simulation, d'algorithmes et de méthodes. Echéances Travail Concrétisation du travail T0+1mois Lancement du pré-projet et définition d'un protocole de collaboration. - Compte rendu de réunion T0+6mois - Etat de l'art du domaine. - Prise de contact avec un utilisateur - Publications de synthèse - Cahier des charges du préprojet - Rapport final: publications, résultats de simulations. - Proposition de projet 7

5. Financement Partenaire Fonctionnement Equipement LIRMM 15 KF 10 KF CEMIF 25 KF LASMEA 25 KF LGI2P 25 KF LIGIM 15 KF 10 KF Budget total demandé: 125 KF hors taxes. 6. Bibliographie Aldon M.-J. «Coopération d'images de profondeur et d'images vidéo pour l'analyse de scènes», Traité "Information, Commande, Communication", Volume "Images de Profondeur", Editions Hermès, 2001. Amrani M., Jaillet F., Shariat B., «Deformable Objects Modeling and Animation : Application to Organs Interactions Simulation», Journal for Geometry and Graphics, vol. 4(2000), No. 2, pp. 181-188. Armande N., Montesinos P., Monga O., «Thin Nets Extraction Using a Multi-Scale Approach», Computer Vision and Image Understanding (CVIU journal), Vol. 72, No. 1, October 1998. Bouras A., Shariat B., Perna E., Foufou S., «Surface Reconstruction Based on a Descriptive Approach», CAD Tools and Algorithms for Product Design, Editors: Brunet, P., Hoffmann, C.M., Roller, D., Springer Science Publisher, 2000. Crosnier A., Rossignac J.R. «Modèles CAO multirésolution», Edition Hermès, Collection I2C, à paraître. Crosnier A. «Modélisation géométrique des environnements en Robotique», Journées Nationales de la Recherche en Robotique, Montpellier, 1999, p. 83-92. Mathevet S., Trassoudaine L., Checchin P., Alizon J. : "Combinaison de segmentations en régions", Traitement du signal, v. 16, n. 2, pp. 93-104,1999. Mathevet S., Trassoudaine L., Checchin P., Alizon J.: "Combination of image segmentation into regions", Proc. of 11th Scandinavian Conference on Image Analysis, June 7-11, Kangerlussuaq, Greenland, pp. 221-228, 1999. Melkemi M. and Djebali M., «Computing the Shape of a Planar Points Set», Pattern Recognition 33(2000), pp. 1423-1436. Montesinos P., Gouet V., Deriche R., Pelé. D., «Matching Color Uncalibrated Images Using Differential Invariants», Image and Vision Computing, Special Issue BMVC'2000, Elsevier Science, Vol. 18, No. 9, pp. 659-671, June 2000. Otmane S., Mallem M., " Cooperative Remote Control Using Augmented Reality System based on the World Wide Web", in 1 st IFAC Conference on Telematics Applications in Automation and Robotics, July 24-26, 2001, Weingarten, Germany Otmane S., Mallem M., Kheddar A., Chavand F., " Active virtual guide as an apparatus for augmented reality based telemanipulation system on the Internet", in IEEE Computer Society "33rd Annual Simulation Symposium ANSS 2000", pp. 185-191, April 16-20, 2000, Wyndham City Center Hotel, Washington, D.C., USA Pujas P., Aldon M. J. «Scene analysis using fusion of range and color data», IX European Signal Processing Conference, EUSIPCO'98, 8-11 September 1998, Rhodes, Grece, PP. 1077-1080. 8

M. Shaheen M., Mallem M., Chavand F. «Visual command of a robot using 3D scene reconstruction in an augmented reality system» Control Engineering Practice Elsevier Sciences Ltd, Vol 9/4, pp 375-385, April 2001. Château T., Trassoudaine L., Collange F., Debain C., Bonton P. : "Fusion d'informations incertaines : application à l'aide au guidage d'engins agricoles", Traitement du signal, Vol. 17, n. 3, pp. 249-262, 2000. 9