- fusion de données - Fabrice Janez O.N.E.R.A UR «Image, Observation, Renseignement»
Meilleure observabilité Introduction Intérêt de la fusion Accès à une information globale plus fiable et plus complète grâce à la complémentarité et la redondance des informations délivrées par les sources Vision tout temps, de jour comme de nuit Plus grande capacité d analyse de situations complexes => Ex (DRI): Robustesse face au camouflage des cibles Complémentarité des prises de vue => Ex (DRI) : information plus complète sur une cible Estimation d une grandeur => Ex (DRI) : estimation de la longueur et de l orientation d une cible Meilleure capacité discriminante Plus grand nombre d attributs Apprentissage Robustesse en cas de non-représentativité ou d incomplétude de la base d apprentissage Richesse d interprétation Ex : infrarouge => détection d activité SAR => détection de zones industrielles
- Etat de l art en fusion de données - [Bloch2003] Isabelle BLOCH, Fusion d informations en traitement du signal et des images, Edition Lavoisier, 2003
Etat de l art - Architectures de fusion (système) - - Centralisé - - Décentralisé - Source 1 Source N Fusion et décision Source 1 Source N Décision locale Décision locale Décision globale + Solution optimale au sens de l information disponible + Possibilité de fusion à différents niveaux d information - flux important de données à traiter selon le niveau d information considéré Rq : architecture hybride - Solution sous-optimale + Distribution de la charge de traitement + Robuste face à défaillance d une source
Etat de l art - Architectures de fusion (niveaux d information) - Fusion «bas niveaux» (pixel) Fusion primitives Fusion «haut niveaux» (décisions) + Solution optimale - Flux important de données à traiter - Nécessite un recalage précis - Solution sous-optimale + Distribution de la charge de traitement + Robuste face à défaillance d une source décentralisé centralisé
Etat de l art - Architectures de fusion (suite) - Choix de l architecture de fusion Considérations d ordre «fonctionnel» dépend de l application traitée Exemple : En DRI extraction d objets complexes (aéroports) => approche hiérarchique de fusion [Michel & al 1995] En fonction des contraintes systèmes Exemples : temps réel, asynchronisme, imprécision de recalage, etc. Décentralisé : adapté en cas de sources nombreuses et délocalisées Centralisé : nécessité d une stratégie d allocation de ressources en cas de sources nombreuses=> requêtes [Contat2002]
Etat de l art - Calibration géométrique - Alignement spatio-temporelle des données Données = images (+données auxiliaires), carte, MNT, etc. En fusion, le besoin est essentiellement au niveau de la calibration géométrique, surtout au niveau recalage => Repère géographique Bon géoréférencement d une image SAR si l on connaît le MNT - Dépend de la précision du maillage du MNT - Biais sur les objets du sursol => corrigé si connaissance du MNE Biais en translation en optique => nécessité de recaler à partir de points d appuis - Imprécision plus grande si correction automatique Imprécision de recalage entre SAR et optique => à considérer dans les traitements Rq : Autre possibilité par recalage inter-images (pas de géoréférencement) => difficile dans le cas du recalage SAR/optique
Etat de l art - Modélisation de la connaissance - Les données les images => primitives extraites données contextuelles => météo, contexte géopolitique, etc. connaissance a priori => apprentissage, connaissance experte, carte, MNT, etc. Etc. Caractéristiques hétérogènes, incertaines, imprécises, incomplètes, contradictoires, ambiguës, mal recalées Cadre formel mathématique de modélisation et de traitement de la connaissance Théorie de Dempster-Shafer [Appriou2002] Théorie des possibilités [Bloch2003] Théorie des probabilités [Bloch2003]
Etat de l art - Décision - Prendre une décision fiable Extension à plus d une hypothèse si nécessaire (ambiguïté) Prise en compte d une décision : «ne peut pas décider» et «rejet» Qualifier une décision Rebouclage sur les traitements en fonction des résultats
- Besoins et perspectives-
Besoins et perspectives - Phénoménologie - Compréhension fine de l information délivrée par une source Pertinence de l information délivrée par une source Complémentarité d une source par rapport à une autre Rq : dépend de la fonctionnalité envisagée Exemple : détection ou reconnaissance En SAR Forte complexité [CCT] => trajets multiples, repliement, etc Exemple : 3D haute résolution pour site urbain [Simonetto2002] Beaucoup de paramètres dimensionnants [CCT] Exemples : incidence, polarimétrie, bande, résolution, etc. [CCT] En visible Influence de la position du soleil Sensibilité aux conditions atmosphériques Propriétés géométriques et physiques de la surface des objets
Besoins et perspectives - Qualification de l information - Proposition de mesures de qualité associés à une décision Décision = résultat d extraction d une primitive résultat de détection ou reconnaissance ou identification résultat d extraction d un bâtiment etc. Permet de calibrer le processus de fusion Exemple : estimation d une grandeur Proposer une carte qualité Besoin surtout en mode automatique Référence : en 3D [De JOINVILLE 2001 ]
Besoins et perspectives - Qualification de l information (illustration) - Extraction n 1 : monoscopie extraction isolé d un bâtiment à toit rectangulaire extraction fractionnée d un bâtiment complexe + coefficients de qualité Extraction n 2 : stéréoscopie extractions multipl d un bâtiment à to rectangulaire + coefficients de qualité fausses alarmes
Besoins et perspectives - Qualification de l information (illustration) - Extraction n 1 : monoscopie + coefficients de qualité Fusion Extraction n 2 : stéréoscopie + coefficients de qualité
Besoins et perspectives - Coopération SAR/optronique - Prise en compte du SAR pour l exploitation de l information visible ou vice versa Extraction de primitives Exemple : segmentation cible/fond en visible contrainte par la connaissance des points brillants en SAR et extraction des points brillants contrainte par la segmentation obtenue en visible=> stratégie Aller et Retour Allocation d une ressource en fonction de sa pertinence à traiter un problème En 3D => détection : SAR, planimétrie : visible [Tupin & Roux 2003] En DRI, extraction d objets complexes (aéroports) => approche hiérarchique de fusion [Michel & al 1995]
Besoins et perspectives - Coopération SAR/optronique (illustration) - Etape 1 : Détection de pistes mono-mode Détections SPOT Pa (morphologie mathématique) Détections SPOT Pa (détecteur de contour) Détections ERS (filtre flou)
Besoins et perspectives - Coopération SAR/optronique (illustration) - Etape 2 : Fusion des détections
Besoins et perspectives - Coopération SAR/optronique (illustration) - Etape 3 : Confirmation d une détection
Besoins et perspectives - Coopération SAR/optronique (illustration) - Résultat final
Besoins et perspectives - Dimensionnement - Configuration la plus pertinente dans un cadre de fusion avec d autres sources Degré d automaticité (impact de la fusion) Configuration adaptée au niveau capteur dans un cadre de fusion avec d autres sources (choix de la bande, de la résolution, de l incidence, etc.) Architecture de fusion A relier à l analyse phénoménologique => paramètres dimensionnants A relier à l allocation de ressources => optimisation des ressources pour répondre au mieux à un besoin en fonction des contraintes systèmes et des paramètres dimensionnants
- Références bibliographiques -
Références bibliographiques [Appriou2002] [Bloch2003] [CCT] [Contat2002] [De Joinville2001] [Michel & al 1995] [Simonetto2002] [Tupin & Roux2003] A. APPRIOU, Discrimination multisignal par la théorie de l Evidence, tiré de l ouvrage «Reconnaisance des formes et décision en signal», Edition Hermès, 2002 I. BLOCH, Fusion d informations en traitement du signal et des images, Edition Lavoisier, 2003 Centre Canadien de Télédétection, Tutorial en télédétection radar, document téléchargeable sur www.ccrs.nrcan.gc.ca/ccrs/learn/tutorials/gsarcd M. CONTAT, Etude de stratégies d allocation de ressources et fusion de données multi-capteurs pour la classification, thèse de doctorat de l université d Orsay, 2002 O. DE JOINVILLE, Evaluation de la qualité d une cartographie urbaine 3D à l aide d images aériennes à haute résolution, thèse de doctorat, IGN, 2001. A. MICHEL, L. BENQUET et Ph. CORNIC, Détection d objets complexes par fusion d informations : application à la détection d aéoroports dans les images satellitales, GRETSI, Juan-Les-Pins, 1995. E. SIMONETTO, Extraction 3D de structures industrielles sur des images RAMSES haute résolution par radargrammétrie, thèse de doctorat ENSTb, 2002 F. TUPIN et M. ROUX, Detection of building outlines based on the fusion of SAR and optical features, à paraître dans ISPRS 2003