STEREOSCOPIE SATELLITALE

Transcription

1 MATHEMATIQUES ET STEREOSCOPIE SATELLITALE Gwendoline Blanchet (CNES), Jean-Michel Morel (CMLA), Bernard Rougé (CMLA) 7 Lancement Campus spatial 6-7 1

2 Plan I. Projet MISS II. Les points clef dans l optimisation d un satellite III. La stéréoscopie satellitale 7 Lancement Campus spatial 6-7 2

3 Convention MISS (1/2) Accord de coopération en Mathématiques de l Imagerie Stéréoscopique Spatiale (MISS) entre le CNES l ENS Cachan le CNRS Date de début: janvier 2008 Validité: 5 ans, au delà: Tacite reconduction tous les ans Résiliation annuelle possible à partir de juin Lancement Campus spatial 6-7 3

4 Convention MISS (2/2) Historique: L équipe du CMLA collabore avec le CNES depuis 10 ans pour la conception cept o des satellites tes d observation o de la Terre e (filière SPOT5, Pléiades, Hélios). 7 Lancement Campus spatial 6-7 4

5 Objectifs de MISS Principaux thèmes: Restauration d images et de couples stéréoscopiques sous faibles coefficients angulaires, Traitement de l échantillonnage irrégulier Optimisation de la chaîne image restauration-décompression Extraction automatique de MNE, MNS à haute précision et avec contrôle des fausses alarmes Calibration à très haute résolution de caméras et création de vérités terrain (nouveau) 7 Lancement Campus spatial 6-7 5

6 Ressources humaines de MISS Les activités de recherche conjointe sont réalisées par: une équipe de R&D localisée au CMLA Professeurs (5) Maîtres de conférence (5) Chargés de recherche (6) Doctorants t (7) Stagiaires (3) une équipe de R&D localisée au CNES de Toulouse Un ingénieur CNES (50%) Collaboration régulière avec 5 laboratoires européens 7 Lancement Campus spatial 6-7 6

7 Echantillonnage classique en très haute résolution : barrette Vitesse du satellite barrette 7 Lancement Campus spatial 6-7 7

8 Points clefs des capteurs imageurs spatiaux haute résolution Triplet (espace, Fourier): (h, bruit, c), (FTM, bruit,r) FTM : taille du miroir + bougé (SCAO+ V) Bruit : taille du miroir + temps de pose R : Echantillonnage irrégulier NUMERIQUE : Condition de Shannon Sup FTM R 7 Lancement Campus spatial 6-7 8

9 Numérique : importance de l échantillonnage Shannon 7 Lancement Campus spatial 6-7 9

10 SPOT5 (SUPERMODE) 2002 premier stellite d observation à Shannon Traitement possible discret = continu Multiplier par 2 la résolution avec le même instrument 7 Lancement Campus spatial

11 Aliasing Shannon 7 Lancement Campus spatial

12 Elimination du bougé FTM de bougé inversible (flutter, shutter) 7 Lancement Campus spatial

13 Restauration en échantillonnage irrégulier Irrégulier : microvibrations ib (méthodes variationnelles) référence brute traitée 7 Lancement Campus spatial

14 Stéréoscopie Images (1m) B/H=0.1 S2 Base B S1 Hauteur H h ε Δ z = Δε B / H 7 Lancement Campus spatial

15 Qu est-ce que la corrélation images Image de référence (Shannon )? Image courante Points Fenêtres de Corrélation homologues Aire de Recherche Nappe de Corrélation adhérence 7 Lancement Campus spatial

16 Stéréoscopie en B/H faibles S2 Base B S1 Hauteur H m1 z ε M m2 Δ z = Δε B / H Corrélation à 5/100 de pixel fait appel aux mathématiques Il faut revoir toute la chaîne image 7 Lancement Campus spatial

17 Résultats par échelle d images à Shannon... Image recalée Image Image g gdede référence départ p 7 Lancement Campus spatial 6-7 Décalage (MNE) 17

18 Paire stéréo simulé à B/H = (0.30 m) 7 Lancement Campus spatial

19 Paire stéréo simulé à B/H = Lancement Campus spatial

20 MNE MNE Les phénomènes d adhérence dhé sont largement maîtrisés 7 Lancement Campus spatial

21 Objectif Automatiser la chaîne complètement de l acquisition du couple jusqu au MNE Diminuer les coûts Réaliser des capteurs images à Shannon et B/H faibles Maitriser la chaîne image(calibration MNE) Evaluer en définissant des références précises 7 Lancement Campus spatial

22 7 Lancement Campus spatial

23 7 Lancement Campus spatial

24 Calcul automatique du relief Images PELICAN (10 cm) En épipolaire b/h= 0.12 Octobre 2006 MARC: carte de disparité 7 Lancement Campus spatial

25 Calcul automatique du relief Images PELICAN (10 cm) En épipolaire b/h= 0.12 Octobre 2006 MARC: carte de disparité 7 Lancement Campus spatial

26 Contrats de R&T Budget par année en K : OT OT Contractualisation de MISS A noter une augmentation des actions réalisées parallèlement à l augmentation des ressources humaines (8 à 26) 7 Lancement Campus spatial

27 Plan I. Présentation du projet MISS II. Résultats obtenus en 2008 III. Axes envisagés pour Lancement Campus spatial

28 Résultats et Démos Présentation de 2 résultats: Echantillonnage irrégulier Détecteur de segments 7 Lancement Campus spatial

29 Avant - après Campus spatial1000x1000) 6-7 Traitement < Lancement 13s (image: 7 29

30 Segments détectés (en vert) Traitement Lancement < 0.7s Campus (image: spatial x567) 7 30

31 Démos Utilisé au CNES: Lsd: Line Segment Detector Echantillonnage irrégulier: réception du programme de restauration (interpolation optimisée) en novembre 2008 MARC: outil de base. Un nouvel algorithme a été livré (basé sur une approche probabiliste) permet l élimination des outliers de MARC. Objectif: avoir un MARC + sûr: pas encore intégré mais l algorithme a été livré. 7 Lancement Campus spatial

32 Plan I. Présentation du projet MISS II. Résultats obtenus en 2008 III. Axes envisagés pour Lancement Campus spatial

33 Bilan et perspectives Projets Sur la question des projets il y a PLEIADES, et surtout CSO: améliorer la restauration (décisif pour la TTHR). Ouverture vers la 3D de façon native Deux actions portent déjà sur la super-résolution par fusion et sur le calcul de disparité ité afin de mieux maîtriser le 3D 3D recherche On ne comprends pas tout ce qui se passe : instabilité des vérités terrain par changement de résolution. On a besoin d investiguer de manière plus systématique pour avancer dans la super-résolution par fusion des images du couple stéréoscopique. 7 Lancement Campus spatial

34 Projet MISS Jean-Michel Morel CMLA Réunion du comité de coordination 26 Janvier Lancement Campus spatial

35 Plan 1:3D 2 : Amélioration de la résolution 3 : Aliasing 4 : Moyens financier et humain 7 Lancement Campus spatial

36 1-1 Place de notre travail 3D Enjeux sur le 3D en général (vision universitaire) Calibration Vérités terrains Calcul des disparités 7 Lancement Campus spatial

37 1-2 Premiers résultats en calibration Négatif: Méthodes de Zhang, de Lavest (LASMEA), méthode de Caltech: plus de 10 pixels d écart à la distorsion!!!! Négatif: Objectif énoncé par Lavest, a priori réalisable: calibration au 2/100 pixels Conclusion (Monasse, Morel, Tang): la calibration paramétrique et physique de caméra est structurellement imprécise Positif: projet de caméra mathématique: Méthode nouvelle partant d un dun théorème géométrique 7 Lancement Campus spatial

38 1-3 Disparités : calcul des outliers Haut: données simulées, précision et pourcentage de bon matches Bas: «vérité éitéterrain» IEEE benchmark: elle est fausse! 7 Lancement Campus spatial

39 Matches significatifs: 15% des matches retenus dans l ombre ombre, tous corrects. 7 Lancement Campus spatial

40 1-4 Disparité : éliminer l adhérence UIB: Corrélation insensible à l adhérence, disparité déconvolable 7 Lancement Campus spatial

41 1-4 Disparité : éliminer l adhérence UIB: Corrélation insensible à l adhérence, disparité déconvolable 7 Lancement Campus spatial

42 2-1 Très Haute Résolution Enjeux fusion des images stéréoscopiques en b/h faibles : améliorer la résolution dans un rapport racine de 2 Points bloquants en passe d être réglés : déjà vu calcul fin des disparités maîtriser l impact de la compression par ondelettes sur la précision du calcul des disparités (corrélations) 7 Lancement Campus spatial

43 2-2 Impact de la compression par ondelettes sur le calcul de la corrélation Résultat R et T CNES (optimisation compression bord/sol en image et en stéréo à faible b/h (11/ /2008), , UIB [OT1]) Compression d une image du couple 30 cm : - JPEG 2000 (calcul des disparités par MARC bits/pixel, % points valides) Bruit\compression 2.5bits/pixel 1.5bit/pixel 1 bit/pixel 100 σ=0.17; 37 % σ=0.19; 33 % σ=0.24; 28 % 50 σ=0.21; 33 % σ=0.23; 31 % σ=0.28; 28 % - Sans pertes +décimation (calcul des disparités par MARC bits/pixel, % points valides) (bits/pixel, % points valides) Bruit \compression 1.5 bit/pixel 0.66 bit/pixel 0.37 bit/pixel 100 σ= 0.13; 36% σ= 0.17; 26% σ= 0.23; 20% 7 50 Lancement σ= 0.18; 34% Campus σ= 0.20; spatial 25% 6-7 σ= 0.25; 20% 43

44 3-1 Potentiel de NL-means à explorer: bruit et aliasing A SNR égal, le bruit reste blanc, préservation des textures. Expérience comparative de Gabriel Peyré (site web sur NL-means) 7 Lancement Campus spatial

45 3-2 Désaliasing NLmeans 7 Lancement Campus spatial

46 7 Lancement Campus spatial Démosaïcage: desaliasing 1 points juillet sur 2009 deux: logiciel commercial Nikon NX

47 7 Lancement Campus spatial Démosaïcage: desaliasing 1 points sur deux: DxO Pro (NL-means, CMLA-UIB)

48 Coarse to fine demosaicing Buades, Coll, Morel, à paraître IEEE IP 7 Lancement Campus spatial

49 4-1 Poursuivre Antialiasing + débruitage naturellement puis : 3D calibration matrice : Calibration des caméras: maîtriser toute la chaîne 3D avec NOS caméras barrettes : les méthodes de calibration des caméras peuvent être transposées aux barrettes ( calibration i sur les super-sites de PLEIADES), Chaîne 3D complètement automatique satellite stéréoscopique mathématique? Amélioration de la résolution par fusion des images du couple stéréoscopique en b/h faible avec prise en compte de la compression Notre expérience et la concentration ti de notre travail futur sur les 4 derniers points conduit à demander une plus grande synergie et coordination avec les responsables de la qualité de la chaîne image: 7 Lancement Campus spatial

50 4-2 Moyens financiers et humains non couverts actuellement 1 postdoc : Neus Sabater 1 Ingénieur software : coordination logicielle, intégration de la chaîne 3D complète, accélération, démos 1 thésard sur le traitement et fusion des nuages 3D R et T, deux points cruciaux pour maîtriser toute la chaîne: -Calibration de l optique au 1/20 de pixel («caméra mathématique») -Recalage et fusion des nuages de points provenant de plusieurs passages 7 Lancement Campus spatial

51 Besoin de MNT et MNE pour le prétraitement des données Venµs (G.Dedieu, O.Hagolle) Calcul des modèles de prise de vue et orthorectification Présence d'un B/H de à résolution 5m, qui permet de localiser les images par corrélation du MNT Venµs avec MNT de référence de détecter les nuages (200 m au dessus du MNT) Correction de l atmosphère (plus on est haut, moins il y a d'atmosphère) Correction des effets de pente et d exposition L'éclairement dépend de la pente et de son orientation face au relief On utilise SRTM à 90m pour des images à 10m de résolution L'imprécision du MNE se voit Bruit lié aux variations d'altitude des arbres

52 Sans correction des effets radiométriques du relief Avec correction des effets radiométriques du relief

53 Application thématiques des MNT et MNE Modélisation (MNT + occupation du sol) de l hydrologie, des bilans d énergie de surface, de l érosion lérosion, des transferts de polluants, Ecologie : répartition et évolution de la végétation en fonction de la topographie Suivi de l évolution de phénomènes modifiant le MNE : retrait de glaciers, coupes/croissance et perturbations des forêts, caractérisation du bâti, Risques : avalanches, glissements de terrain