M2R IMA UE CONF Présentation L objectif de l UE «Conférences» est de : 1. Présenter des applications du traitement d images dans divers domaines industriels ou académiques. 2. Apporter des compléments de cours par rapports aux autres UE. 3. Fournir des contacts pour le stage de recherche de M2. M2R IMA UE CONF Présentation Date Intervenants Affiliation Application Compléments 20/11 Th. Bernard A. Manzanera ENSTA Rétine A 3 27/11 F. Tupin ENST Télédétection Signal / Radar 4/12 J. Delon ENST Méthodes a contrario 11/12 V. Bouatou Sagem Biométrie 18/12 B. Collin DGA Défense Evaluation 8/1 F. Schmitt ENST Art / Archéologie Imagerie 3d 15/1 Ph. Starck CEA Astrophysique Multi-échelles 1
Traitement d images sur Rétine Programmable Antoine Manzanera ENSTA / Lab. d électronique et d informatique Plan de la présentation Contexte et objectifs de la recherche Rétine : aspects combinatoires Liens avec la morphologie mathématique Recherches actuelles et perspectives 2
Objectif global de la recherche L objectif est la minimisation globale du coût computationnel des systèmes de vision. Ce coût se traduit en termes de : - Temps de calcul - Energie consommée - Encombrement matériel D autre part, il se répartit dans les différentes fonctions du système : - Calcul - Transfert de données - Contrôle Aujourd hui la principale source de coût computationnel pour les systèmes de vision réside dans l accès aux données. L objet principal des rétines programmables est de réduire au strict minimum le transfert de données. L enjeu réside donc dans le développement de systèmes de vision embarqués, donc temps-réel, de petite taille et à longue autonomie. Traitement Acquisition + Traitement d images bas et moyen dans niveautraitement le plan focal haut (x,y) niveau TRAITEMENT PLAN FOCAL CALCULATEUR EXTERNE Σ 3
Phototransduction Les rétines programmables Conversion Traitement analogique Traitement numérique A/N séquençage est Le ProgramMultiple modèle un modèle de fonctionnement de type SIMD(Single de la rétine Instruction numérique Multiple en tant Data)ou que machine SPMD(Single parallèle, La rétine Bus Data). programmable, machine parallèle d instruction synchro. pgm1 synchrone logique séquentielle synchro. p séquençage as de pgm2 asynchrone logique combinatoire 4
Pvlsar 2004 (Th. Bernard 2005) Rétine booléenne SIMD 200x200 AMS 0,35 µm Système de vision à base de + Architecture hétérogène. rétine hybride. synchrone asynchrone + Fusionacquisition/traitement. numérique analogique 5
Processeurs pixelliques booléens BU x 1 x 2 x 3 x 4 x 5 x 6 y 1 y 2 y 3 y 4 y 5 y 6 y 7 y 8 Mémoire : -Données (RAM) - Calcul (registres) Le processeur pixellique de Pvlsar 34 et son unité booléenne Le réseau de processeurs pixelliques et sa topologie 4-connexe Plan de la présentation Contexte et objectifs de la recherche Rétine : aspects combinatoires Liens avec la morphologie mathématique Recherches actuelles et perspectives 6
Aspects combinatoires y 1 y 2 y 3 y 4 y 5 y 6 y 7 y 8 BU x 1 x 2 x 3 x 4 x 5 x 6 Avec cette architecture, on peut représenter les données manipulées par la rétine comme un ensemble de n plans (images) binaires. Les instructions élémentaires sont alors : - Une opération booléenne binaire : p i = p j p k ; p i = p j p k ; / -Une translation élémentaire : p i = p j EST ; p i = p j NORD ; / Le problème algorithmique revient à : calculer une certaine fonction booléenne d un support (voisinage) donné, en effectuant le moins d opérations possible (temps), et en utilisant le moins de registres mémoire possible (espace). C est en grande partie un problème de minimisation booléenne, il est donc tentant de voir ce qu on peut obtenir avec les décompositions canoniques p 1 p 2 p x8x9 x4x5x6x7 3 p n-1 p n z x 1x2x3 f(,..., x1n x) z=. fx jkkjk Forme disjonctive α ( ) )=.... tn Au (n plus 2 On2) n.... xn x (1,... C=3 y~ jx =j jy ii z = x8x9 x4x5x6x7 zy x 1x2x3 monômes de n variables p 1 p 2 p 3 Cen= Nombre max d opérations (temps) Nombre max de registres mémoire (espace) 7
fx,... xn) x1f xn) x Expansion de Shannon C 13 = 2) f(0,,x n ) f(1,,x n ) = 21+ x 1 = 1+ f x) ( ) ( ) ( 1 (0,... 1(1,... n CenCen tnctn Cen=O(n tno(n C= ) récursion 2k Diagramme de décision binaire 22n k k n-k nombre de variables x 1.. Au niveau de récursion k, on calcule 2 k fonctions à (n-k) variables. CenO(n 22n/ )) tn= Le BDD provient de la compaction de l expression produite par l expansion de Shannon. C=. x 1 Or, il «n y a que» 2 2n-k fonctions à (n-k) variables. (On prend k = log(n-log n)) 8
Conclusion sur les formes canoniques Si l on considère les bornes sup de complexité fournies par les formes canoniques, ça ne se passe pas très bien, d autant qu un résultat dû à Shannon (1949) montre que la plupart des fonctions booléennes à n variables doivent avoir une complexité supérieure à 2 n /n : Ensemble des fonctions à n variables de complexité inférieure à 2 n /n Card(F(n, 2 n /n)) = o(card(b n )) Ensemble des fonctions à n variables. Oui, mais : (1) Les fonctions intéressantes sont peut-être dans F(n, 2 n /n). (2) La décomposition spatiale nous permet de réduire n. La décomposition spatiale Exemple : un unique opérateur associatif La décomposition spatiale exploite la géométrie du support de la fonction booléenne pour factoriser spatialement la fonction booléenne. On va illustrer ce principe dans 2 fonctions particulières : - Les fonctions seuil binaires. - Les squelettes par amincissement. 9
Tnk( x1,..., xn) 1ii nxk Les fonctions seuil binaires Les fonctions seuil binaires sont définies comme suit : Calculées sur un support carré, elles se décomposent T3 1( x1, xceop. 2, x3) =2 31 spatialement de façon très 2x1x2x3 T32( x1, x2, x3) ( xct 31Ceop. ( x 12) x( 2) x31( x 32) x( 3x) 2x3) 3 efficace : 4 T3 3( x1ct, xceop. 2, x3) 3x21x2x3 T T = = T3= T3= T3= T3= T3= T3= = =1 Ct(1) (1) (2) T3 (2) 2 (3) (3) =2 W.E 31 T32 N.S W.E T3 2 T31 T9 T 2 dilatation morphologique binaireérosion morphologique binaire Application aux images binaires ouverture Imorphologique binaire1fermeture () morphologique binaire9( ) 9 I Tδ = 9 I Tε = filtre majoritaire 95( I) Tµ = ( I) (( I)) γ =δ ε I ϕ =ε δ ()(( I)) contours binaires ()\(( I)) µ Iµ ε 10
loi Calcul des P-simplicité8-connexe FN squelettes + par amincissement Isotropie Algorithme MB1 d évolution loi P-simplicité8-connexe FN FN Isotropie + Algorithme MB2 \ d évolution \ NE. calcul intérieurs points des calcul de la NEWS.NEWS E4 calcul config. de NWSENESW la E4.NE calcul config. de la Calcul des squelettes par amincissement E4.WS.N β α1 \\\\ ENWN α α2.swne SW. avec Algorithmes parallèles α= α1, on α2, en obtient complètement on 8-connexité obtient MB1-8. MB2-8. : MB1-8 MB2-8 et \ \ β α β α1 config. α 1 \\\\ 2.NESWSE NB : grâce à la factorisation spatiale, la complexité de certaines fonctions peut être inférieure au cardinal de leur support. 11
Calcul des squelettes Implantation des algorithmes MB1-8 et MB2-8 sur le prototype PVLSAR 2.2 temps à 10 de MHz calcul MB1 : 0,4 msmb2 0,7 ms Plan de la présentation Contexte et objectifs de la recherche Rétine : aspects combinatoires Liens avec la morphologie mathématique Recherches actuelles et perspectives 12
VsV Fusion T1 acquisition-traitement T7 t Procédé d acquisition numérique par interrogation multiple du photocapteur au cours du temps Acquisition active : Adaptation à l éclairement Compression logarithmique Contrôle de gain et par composition/différence Calcul des filtres de rang dilatation morphologique δ(i) gradient morph. : Image bruitée I filtre médian µ(i) ouverture morph. δ(ε(i)) µ(ι) ε(µ(i)) érosion morphologique ε(i) fermeture morph. ε(δ(i)) laplacienmorph. ε(µ(i))+δ(µ(i))-2µ(i) Les filtres de rang en niveaux de gris se calculent aisément pendant l acquisition par application des fonctions seuil binaires sur les ensembles de niveaux. T91 T95 99 T 13
Calcul des points d intérêt morphologiques somme Pour chaque ensemble de niveau : endo-squelette 8-connexe (courbure positive) points extrêmes Fonction d intérêt : produit de la courbure par le module du gradient. Maxima locaux exo-squelette 4-connexe (courbure négative) (Thèse Julien Richefeu 2002) points d intérêt Opérateurs connexes et asynchronisme Le coût énergétique de certains opérateurs irréguliers, la reconstruction en particulier peut être très élevé sur la rétine SIMD, dans la mesure ou l opérateur de relaxation (dilatation + MIN) agit sur quelques pixels seulement. Le calcul asynchrone du MAX associé à une topologie programmable permet de réduire de manière drastique ce coût en limitant la consommation aux pixels utiles. 14
Opérateurs connexes et asynchronisme Un autre exemple de l utilisation de la reconstruction asynchrone : élimination des courbes ouvertes dans une image filaire (calcul du squelette par zone d influence). (1) Déconnexion des points triples. (2) Reconstruction à partir des points simples. Calcul de somme régionale sur rétine asynchrone D autres primitives régionales peuvent bénéficier de l asynchronisme, comme le calcul de la somme sur les régions (composantes connexes). Calcul de l arbre recouvrant suivi du calcul dichotomique de la somme par propagation de la parité. (Thèse Valentin Gies 2003) 15
Segmentation Filtrage horizontal h x y topologique des images Filtrage vertical (domaine temporel) (domaine spatial) Original Watershedbrute Couple opposition de watersheden phase Résultat Plan de la présentation Contexte et objectifs de la recherche Rétine : aspects combinatoires Liens avec la morphologie mathématique Recherches actuelles et perspectives 16
It-1 It It+1 Détection de mouvement par estimation Σ tvt Mt (1) (2) Si Mt> Mt< Italors Mt= Mt-1; Mt+ 1; Dt t= Vt> Vt< It Mt K. talors ; Le occupés correspond Occupation mémoire (3) Si t> VtalorsDt= Vt= 1; Vt+ Vt-1; 1; utilisés bitssupplémentaires nombre Coût des pour par à de bits primitives les les 3 images. calculs. données 2 de calcul sont (4) sinon 0; comparaison incrément différence de limitent Si Kest 2, les à : une primitives / absolue décrément puissance se Estimation, poursuite, recalage Poursuite d objets par modéles actifs Estimation du mouvement et poursuite Mise en correspondance des structures d intérêt dans une séquence d image. 17
OBJECTIF : Etablir le lien entre les techniques de traitement statistique et les primitives d intégration et de Thèse de Nicolas Burrus (déb. 2005) réduction d informations de la rétine (sommateur analogique en particulier). «Détection d événements visuels saillants avec opérateurs rapides de réduction d information» Exemple : Contrôle de l acquisition Détection de segments significatifs (cicontre) Détection de segments significatifs Pour chaque direction, un ensemble de candidats est calculé. Chaque segment est réduit à un représentant. L ensemble des représentants est filtrée au sens d un critère a contrario, puis reconstruit. 2 critères a contrario ont été utilisés : -1 critère basé sur la longueur, fondé sur le principe d Helmoltz : on mesure le nombre de points blancs N dans l image des candidats, et on en déduit la longueur λ telle que l espérance du nombre de segments de taille λ dans une image aléatoire à N pixels blancs soit inférieure à 1. - 1 critère basé sur le contraste : c est l intégrale du module du gradient le long du segment qui doit être significatif ; on doit alors estimer la distribution du gradient dans l image des candidats. Calcul des segments candidats dans une direction donnée. Segments significatifs dans toutes les directions. 18
localisation, un cartes et Exploiter de contexte réduction de saillance, les cartographie) capacités d informationde de champs robotique de : calcul d auto-corrélation) mobile(e.g. intensif(e.g. rétine dans Thèse de Renaud Barate (déb. 2005) environnement Apprendre son NS. WE. Apprendre des objets visuels NS. des Apprendre fonctions Stage 1 : Détection de structure d intérêt Capteur intelligent Mécanismes d attention Multi-échelles Détection / Descripteurs / Poursuite Suite Stage IPCC 06 19
Stage 2 : Compression de vidéo Capteur intelligent Redondance spatiale Redondance temporelle Stage 3 : IHM basée Vision Artificielle Détection robuste Tracking Programmation Qt3 Suite Stage Erasmus 06 20
Stage 4 : Détection a contrario du mouvement radial Stage 5 : LPE cellulaire asynchrone Watershed segmentation as a whole 21
Stage 6 : Indices visuels & biométrie bimodale Information mutuelle Son/Video Gestion de la causalité Efficacité du calcul Suite Stage IAD 06 Collaboration ENST / TSI Stage 7 : Fusion & stéréovision bimodale Vis Vis IR IR Recalage fixe/résiduel Fusion mixte numérique/biologique Aspects cognitifs et ergonomiques 22
Stage 8 : A 3 des squelettes numériques Parallèlisme de données VS Flot de données Amincissement VS Fonction distance Collaboration P11 / IEF Stage 9 : Oïdium du blé et fongicides Traitement d images couleur Classification Morphologie mathématique Collaboration INRA (Buc) 23