Traitement d images 4 ème partie : traiter 2 images Caroline Petitjean Plan Applications, perception, représentation Prétraitements Amélioration Restauration Traitement : Segmentation Traitement de 2 images 1
Traiter 2 images : pourquoi? Recaler, fusionner, comparer des images médicales Animation : morphing Séquences vidéo : mouvement Traiter 2 images : plan Recalage & fusion d images (médicales) Image registration Estimation de mouvement Motion estimation 2
1) Intra-patient, mono-modalit modalité Exemple : évolution de lésions (images IRM d un patient atteint de sclérose en plaque à quelques mois d intervalle) Source Recalage et fusion Cible Source : Université Louis Pasteur, Strasbourg Recalage et fusion 1) Intra-patient, mono-modalit modalité Exemple : évolution de lésions (images IRM d un patient atteint de sclérose en plaque à quelques mois d intervalle) Différence Source Cible Source recalée finale Source : Université Louis Pasteur, Strasbourg 3
Recalage et fusion 2) Intra-patient, multi-modalit modalité Exemple : fusion d informations provenant de 2 modalités différentes Source (scanner) Source : EPFL Cible (TEP) Recalage et fusion 2) Intra-patient, multi-modalit modalité Exemple : fusion d informations provenant de 2 modalités différentes Source (scanner) Cible (TEP) Source recalée Source : EPFL 4
Recalage et fusion 2) Intra-patient, multi-modalit modalité Exemple : fusion d informations provenant de 2 modalités différentes Source (IRM) Source : Université de Hambourg Cible (scanner) Recalage et fusion 2) Intra-patient, multi-modalit modalité Exemple : fusion d informations provenant de 2 modalités différentes Source (IRM) Cible (scanner) Source recalée Source : Université de Hambourg 5
Recalage et fusion 3) Inter-patient, intra-modalit modalité Exemple : Segmentation à partir d un atlas anatomique Source (individu) Cible (atlas) Source recalée Source : INRIA Recalage et fusion 3) Inter-patient, intra-modalit modalité Exemple : Segmentation à partir d un atlas anatomique Source (individu) Cible (atlas) Source recalée Atlas segmenté et étiqueté Source : INRIA 6
Recalage et fusion 3) Inter-patient, intra-modalit modalité Exemple : Segmentation à partir d un atlas anatomique Source (individu) Cible (atlas) Source recalée Atlas segmenté et étiqueté Source : INRIA Recalage et fusion Logiciel Voxel-MAN (Université de Hambourg) 7
Recalage et fusion (hors médical) Télédétection Exemple : carte de végétation et image satellitaire Source : ESA/ESRIN Recalage et fusion (hors médical) Télédétection Exemple : carte de végétation et image satellitaire Source : ESA/ESRIN 8
Recalage Trouver une transformation spatiale entre 2 images Recalage Trouver une transformation spatiale entre 2 images 9
Recalage Quels repères mettre en correspondance? Points particuliers Tous les pixels de l image? Quelle transformation géométrique? Rigide Non-rigide Points pour la correspondance Primitives intrinsèques Déjà présentes dans l image Primitives extrinsèques Créées artificiellement 10
Primitives extrinsèques Repères externes, visibles dans les 2 modalités fixées au patient ou à la table d examen Invasifs (Vis dans la boîte crânienne) Non invasifs Cadre non vissé Moule Repères collés à la peau Primitives extrinsèques Repères externes, contention 11
Primitives extrinsèques Avantages Permet de recaler des données très différentes Inconvénients Les marqueurs doivent être positionnés avant l acquisition Primitives intrinsèques Structures intrinsèques au patient information pertinente présente dans les 2 jeux de données peuvent être : Points Courbes (contours) Surfaces segmentées Volumes Points anatomiques identifiés manuellement par l opérateur Points géométriques isolés automatiquement 12
Exemple du morphing Mise en correspondance de vecteurs Une des 1ères utilisations : dans le clip de M. Jackson (1991) Black or white Primitives intrinsèques Mise en correspondance de courbes ou surfaces Principalement en recalage d images cérébrales Courbes : lieux de courbure maximale (lignes de crête) Surfaces : segmentation par modèles déformables Source : INRIA 13
Différents types de transformations Rigides : Translations rotations Conservation des angles et des distances + pour recalage intra-patient / intra modalité Original Transformation globale Différents types de transformations Transformations élastiques Bien quand le avant/après ne sont pas similaires! (ex : apparition/disparition de tumeur) Original Transformation globale 14
Traiter 2 images : plan Recalage & fusion d images (médicales) Estimation de mouvement Estimation de mouvement 15
Différence d images pour l estimation du mouvement Estimation de mouvement Différence : Bien pour savoir s il y a du mouvement Ne permet pas d analyser le mouvement Dans la suite on voit une technique pour obtenir le champ de vecteurs : le flot optique - optical flow 16
En chaque pixel, un vecteur (ux, uy) Comment faire pour obtenir ce «champ» de vecteurs? Vector field Perception du mouvement (1) 17
Perception du mouvement (1) Le mouvement apparent est perpendiculaire au gradient, mais n est pas conforme au mouvement réel Perception du mouvement (2) Aucun mouvement apparent n est perçu 18
Estimation de mouvement Comment estimer le mouvement du rectangle vert? Estimation de mouvement Comment estimer le mouvement du rectangle vert? On ne peut pas l estimer, le problème est indéterminé (problème d ouverture) 19
Estimation de mouvement Comment estimer le mouvement du rectangle vert? Estimation de mouvement Comment estimer le mouvement du rectangle vert? On peut l estimer! 20
Estimation de mouvement On peut estimer le mouvement du rectangle vert qui est perpendiculaire aux contours (gradient) de l image Estimation de mouvement I ( t, x( t)) = cste 21
Estimation de mouvement Hypothèse de départ du flot optique : l intensité de l image reste constante au cours du temps di ( t, x( t)) I ( t, x( t)) = cste = 0 dt Position du mouvement à mesurer Estimation de mouvement Hypothèse de départ : l intensité de l image reste constante au cours du temps Vitesse du mouvement à mesurer di ( t, x( t)) I dx I ( t, x( t)) = cste = 0 + I. = 0 dt t dt I I di di + I. u = 0 + ux + u y = 0 t t dx dy On ne peut estimer que le mouvement perpendiculaire au gradient 1 équation à 2 inconnues (u x, u y ) : problème indéterminé 22
Estimation de mouvement On a donc 1 équation à deux inconnues Cf. Illusion de Barber Pole : ui x + vi y + It = 0 Source images : wikipedia Quel est le mouvement réel? Il faut AJOUTER une CONTRAINTE Estimation de mouvement Ajout de contraintes Hypothèse 1 : champ de mouvement d une petite partie de l image est constant (Lucas- Kanade) Hypothèse 2 : le champ de mouvement doit être «lisse» (Horn & Schunk) Permet d ajouter des équations 23
Applications Estimation des déformations d myocardiques Estimation de la déformation entre chaque image Obtention d un champ de déformation Applications Estimation des déformations d myocardiques Contraction dans la direction radiale Mouvement entre chaque image Contraction dans la direction tangentielle 24
Références Image Morphing, Thin-Plate Spline Model, CSE399b, Spring 06, Computer Vision, Lecture 8 Cours Morphing, Daniel Cohen-Or, Université de Tel Aviv Thèse CP Estimation du mouvement, Zaccharin & Hébert, 2008, wcours.gel.ulaval.ca/ 25