Modèle Actif d'apparence (AAM). Sylvain LE GALLOU.

Transcription

1 Modèle Actif d'apparence (AAM). Sylvain LE GALLOU.

2 Modèle Actif d'apparence (AAM) But : Présentation d'une méthode de modèle déformable (Forme capable de se mouvoir afin de se «calquer» à un ensemble de données.) Les modèles actifs d'apparence (AAM) ont été proposés par Edwards, Cootes et Taylor en Méthode utilisée pour la segmentation dans les domaines de détection, reconstruction et reconnaissance d'objets La méthode utilise la connaissance a priori des variations de forme et de texture d'observations.

3

4 1 Applications :

5 1

6 1

7 1 Apprentissage Textures et Marquages Alignés et Moyens. Modes de variations (Texture et Marquage). Paramètre d'apparence : c Alignement marquage : Transf. Procrustréenne Alignement texture : Warping & Normalisation photométrique Analyse en Composantes Principales (ACP) : sur Marquage, Texture, et concaténation Marquage/Texture Matrices d'expérience Segmentation Matrices d'expérience Texture et Marquage de la forme recherchée dans une nouvelle image.

8

9 2 " Alignement des Marquages et des Textures M et T Moyens Marquage Moyen Texture Moyenne Marquages et textures d'apprentissage Alignement des marquages Alignement des textures sur le marquage moyen

10 2 " Apprentissage Texture et Marquage Alignés et Moyens. " "" " " : (vecteur de description) Alignement marquage : Homothétie, Rotation, Translation (Transf. Procrustréenne) Alignement texture : warping Pour chaque image i il faut minimiser : "" "# ϑ $ " # "" "# ϑ $ " # Base d'apprentissage Marquage Alignement Texture et Marquage Moyens

11 2 " Transformation procrustéenne (Procrustes Method) 1) Calcul du centroïde de chaque marquages : 2) Égaliser les tailles (grâce à S(x)) de chaque marquage : Homothétie. 3) Faire coïncider les centroïdes des marquages : Translation. 4) Orienter les marquages de la même façon : Rotation. "" " $ Norme de Frobenius : " " $" " $ " + " $ # avec : $ " " Alignement d'un marquage x par rapport à un marquage de référence x Mod. %&' $ $ $ G " " " " "$ $ Décomposition en valeurs singulières (SVD) : Avec U et V des matrices orthogonales et D une matrice diagonale. Alors la matrice de rotation est : '% " ϑ " ϑ " ϑ " ϑ j

12 2 " Alignement de l'ensemble des marquages. 1) Choisir un marquage de référence comme "Marquage moyen". 2) Aligner tous les marquages sur ce marquage moyen (Procrustes Analysis). 3) Calculer le marquage moyen de tous les marquages alignés. 4) Si le marquage moyen à changé recommencer à partir de l'étape 2. s marquages alignés + 1 marquage moyen

13 2 " Transformer les textures pour les appliquer dans le marquage moyen : Warping. Normalisation photométrique des textures (g i (x 1 x n )). Estimer et tant que cette moyenne n'est pas stable : + x i 1- Standardiser : ( g i avec Alignement des textures. α 2- Pour chaque g i : et β, # # σ ( # β α $ $ s textures alignées + 1 texture moyenne σ % " % [ ] $

14 2 # Modes de variations des Marquages et des Textures Marquages Textures ACP : Marquage " " + Φ " ) " b x alignés alignées ACP : Texture (Vecteur) b g + Φ) ACP : Concaténation des 2 ACP : [ ) ) ] Φ *" " c Modification de c création d'un nouveau marquage et d'une nouvelle texture.

15 2 # Texture et Marquage Moyens. Modes de variations (Texture et Marquage). ACP (b x, b g, et c : même principe) Recherche de X M(b), X : nouveau vecteur de description (Marquage, Texture, les 2) b : vecteur de paramètres du modèle Variation de b variation de X " " + Φ " ) " [ ) ) ] Φ + Φ ) *" " Domaine de variation pertinent : λ ) λ

16 2 $%

17 2 2 paramètres : c (paramètre d'apparence) Marquage (x) et Texture (g) t (paramètre d'orientation) Rotation ( ), Homothétie (s) et Translation (t x,t y ). Image i g AAM Texture générée par AAM g i g AAM g g i - g AAM

18 2 Création des matrices d'expérience : T,C et G (pour obtenir C f 1 (G) et T f 2 (G) ) Pour la j ème expérience : 1) Modifier un modèle (c 0,t 0 ) par une quantité connue ( ) des/du paramètres t et/ou c. 2) Mettre à jour les paramètres c (c c+c 0 ) et t (t t+t 0 ) Création de g m et x m 3) x i alignement de x m en lui adaptant l'orientation t. 4) g i vecteur de texture normalisée présent dans l'image sous g m. 5) g g i g m ( g est dc normalisée) 6) Sauvegarder t, c et g dans les j ème colonnes des matrices T, C et G.

19 2, ± + ± ± "* (' ()' ((' ' ' ' Relations : C f 1 (G) et T f 2 (G) Pour l'apprentissage, les modifications typiques sont : * ± + ± ± "* ϑ ± ± ± " Une régression linéaire à multiples variables va nous donner des relations entre les différences entre pixels et la modification des paramètres de modèle et de pose : ± & ± & /./ - 0

20 "

21 3 Problème d'optimisation : " 2 paramètres à déterminer : c (paramètre d'apparence) Marquage et Texture Modèles (suffisant) utilisés : R déterminé par régression linéaire à multiples variables. t (paramètre d'orientation) Rotation ( ), Homothétie (s) et Translation (tx,ty). Avec : "# ϑ " # " #" # " ϑ # # " ϑ

22 1) Initialisation du vecteur d'atténuation k [1.5, 0.5, 0.25, 0.125, ] T 2) Générer g m ( vecteur de texture normalisée du modèle) 3) x i et g i contour et texture normalisée présents sous g m 4) Évaluer 5) Prédire 6) i 1 7) 3 + 8) Transformer la forme de Recherche itérative du modèle dans l'image : 9) Répéter les étapes 2 à 5 afin d'obtenir une nouvelle erreur E i 10) Si E i >E 0 alors ii+1 et retourner à l'étape 8 11) Sauver E 0 E i 12) Répéter depuis l'étape 2 tant que n'est pas stable (convergence).

23 Conclusion Méthode performante dans les domaines de reconstruction et reconnaissance d'objets > Ce système est doté : - d une représentation géométrique (obtenue à partir d un ensemble d apprentissage), - d une loi d évolution décrivant les adaptations successives du modèle à l objet que l on souhaite détecter. > Contrainte d une optimisation locale : L initialisation doit être proche de la configuration optimale, mais on peut lancer la recherche d'objet à plusieurs endroits d'une image et ne considérer que le modèle minimisant les erreurs obtenues aux différents endroits de cette image. Merci