Analyse de texture pour la classification et segmentation d images

Transcription

1 Analyse de texture pour la classification et segmentation d images Pol Kennel 24 Juin 2013 Séminaire Imagerie pour les Plantes et les Paysages (I2P) de l AMAP.

2 Plan 1 Introduction 2 Méthodes 3 Résultats 4 Conclusion

3 1 Introduction 2 Méthodes 3 Résultats 4 Conclusion

4 Introduction Segmenter et/ou classifier des images? Rassembler des pixels entre eux en régions d aprés des critères prédefinis. Identifie des objects, les localisent : explique comment est disposé le contenu d une image. Ajout d annotations sémantiques sur ces objets. Figure: Extrait de [SWRC07]

5 Un critère de choix : La texture... en image Traduit un aspect homogène de la surface d un objet sur une image. Pseudo-définition : répétition spatiale d un même motif dans différentes directions de l espace. Figure: Exemple de texture des bases Brodatz 1 (haut) et VisTex 2 (bas)

6 Introduction De nombreuses applications pour la caractérisation, reconnaissance, dans : La télédétection L imagerie médicale La compression d image La restauration d image L infographie/audiovisuel Le contrôle non destructif Figure: Exemples : télédétection, médical, materiaux, synthèse

7 1 Introduction 2 Méthodes 3 Résultats 4 Conclusion

8 Méthodes d analyse... un vaste monde Extraction de caractéristiques : Une bibliographie considérable, 50 ans de recherche = une multitude d outils d analyse et de descripteurs! Des méthodes : Structurelles : composantes connexes, local binary pattern Statistiques : Fonction d autocorrélation, matrices de cooccurences Basées sur des Modèles : Fractales, Champs de Markov Spatio-fréquentielles : Transformée de Fourier, bancs de filtres, transformée en ondelettes

9 Transformée en ondelettes complexes Analyse spatio-fréquentielle : Décompose un signal avec fonctions d ondelettes données par dilatation et translation d une fonction mère. The Q-shift Dual Tree Complex Transform : Figure: Q-Shift DT-CWT [Kin01, Riv00, SBK05] Plus de selectivité (6 orientations), et bonne localisation fréquentielle Performante et compacte Invariance à la translation et reconstruction parfaite

10

11 Segmentation et classification supervisée Primitives de textures Atomes de la perception visuelle pré-attentive humaine [Jul94] Micro-structures dans les images = textons Figure: Texture de B. Julesz.

12 Textons Figure: Création des textons par clustering. Figure: Visualisation de dictionnaires [ZGWW05]

13 Classification de textons Quantification des textons dans fenêtre d observation : Bag Of Word (BOW) Utilisation de Support Vector Machine (SVM) Apprentissage des pixels connus a priori Prédiction des pixels inconnus Figure: principe de classification de textons [VM03]

14 1 Introduction 2 Méthodes 3 Résultats 4 Conclusion

15 Résultats - en cours de soumission dans Pattern Recognition Letters - P. Kennel, C. Fiorio, F. Borne Figure: Segmentation sur mosaïques de textures.

16 Résultats - soumis dans International Journal of Remote Sensing - P. Kennel, G. Vincent, M. Tramon Figure: Base d image LIDAR, faciès forestier.

17 Résultats - soumis dans International Journal of Remote Sensing - P. Kennel, G. Vincent, M. Tramon Figure: Évaluation des performances de classification.

18 Résultats - en cours de soumission dans Remote Sensing - ANR Shiva, P. Kennel, F. Borne Figure: (gauche) patchs d apprentissage (LISS4), (droite) performance de classification (k-folds CV - SVM).

19 Résultats - en cours de soumission dans Remote Sensing - ANR Shiva, P. Kennel, F. Borne

20 Résultats - publié dans Plos One - V. Deblauwe, P. Kennel, P. Couteron Développement d un test statistique d association entre variables spatiales [DKC12] : Besoin : générer des images ayant une fonction d autocorrélation donnée Utilisation de la DT-CWT pour synthétiser un grand nombre de ces images Figure: Exemple de synthèse avec conservation de l autocorrélation.

21 1 Introduction 2 Méthodes 3 Résultats 4 Conclusion

22 Conclusion & perspectives La texture toujours pertinente Littérature expansive, d autres voix à explorer L analyse en ondelettes : un outils de choix Travaux collaboratifs - applications diverses Spécialisation et paramétrage des méthodes Vers classification non supervisé, du hiérarchique.

23 Merci

24 Vincent Deblauwe, Pol Kennel, and Pierre Couteron. Testing pairwise association between spatially autocorrelated variables : A new approach using surrogate lattice data. PLoS ONE, 7(11) :e48766, B. Julesz. Dialogues on Perception. The MIT Press, N.G. Kingsbury. Complex wavelets for shift invariant analysis and filtering of signals. Applied and Computational Harmonic Analysis, 10(3) : , P. De Rivaz. Complex wavelet based image analysis and synthesis. PhD thesis, University of Cambridge, I.W. Selesnick, R.G. Baraniuk, and N.G. Kingsbury. The dual-tree complex wavelet transform. IEEE Signal Processing Magazine, 22(6) : , Jamie Shotton, John Winn, Carsten Rother, and Antonio Criminisi.

25 Textonboost for image understanding : Multi-class object recognition and segmentation by jointly modeling texture, layout, and context, D. Vanderzanden and M. Morrison. High resolution image classification a forest service test of visual learning system s feature analyst. United States Department of Agriculture Forest Service, S-C. Zhu, C-E. Guo, Y. Wu, and Y. Wang. What are textons? International Journal of Computer Vision, 62(1-2) : , 2005.