Rapport de Stage : Analyse d images aériennes de haute résolution du département de Haute Savoie

Transcription

1 Rapport de Stage : Analyse d images aériennes de haute résolution du département de Haute Savoie Jean Fortin 30 mai au 22 juillet 2005 Stage de licence effectué au laboratoire MAP-ARIA, à l école d architecture de Lyon. Encadrant : Xavier Marsault Le maître de stage tient à ce que ce rapport reste confidentiel jusqu en septembre

2 Table des matières 1 Introduction 3 2 Travaux existants Présentation du problème Travaux existants Champs de Markov Définitions Champs de Markov discrets Définition Exemple Champs de Markov cachés discrets Segmentation Méthodes sans apprentissage Méthodes avec apprentissage Mise en pratique Les programmes utilisés Nem IFC (Image Feature Calculation) Modélisation Extraction des caractéristiques Codage des couleurs Dimension fractale Apprentissage Classification Résultats Perspectives Conclusion 15 2

3 1 Introduction Le stage se déroulait au laboratoire MAP-ARIA, en collaboration avec l INRIA de Grenoble. L objectif du stage était de s inspirer des travaux de l Université de l UTAH (USA) et d utiliser des outils développés au laboratoire MISTIS (INRIA GRENOBLE) pour effectuer une classification des pixels dans des images aériennes. Le stage intevenait dans le contexte plus général de la création d un environnement de réalité virtuelle à partir de photographies aériennes et de données d altitude. Dans un tel environnement, un problème se pose lorsque l on se rapproche suffisament du sol pour que la résolution des photographies deviennne insuffisante : il est alors nécessaire d amplifier les textures afin d obtenir un résultat satisfaisant. Cette amplification ne sera cependant pas la même lorsque l on souhaite amplifier une texture de type forêt et une texture de neige, par exemple. Il est donc nécessaire de pouvoir dire pour chaque pixel à quel type de terrain il appartient. Il faut donc réaliser une classification des pixels dans l image, pour trouver des zones de textures différentes. Il existe de nombreuses méthodes pour segmenter une image, mais peu d entre elles sont adaptées à la reconnaissance de texture. La méthode choisie dans ce stage est basée sur l utilisation des champs de Markov. 2 Travaux existants 2.1 Présentation du problème L objectif est de classifier le terrain en différentes textures (herbe, forêt, route,...) à partir de photographies aériennes à une résolution de 50cm par pixel, et des données d altitude à un point tous les 20m. Dans le cadre du stage les données utilisées ont été fournies par la Régie de Gestion des Données du départment 74, et couvrent le département de Haute-Savoie. Le problème de la reconnaissance de textures est complexe, et cela fait plus de vingt ans que les chercheurs s y interessent. La nouveauté dans ce travail est qu il s agit de reconnaître les textures dans un paysage Alpin, à l aide des champs de Markov. 2.2 Travaux existants Dans [2], Premoze effectue une classification du terrain à partir d images aériennes d une zone de montagne. Les photographies sont à une résolution légèrement inférieure à celle des données que nous avons utilisées, et sont en niveau de gris et non en couleur. L approche adoptée par les auteurs est la suivante : 3

4 En chaque point les auteurs calculent huit valeurs qui doivent être discriminantes pour classifier les pixels : L intensité du pixel L intensité moyenne des pixels voisins Le minimum des intensités des pixels voisins Le maximum des intensités des pixels voisins L altitude La pente La direction de la pente L angle par rapport à l horizon L idée générale est de classifier chaque pixel de l image à l aide de ces huit propriétés. Pour cela il faut que dans des textures différentes les valeurs choisies soient suffisament différentes. Dans une première phase, les auteurs effectuent un apprentissage en donnant un certain nombre de points pour chaque classe. Cela permet de calculer les lois de probabilités des différentes valeurs suivant la classe. L image est ensuite segmentée en utilisant un classificateur de Bayes. Cette méthode permet d avoir des résultats, cependant on peut lui faire plusieurs reproches : cette classification se fait pixel par pixel, et les dépendances spatiales sont donc présentes uniquement grace aux propriétés 2 à 4 du vecteur descripteur de chaque point. De plus les dépendances ne tiennent compte que du voisinage immédiat. Or pour reconnaître des textures complexes, il peut être nécessaire de regarder un voisinage plus important. Ce type de modèle semble donc insuffisant pour des textures complexes. Il est alors naturel de vouloir utiliser un modèle plus complet pour représenter les dépendances spatiales dans les textures. Pour cela, nous avons utilisé le modèle des champs de Markov qui permet naturellement de tenir compte du voisinage pour effectuer la classification. 3 Champs de Markov 3.1 Définitions Soit S un ensemble de points spatialement organisés, indexés par {1,..., n}. Pour une image ces point seront en général disposés sur une grille régulière de dimension 2. On note N(i) le voisinage du point i. Les voisinages utilisés le plus souvent sont les quatre ou les huit plus proches voisins, ils sont appelés respectivement voisinage d ordre un et deux. Définition 1 Un champ aléatoire Z est un champ de Markov si et seulement s il vérifie la propriété : z, P (z i Z S\{i} = z S\{i} ) = P (z i Z N(i) = z N(i) ) 4

5 Cette propriété signifie que parmi les autres points, seul le voisinage du point i a une influence sur le champ au point i, il s agit donc d une généralisation de la notion de chaîne de Markov. Définition 2 Un champ aléatoire Z suit une loi de Gibbs si la distribution de probabilité jointe est de la forme : P (z) = W 1 exp( H(z)) où la fonction énergie H peut se décomposer en somme des potentiels sur les cliques : H(z) = c C V c (z c ) W = Z exp( H(z)) est la constante de normalisation. Théorème 1 (Hammersley-Clifford) Z est un champ de markov si et seulement si P (z) suit une loi de Gibbs. Ce théorème permet de décrire plus facilement les champs de Markov, en donnant la fonction énergie associée. 3.2 Champs de Markov discrets Définition Pour un champ de Markov discret, la variable Z i représente une étiquette attribuée au point i, dans {1,..., K}. Comme on l a vu précédement, on peut définir le champ de Markov à partir de sa fonction énergie. Dans le cas où l on se limite aux cliques d ordre inférieur à 3, l énergie d un champ de Markov discret s écrit : H(z β) = n i=1 [ V i (z i ) β 2 j N(i) ] V ij (z i, z j ) Les potentiels sur les singletons donnent alors l importance relative des différentes étiquettes, et les potentiels sur les paires donnent la correlation spatiale entre les différentes étiquettes. Le paramètre β donne l importance relative du terme spatial Exemple Le modèle de Potts sans champ externe est un cas très simple de champ de Markov discret. Dans ce modèle, les potentiels sur les singletons sont nuls, et les potentiels sur les paires sont égaux à une unique valeur non nulle lorsque les étiquettes sont identiques, et nuls sinon. 5

6 i S, z i, V i (z i ) = 0 i, j S, z i, z j, V ij (z i, z j ) = I Zi =Z j (z i, z j ) Pour β positif, ce modèle donne une plus grande probabilité aux configurations où les points voisins ont la même étiquette. C est donc un modèle adapté pour la segmentation d image en zones homogènes. Pour le problème de la reconnaissance de texture il est intéressant de généraliser ce modèle, ce qui se fait naturellement en autorisant des potentiels non nuls sur les singletons, et en faisant dépendre le potentiel sur les paires de z i et z j. 3.3 Champs de Markov cachés discrets Dans le cadre de la segmentation d image, on a deux types de données : d une part les données observées qui peuvent être par exemple la couleur des pixels, et d autre part la classification de ces pixels. On introduit alors la notion de champ de Markov caché : on place ces deux types de données sur deux niveaux différents, et on suppose que la loi de probabilité des données cachées (la segmentation) connaissant les données observées correspond à un champ de Markov. On note y = {y i, i S} l observation, et z = {z i, i S} le résultat de la classification. On a donc une distribution de la forme P (z y) = W 1 exp( H(z y)) De plus, on suppose que les données observées sont indépendantes conditionnellement à Z, c est à dire que g(y z) = i S g(y i z i ) On suppose en général que ces distributions suivent des lois gaussiennes. 6

7 3.4 Segmentation Le problème qui nous interesse est la ségmentation d une image en différentes zones de textures différentes. Pour cela, on utilise le modèle du champ de Markov caché discret. Il existe alors deux types de méthodes : Méthodes sans apprentissage Il est possible de segmenter directement les images en un certain nombre de classes, sans effectuer d apprentissage des textures au préalable. Les algorithmes utilisés tentent alors de trouver les paramètres des champs de Markov et la segmentation décrivant le mieux l image Méthodes avec apprentissage Lorsque l on connait à l avance les textures que l on veut reconnaitre, il est préférable d effectuer un apprentissage au préalable sur des images des textures connues, afin de les reconnaitre plus efficacement dans les images de travail. Lors d une première phase, il faut apprendre les paramètres des champs de Markov correspondant aux relations entre les observations au coeur d une texture ou entre textures différentes. Pour cela, on utilise des images d apprentissage, qui ne contiennent qu une seule texture connue. Une fois que l on connait tous les paramètres du champ de Markov, on peut effectuer la ségmentation elle-même, c est à dire trouver la valeur de la segmentation Z qui maximise la probabilité conditionnellement aux données observées Y et aux paramètres appris. 4 Mise en pratique 4.1 Les programmes utilisés Nem6 Ce programme est développé à l INRIA par Juliette Blanchet. Il est basé sur le programme nem, développé il y a quelques années. Il permet d utiliser plusieurs algorithmes pour effectuer la segmentation des images en utilisant les champs de Markov cachés. C est le programme que nous avons utilisé pour effectuer la segmentation des images au cours de l apprentissage et de la classification. Le principal objectif de ce stage a été de déterminer quelles données observées il fallait donner à ce programme, déterminer le modèle adapté, et quels algorithmes utiliser pour faire la segmentation dans le cadre qui nous intéresse. 7

8 4.1.2 IFC (Image Feature Calculation) Ce programme a été conçu au cours du stage pour calculer les différentes données pouvant être passées en entrée du programme Nem6. Il a pour charge d extraire les données d altitude et de couleur de la base des photographies, puis de calculer les différentes composantes du vecteur y. Il permet ainsi de calculer : Les composantes Y, U et V de la couleur, qui permettent une meilleure discrimination des couleurs lors de la segmentation qu un simple codage R, V, B L altitude et la pente moyenne en chaque pixel Une mesure de contraste Différentes mesures de la dimension fractale en chaque pixel, éventuellement avec filtrage pour améliorer le résultat 4.2 Modélisation Nous nous sommes basés sur le travail effectué dans [4] pour la modélisation des textures. On suppose que les textures peuvent se décomposer en un nombre K de sous-classes, et que pour la texture m, la distribution suit la loi : P (y i Ψ m ) = K P (Z i = c mk m )f(y i θ mk ), k=1 où f(y i θ mk ) est la densité de la loi gaussienne multivariée de paramètre θ mk (moyenne µ mk et matrice de covariance Σ mk ), Z i représente la sous-classe du point i, sa loi est paramétrée par m, et Ψ m = ( m, (Θ mk )) est l ensemble des paramètres pour la texture m. On suppose que les Z i constituent un champ de Markov comme précédement, avec la fonction d énergie H(z, m ) = i V i (z i, α m ) + j N(i) V ij (z i, z j, B m ), et comme dans le modèle de Potts généralisé, on suppose que les singletons ne dépendent pas de i, soit et on suppose de même que V i (z i, α m ) = α m (k), pour z i = c mk, V ij (z i, z j, B m ) = B m (k, l), pour z i = c mk, z j = c ml 8

9 4.3 Extraction des caractéristiques Dans une première phase on calcule les différentes composantes du vecteur descripteur qui sera utilisé pour classer les pixels. Le problème est de savoir quelles valeurs on peut utiliser, afin de permettre une segmentation efficace entre les différentes textures. Il faut donc des valeurs caractéristiques de la texture. Pour cela on utilise des valeurs locales, comme la couleur du pixel considéré, mais du fait des fortes variations au sein d une texture, il faut aussi avoir des informations portant sur un voisinage du pixel Codage des couleurs Une question qui se pose naturellement est celle du codage des couleurs : quel codage utiliser? Plutôt que de conserver le codage RVB habituel, nous avons choisi de calculer les couleurs dans le codage YUV (luminance et chrominances). En effet les tests effectués montrent que les trois composantes de ce codage sont plus discriminantes dans le cadre de la reconnaissance de textures, et plus indépendantes qu un simple codage RVB. Les trois composantes YUV s obtiennent simplement à partir des composantes RVB : Y = R V B U = (B Y ) V = (R Y ) Dimension fractale Pour distinguer les textures il peut être utile d avoir un indice de la rugosité de la texture. Par exemple une texture de neige est très différente d une texture de forêt, même sans tenir compte de la couleur. La dimension fractale dans une fenêtre autour du point permet d obtenir une telle information. Plusieurs méthodes existent pour calculer la dimension fractale d une image. Méthode spectrale Le spectre de puissance d un signal fractal bidimensionnel est de la forme P (k x, k y ) = c ; β = 8 2D, 2 < D < 3, k x x + k y y β où c est une constante, k x et k y sont les fréquences spatiales, et x et y les vecteurs unitaires. D est alors la dimension fractale de l image. Pour trouver la dimension fractale de l image, une méthode consiste alors à calculer le spectre de puissance de l image, puis à essayer de 9

10 trouver la fonction ˆP qui correspond le mieux à la forme attendue. On utilise alors une méthode des moindres carrés pour trouver les paramètres c et β. C est à dire qu on minimise e = ln P i ln ˆP i 2 2 Cette méthode ne fonctionne pas bien en pratique : pour un signal bruité le résultat est souvent aberrant. Il peut être nécessaire de ne travailler que sur une partie du spectre, mais il est difficile de savoir à l avance sur quelle partie. Méthode par comptage A la place d une méthode spectrale, il semble donc préférable d utiliser une méthode par comptage. Cette méthode est basée sur l autosimilarité. Si un ensemble est constitué de N r copies de lui-même avec un facteur d échelle r, alors la dimention fractale de l objet est donnée par D = log(n r) log(1/r) On représente alors l image dans un espace en 3 dimensions, où x et y sont les coordonnées dans l image, et z représente l échelle des niveaux de gris. Pour r fixé et une image de taille M M, on pose s = r M, et on partitionne l espace en colonnes de boîtes de taille s s s. On regarde alors dans chaque colonne dans quelle boîte se trouvent les niveaux de gris minimum et maximum. Supposons qu il s agisse de la k-ieme et de la l-ieme boîte. Alors on note n r (i, j) = l k + 1 la contribution de la colonne indexée par (i, j). Alors N r = i,j n r (i, j) On calcule N r pour différentes valeurs de r, et il suffit ensuite d utiliser une méthode des moindres carrés pour trouver D. Une fois que le calcul de la dimension fractale est effectué, il est utile d appliquer un filtre pour réduire le bruit, afin d améliorer la qualité de la segmentation. Cependant, il faut utiliser une technique de filtrage conservant les frontières pour ne pas fausser les résultats. Pour filtrer, on peut ainsi utiliser la méthode suivante : Pour un point (i, j), on considère les quatre quadrants d une fenêtre de taille (2w + 1) (2w + 1) centrée en ce pixel. On calcule ensuite la moyenne et la variance de la dimension fractale précédement calculée dans chacune de ces quatre fenêtres. Le filtrage 10

11 consiste alors à remplacer la valeur au point (i, j) par la valeur moyenne dans la fenêtre dont la variance est minimale. Voici ce que l on obtient en appliquant cette méthode de lissage : Image de la dimension fractale avant lissage Image de la dimension fractale, après le lissage 11

12 4.4 Apprentissage Pour ce modèle, l apprentissage consiste à apprendre les différents paramètres des champs de Markov, c est à dire les B m et α m pour chacune des textures, mais aussi les paramètres des lois gaussiennes, c est à dire µ mk et Σ mk. Pour simplifier l apprentissage, on suppose que les matrices de covariance sont diagonales, c est à dire que les différentes composantes des descripteurs sont indépendants. Pour effectuer l apprentissage, on sélectionne des images contenant une seule texture. On segmente ces images par les algorithmes de segmentation non supervisée en K sous-classes, ce qui donne les paramètres du champ de Markov, ainsi que les moyennes et variances des densités. Un exemple d images d apprentissage utilisées : Images d apprentissage pour la forêt, l herbe et la route 4.5 Classification Pour améliorer le résultat, on initialise les valeurs du champ de Markov à l aide d une préclassification : à chaque pixel on associe la classe qui maximise la probabilité a priori que le pixel appartienne à cette classe, sans tenir compte des pixels voisins. Comme on connait les densités de probabilité de l observation pour chaque classe, c est facile à effectuer. On effectue ensuite une classification supervisée de l image, c est à dire en fixant les paramètres du champ de Markov et des densités gaussiennes à l aide des valeurs trouvées précédement. Cette classification supervisée peut par exemple se faire en utilisant l algorithme ICM (voir [3]). 12

13 Source : Régie de Gestion des Données du département 74, Annecy Image de la classification obtenue avec l algorithme ICM, pour 3 classes et 3 sous-classes par texture. Source : Régie de Gestion des Données du département 74, Annecy 13

14 Image de la classification obtenue avec l algorithme ICM, pour 3 classes et 3 sous-classes par texture. 4.6 Résultats Les images ci-dessus montrent les résultats que l on a obtenu en appliquant cette méthode sur 2 images contenant principalement des textures d herbe, de forêt et de route. On a utilisé comme vecteur de propriétés les couleurs du pixel dans le codage YUV, ainsi que la dimension fractale calculée à l aide de la méthode par comptage de boîtes, et lissée par le filtre décrit plus haut. Les textures étaient décomposées en 3 sous-classes au cours de l apprentissage, et c est l algorithme ICM (iterational conditional modes) qui a été utilisé pour la segmentation supervisée. On constate que la classification est globalement satisfaisante. Comme la dimension fractale est calculée sur une fenêtre de taille d environ une dizaine de pixels, les détails moins grands que cette largeur sont mals détectés. Par exemple certains chemins dans la deuxième image ne sont pas détectés correctement. Cependant, comme dans le cadre de ce projet on dispose des bases de données vectorielles des routes sur le département, ce n est pas essentiel. Les zones de forêt, d herbe et de route sont bien détectées, et les frontières sont suffisament précises. 14

15 4.7 Perspectives Certains facteurs ont posé des difficultés supplémentaires. Il est très difficile d obtenir des orthophotographies avec un soleil zénithal. En particulier, on peut observer des ombres dans les données utilisées. Le problème est alors de parvenir à reconnaitre que deux textures, l une dans l ombre et l autre éclairée, sont en fait les textures du même terrain. Certains facteurs, comme une mesure de contraste issue du modèle LIP pour le traitement des images [6], ont été rajoutés pour tenter de résoudre le problème, mais les résultats ne sont pas encore satisfaisants et ce problème reste donc ouvert. Une autre difficulté est liée à l apprentissage avec les paramètres liés à l altitude. Ces paramètres sont utiles, car par exemple on trouve plus facilement de la neige à haute altitude. Cependant certaines textures se retrouvent à des altitudes très diverses. Pour effectuer l apprentissage il est alors nécessaire d avoir des échantillons à toutes les altitudes, ce qui complique la création d une base d apprentissage. De nouvelles valeurs pourraient être rajoutées dans le vecteur de propriétés des pixels. Pour l instant on utilise des informations sur la couleur et la rugosité, des recherches futures pourraient porter sur d autres valeurs utiles pour distinguer les textures. Cependant les algorithmes utilisés supposent que les différentes composantes du vecteur de propriétés sont décorrelées, et il faut donc que les nouvelles valeurs soient au maximum indépendantes des précédentes. Par exemple dans l article de Premoze [2], les quatre premières propriétés étaient très fortement corrélées, ce qui faussait les résultats avec les algorithmes que nous utilisons. Enfin, il y a le problème du temps de calcul. Avec le programme actuel et sur un ordinateur récent, le processus de classification durait plusieurs heures pour une image de pixels. Il est alors difficile de traiter l ensemble des données, qui couvre l ensemble d un département, et il sera nécessaire de faire des optimisations. 5 Conclusion Ce stage m a permis de découvrir pendant 8 semaines le monde de la recherche. Le stage s est déroulé de la façon suivante : dans un premier temps j ai effectué un travail de bibliographie pour voir les différentes méthodes utilisées pour la segmentation d images et lesquelles étaient adaptées pour l objectif fixé. Ce travail m a également permis d assimiler le fonctionnement des champs de Markov et des algorithmes correspondants. J ai ensuite écrit le programme permettant de calculer le vecteur descripteur de l image en chaque pixel, puis experimenté pour déterminer les paramètres les plus adaptés pour la segmentation des images données. Au cours du stage nous nous sommes rendus à l INRIA de Grenoble plusieurs fois pour discuter du problème posé avec les chercheurs ayant développé le logiciel Nem6. 15

16 Pour conclure, je tiens à remercier mon encadrant pour son accueil et sa disponibilité. Références [1] B. B. Chaudhuri et Nirupam Sarkar : Texture Segmentation Using Fractal Dimension, IEEE Transactions on pattern analysis and machine intelligence, Vol 17, No. 1 Janvier 1995 [2] Simon Premoze, William B. Thompson et Peter Shirley : Geospecific Rendering of Alpine Terrain, 2001 [3] Nathalie Peyrard : Approximations de type champ moyen des modèles de champ de Markov pour la segmentation de données spatiales, Thèse, Université J. Fourier, octobre 2001 [4] J. Blanchet, F. Forbes, C. Schmid : Modèles markoviens pour l organisation spatiale de descripteurs d images, 2004 [5] R. Paget, I. D. Longstaff, and B. Lovell : Texture Classification Using Nonparametric Markov Random Fields, 13th international conference on digital signal processing, vol. 1, july 1998 [6] M. Jourlin, J. C. Pinoli : Logarithmic Image Processing : The mathematical and physical framework for the representation and processing of transmitted images, Advances in Imaging and Electron Physics, Vol 115,