Détection et identification de zones de végétation arborée et viticole - utilisation d images satellite RapidEye et de données BDOrtho

Transcription

1 Détection et identification de zones de végétation arborée et viticole - utilisation d images satellite RapidEye et de données BDOrtho Arnaud LE BRIS, François TASSIN IGN/MATIS Journées de la Recherche - 24/04/2013

2 Contexte général des travaux présentés Constitution d une base de données sur l occupation du sol à très grande échelle ign.fr

3 Détection et identification de zones de végétation arborée à partir de la BDOrtho et d images satellite RapidEye ign.fr

4 Contexte

5 Contexte Bases de données décrivant la végétation arborée Carte forestière BD Forêt Couche végétation de la BDTopo (nomenclature plus simple) Saisie semi-automatique puis enrichissement par photo-interprétation Possibilités d' automatisation? aider à la constitution initiale des BD détection de changements pour la mise à jour Données intéressantes pour un inventaire multi-sources? 5

6 Le satellite RapidEye RapidEye : constellation de 5 satellites, lancement en 2008 Bande supplémentaire : le red edge Avantages : Revisite d'une zone Capacité d'acquisition Acquisition ortho RapidEye France entière disponible via GéoSud Vert nm Bleu nm Bandes spectrales Rouge nm Red edge nm Proche infrarouge nm Altitude 630 km Résolution 5 m 6

7 Jeu de données test Département du Haut-Rhin ortho-image RapidEye, 07/ x3900 pixels 390 km² Vérité terrain issue de la couche végétation de la BDTopo 7

8 Jeu de données test Département du Haut-Rhin BDOrtho (50 cm, également rééchantillonnée à 5m) 390 km² Vérité terrain issue de la couche végétation de la BDTopo 8

9 Méthodologie : outils utilisés 9

10 Méthodologie : chaîne de traitement 1.Segmentation 2. Apprentissage 3. Classification 4. Aggrégation et régularisation 10

11 Méthodologie : classification Classification supervisée Apprentissage préalable Classifieurs utilisés: "Avet" Classification probabiliste Modélisation statistique d'une classe Méthodes dédiées à la classification par région SVM Séparateur de classes Utilisation possible de noyaux Plus proche voisin Minimisation d'une distance 11

12 Résult at Méthodologie : évaluation Matrice de confusion Vérité terrain Classe a Classe b Classe c Ut ilisat eur Classe a ,71 Classe b ,53 Classe c ,57 Product eur 0,6 0,4 0,8 OA : 0,6 Précisions Producteur : Comment se répartissent les confusions parmi ma vérité terrain? Utilisateur : Comment se répartissent les confusions à l'issue de la classification? Globale : Combien de pixels sont bien classés? 12

13 Détection de la végétation arborée 13

14 Détection de la végétation arborée Données test et d'apprentissage en nombre de pixel : Utilisation de différents canaux: Canaux radiométriques bruts : rouge, vert, bleu,... Canaux radiométriques dérivés : ndvi, evi, gndvi, si, mcari, Canaux texturaux : variance, entropie / complexité,... calculés sur l'image RapidEye calculés sur l'image aérienne 14

15 Détection de la végétation arborée Utilisation de l'outil de classification AVET Quelques résultats : Meilleurs résultats par classification pixellaire avant régularisation : Meilleurs résultats par classification pixellaire après régularisation : 15

16 Détection de la végétation arborée Utilisation de l'outil de classification AVET Quelques résultats : Meilleurs résultats par classification pixellaire avant régularisation : Meilleurs résultats par classification pixellaire après régularisation : 16

17 Détection de la végétation arborée Utilisation de l'outil de classification AVET Matrice de confusion pour la combinaison green,red,blue,pix_ent_c : 17

18 Détection de la végétation arborée - RapidEye Utilisation de l'outil de classification AVET image red,rededge,ired image RGB 18

19 Détection de la végétation arborée - RapidEye Utilisation de l'outil de classification AVET Résultat AVET Vérité terrain Exemple de résultat de classification végétation/non-végétation avec le classifieur AVET. Végétation en vert. Combinaison green,red,blue,pix_ent_c. 19

20 Détection de la végétation arborée - RapidEye Utilisation de l'outil de classification AVET Image des différences image red, rededge, ired Exemple de résultat de classification végétation/non-végétation avec le classifieur AVET. Pixels en vert mal classés Combinaison green,red,blue,pix_ent_c. 20

21 Détection de la végétation arborée - RapidEye Utilisation d autres classifieurs SVM linéaire : pas d'amélioration, meilleur résultat : 86% Plus proche voisin: ndvi,si,pix_ ent_ c 89,90% green,red,blue,pix_ ent_ c 89,79% ndvi,mcari,kl2,pix_ ent_ c 89,27% ndvi,mcari,pix_ ent_ c 89,05% 21

22 Détection de la végétation arborée - RapidEye Test d'apprentissage sur une dalle complète Dans l'optique d'une mise à jour Apprentissage sur une dalle entière Classification des trois autres dalles Résultats : 22

23 Détection de la végétation arborée - BDOrtho Test sur l'image IRC de la BDOrtho Image aérienne rééchantillonnée Segmentation de l image en régions homogènes Résultat AVET : Par pixel avec régularisation : 94,80 % Par région : 94,37 % Résultat SVM linéaire : 89,34 % 23

24 Détection de la végétation arborée Classification par région Vérité terrain Image des différences BDOrtho IRC 24

25 Détection de la végétation arborée : bilan Information la plus discriminante = texture de la BDOrtho Pas d'amélioration de la détection grâce au red edge Meilleure segmentation en utilisant les images aériennes Confusions inter-classes mais résultat aggrégé très satisfaisant 25

26 Discrimination feuillus / résineux 26

27 BDOrtho et RapidEye Haut gauche: BDOrtho IRC Haut droit: RapidEye (rouge red edge PIR) Bas droit: RapidEye contraste exagéré 27

28 BDOrtho et RapidEye BDOrtho IRC RapidEye Rouge red edge - PIR 28

29 Discrimination des peuplements feuillus/résineux Dans la vérité terrain : 3 types de peuplement de forêt fermée : Feuillus Résineux Mixte Est-il possible de bien modéliser la classe mixte dans une classification par région? 29

30 Discrimination des peuplements feuillus/résineux Dans la vérité terrain : 3 types de peuplement de forêt fermée : Feuillus Résineux Mixte Est-il possible de bien modéliser la classe mixte dans une classification par région? difficile au vu de quelques tests Classification par région vérité terrain 30

31 Discrimination des peuplements feuillus/résineux Apprentissage sur Feuillus et Résineux Evaluation sur Feuillus, Résineux et Mixte Classification avec AVET et SVM Radiométrie uniquement pour commencer Sur image RapidEye Sur image IRC BDOrtho Etude de l'apport de la texture ensuite 31

32 Discrimination des espèces : radiométrie RapidEye Utilisation de la radiométrie RapidEye Précisions producteur obtenues avec Avet par classification pixellaire : Matrice de confusion du point de vue utilisateur pour deux combinaisons : 32

33 Haut gauche: AVET, classif. par pixel Haut droit: AVET, classif. par région Bas droit: vérité terrain 33

34 Discrimination des espèces : radiométrie RapidEye Utilisation de la radiométrie RapidEye Précisions producteur obtenues avec SVM linéaires (classification pixellaire) Matrice de confusion pour la séparation conifères/feuillus: 34

35 Discrimination des espèces : radiométrie RapidEye Image rouge,rededge,pir Image RVB 35

36 Discrimination des espèces : radiométrie RapidEye Vérité terrain Classification par SVM 36

37 Discrimination des espèces : radiométrie RapidEye Image rouge,rededge,pir Image RVB 37

38 Discrimination des espèces : radiométrie RapidEye Vérité terrain Classification par SVM 38

39 Discrimination des espèces : radiométrie BDOrtho Utilisation de la radiométrie BDOrtho Classification pixellaire par SVM linéaire sur images IRC Ortho Matrice de confusion du point de vue producteur. Matrice de confusion du point de vue utilisateur 39

40 Discrimination des espèces : texture BDOrtho Utilisation de la radiométrie BDOrtho De nombreux indices texturaux dans la littérature : Haralick Gabor descripteurs HOG / SIFT textons... 40

41 Discrimination des espèces : texture BDOrtho Utilisation de la texture de la BDOrtho Canaux de Haralick Images brutes + 1 indice textural Sélection meilleur indice Images brutes + indice sélectionné + 2ème indice textural Filtres de Gabor Test de différentes fréquences et angles Spectre de texture Résultats aberrants Classification par SVM. 200 points d'apprentissage. 41

42 Exemples de canaux d'haralick 42

43 Discrimination des espèces : texture BDOrtho Précision producteur pour la dalle_0_0. Canaux d'haralick. Résultats en pourcentage Précision producteur pour la dalle_0_1. Canaux d'haralick. Résultats en pourcentage 43

44 Discrimination des espèces : texture BDOrtho Précision producteur pour la dalle_0_0. Canaux d'haralick et Gabor Précision producteur pour la dalle_0_1. Canaux d'haralick et Gabor 44

45 Discrimination des peuplements : bilan Red edge utile pour la discrimination des espèces Meilleurs résultats pour les images RapidEye que les images aériennes Red-edge 45

46 Discrimination des peuplements : bilan Red edge utile pour la discrimination des espèces Meilleurs résultats pour les images RapidEye que les images aériennes PIR 46

47 Discrimination des peuplements : bilan Red edge utile pour la discrimination des espèces Meilleurs résultats pour les images RapidEye que les images aériennes Utilisation de la texture à affiner Temps de calculs longs en regard du gain apporté Modélisation plus complexe D'autres canaux texturaux à essayer? 47

48 Détection de vignes à partir d images de la BDOrtho ign.fr

49 Contexte

50 Données existantes sur les vignes future BD nationale sur l occupation du sol à très grande échelle Vigne : Plusieurs BD produites par différents organismes différentes les unes des autres car répondant à des besoins différents Douanes (CVI) ministère de l agriculture (RPG) cadastre (MAJIC) IGN... intégration? 50

51 Données existantes sur les vignes Plusieurs BD produites par différents organismes différentes les unes des autres car répondant à des besoins différents Exhaustive, mais saisie grossière surface couverte par la vigne associée à chaque parcelle cadastrale pas de saisie fine de la vigne au sein de la parcelle différents types d occupation du sol au sein d une même parcelle Exemple : CVI 51

52 Données existantes sur les vignes Plusieurs BD produites par différents organismes Saisie fine, mais pas exhaustive saisies locales only (tests, besoins ponctuels...) Manque d exhaustivité : il manque des parcelles différentes les unes des autres car répondant à des besoins différents Exhaustive, mais saisie grossière surface couverte par la vigne associée à chaque parcelle cadastrale pas de saisie fine de la vigne au sein de la parcelle différents types d occupation du sol au sein d une même parcelle Exemples : RPG (Ministère de l Agriculture) parcelles saisies par les agriculteurs Expérimentations IGN 52

53 Données existantes sur les vignes Plusieurs BD produites par différents organismes Saisie fine, mais pas exhaustive saisies locales only (tests, besoins ponctuels...) Manque d exhaustivité : il manque des parcelles différentes les unes des autres car répondant à des besoins différents Exhaustive, mais saisie grossière surface couverte par la vigne associée à chaque parcelle cadastrale pas de saisie fine de la vigne au sein de la parcelle différents types d occupation du sol au sein d une même parcelle 53

54 Données existantes sur les vignes Plusieurs BD produites par différents organismes Saisie fine, mais pas exhaustive saisies locales only (tests, besoins ponctuels...) Manque d exhaustivité : il manque des parcelles différentes les unes des autres car répondant à des besoins différents Exhaustive, mais saisie grossière surface couverte par la vigne associée à chaque parcelle cadastrale pas de saisie fine de la vigne au sein de la parcelle différents types d occupation du sol au sein d une même parcelle Besoins pour des outils de détection des vignes à partir d images aériennes... pour qualifier les BD existantes avant intégration pour mettre à jour les vignes dans la future base de données pour une détection plus fine? pour aider une saisie complémentaire (détection de parcelles manquantes) Phase d Investigation... 54

55 Détection de vignes à partir d images : difficultés Un aspect variable un sol plus ou moins couvert d herbe (même au sein d une même parcelle) critère radiométrique insuffisant : utilisation de la texture 55

56 Détection de vignes à partir d images : difficultés Un aspect variable texture variable une texture plus ou moins prononcée, en fonction de la taille des plants différentes types de culture plants isolés / rangs continus Texture en code barre" 56

57 Détection de vignes à partir d images : difficultés Un aspect variable texture variable une texture plus ou moins prononcée, en fonction de la taille des plants différentes types de culture plants isolés / rangs continus Texture en code barre" 57

58 Détection de vignes à partir d images : difficultés Un aspect variable texture variable une texture plus ou moins prononcée, en fonction de la taille des plants différentes types de culture plants isolés / rangs continus Texture en code barre" une texture linéaire directionnelle périodique haute fréquence 58

59 Détection de vignes à partir d images : difficultés Autres classes présentant une texture périodique Vergers texture périodique (souvent lineaire) distance entre les rangs souvent plus grande + plants plus grands = fréquence plus faible [ déjà saisis dans les BD de l IGN : masque possible ] Parcelles mixtes verger/vigne alternance de rangs de vigne et de fruitiers. Champs cultivés (récemment travaillés) texture linéaire périodique haute fréquence moins "prononcée" [ déjà saisis dans le RPG du Ministère de l Agriculture ] 59

60 Détection de vignes à partir d images Vigne = une texture périodique directionnelle linéaire² haute fréquence utilisation de la texture... Analyse de la texture nécessite la prise en compte d un voisinage approche objet Mise en oeuvre de deux approches objet analyse de la fréquence de la texture classification par région utilisant des indices de texture Nécessite de segmenter l image en régions homogènes : occupation du sol homogène texture homogène (fréquence, direction...) 60

61 Segmentation en régions homogènes

62 Segmentation en régions homogènes Les 2 approches nécessite une segmentation en régions homogènes occupation du sol homogène texture homogène (fréquence, direction...) frequency, direction...) Utilisation directe de parcelles cadastrales? mais parcelles = objets hétérogènes (peuvent même conternir plusieurs OCS) Segmentation de l image en régions homogènes utilisation d alogrithmes de traitement d image 62

63 Segmentation en régions homogènes Segmentation multi-échelle E(λ) = D + λ. C Pyramide de segmentations calculée à partir d une sur-segmentation initiale... Attache aux données complexité Choix (empirique) d un niveau de cette pyramide trouver un compromis entre précision et généralisation segmentation [ Guigues 2004 ], [ Guigues et al ] 63

64 Segmentation en régions homogènes Choix (empirique) d un niveau de cette pyramide de segmentations Obtenir des régions homogènes occupation du sol homogène texture homogène (orientation + féequence) sous segmentation régions comportant plusieurs classes d OCS ou même de la vigne présentant différentes textures... sur segmentation régions trop petites pour avoir du sens (i.e. pour le calcul d un indice de texture) cas extrême : 1 rang de vigne = 1 région... 64

65 Segmentation en régions homogènes OK 65

66 Segmentation en régions homogènes Amélioration possible : utilisation d indices de texture lors de la segmentation Utilisation de l information radiométrquie 66

67 Segmentation en régions homogènes Amélioration possible : utilisation d indices de texture lors de la segmentation Utilisation de l information radiométrquie Utilisation de l information texturale : R = canal rouge V = Gabor ( texture) B = Gabor orientation ( texture) 67

68 Segmentation en régions homogènes Amélioration possible : utilisation d indices de texture lors de la segmentation Utilisation de l information radiométrquie Utilisation de l information texturale : 68

69 Segmentation en régions homogènes Amélioration possible : combiner parcelles cadastrales et segmentation cadastre segmentation 69

70 Segmentation en régions homogènes Amélioration possible : combiner parcelles cadastrales et segmentation cadastre segmentation 70

71 Approche "analyse fréquentielle" Analyse fréquentielle par région calcul de la FFT pas directement à partir de l image, mais en passant par un semi-variogramme

72 Semi-variogramme Semi-variogramme de l image au sein d une région R Variation "moyenne" de la radiométrie pour un déplacement (dx, dy) au sein d une région R : V R dx,dy = Card 1 E R,dx,dy I x,y E R,dx,dy E x,y I x+dx,y+ dy R,dx,dy = x,y R / x+dx,y +dy dy R dx 72

73 Analyse fréquentielle dy dx FFT 1 M N M 1 N 1 FFT f u,v = f x,y x= 0 y= 0 e 2 π i u x v y + M N Module de la FFT 73

74

75 Analyse fréquentielle dy dx FFT si dmax S vigne sinon non vigne finsi min ; S max alors d max Module de la FFT 75

76 Analyse fréquentielle ortho-image Indice "vigne" (cf d max ) 76

77 Analyse fréquentielle ortho-image Indice "vigne" (cf d max ) 77

78 Approche "classification à partir d indices texturaux" classification par région utilisation d indices texturaux

79 Indices texturaux De nombreux indices texturaux dans la littérature : Haralick Gabor descripteurs HOG / SIFT textons... 79

80 Indices texturaux Descripteurs issus de HOG/SIFT Calcul de descripteurs SIFT à partir de l image selon une grille régulière de points (approche mono-échelle) En chaque point de la grille : Calcul de l orientation caractéristique associée au point Calcul du descripteur SIFT (relativement à cette orientation) 80

81 Indices texturaux Descripteurs issus de HOG/SIFT Calcul de descripteurs SIFT à partir de l image selon une grille régulière de points (approche mono-échelle) En chaque point de la grille : Calcul de l orientation caractéristique associée au point Calcul du descripteur SIFT (relativement à cette orientation) Descripteur SIFT = vecteur de dimension Réduire la dimension des descripteurs Plusieurs approches possible : sac-de-mots ACP en ne gardant que les n premières composantes principales... Rasterisation image à n canaux 81

82 Indices texturaux ortho-image 82

83 Indices texturaux 3 premiers canaux de l ACP des descripteurs SIFT orientation SIFT 83

84 Indices texturaux score Gabor orientation Gabor 84

85 Indices texturaux ortho-image 85

86 Indices texturaux 3 premiers canaux de l ACP des descripteurs SIFT orientation SIFT 86

87 Indices texturaux score Gabor orientation Gabor 87

88 Classification : algorithmes de classification Classification supervisée Utilisation d AVET [ Trias-Sanz 2006 ], [ Trias-Sanz et al ] Méthodes spécifiques dédiées à la classification par region Maximum Likelihood (ML), MAP modèle classe = classe la plus probable selon le Distance entre distributions radiométriques classe = classe dont la distribution radiométrique est la plus proche (au sene d une certaine distance) de celle dans la région à classer 88

89 Classification Algorithme de classification Résultats analogues avec les différents algos par région ML utilisé dans la suite Caractéristiques utilisées Tests utilisant canaux dérivés SIFT, Gabor et radiométrie Meilleurs résultats obtenus avec les 2 et 3 canaux dérivés SIFT 89

90 Fusion des résultats

91 Fusion des résultats Une méthode simple résultat méthode 1 résultat méthode 2

92 Fusion des résultats Une méthode simple 1. Calcul de l intersection et de l union des masques de vigne détectés par les 2 méthodes. résultat méthode 1 union résultat méthode 2 intersection

93 Fusion des résultats Une méthode simple 1. Calcul de l intersection et de l union des masques de vigne détectés par les 2 méthodes. 2. Filtrage (possible) des petits éléments du masque d intersection. résultat méthode 1 union résultat méthode 2 intersection

94 Fusion des résultats Une méthode simple 1. Calcul de l intersection et de l union des masques de vigne détectés par les 2 méthodes. 2. Filtrage (possible) des petits éléments du masque d intersection. 3. Suppression des objets du masque des unions ne contenant pas d objet du masque des intersection filtré résultat méthode 1 union résultat méthode 2 intersection

95 Fusion des résultats Une méthode simple 1. Calcul de l intersection et de l union des masques de vigne détectés par les 2 méthodes. 2. Filtrage (possible) des petits éléments du masque d intersection. 3. Suppression des objets du masque des unions ne contenant pas d objet du masque des intersection filtré résultat méthode 1 union résultats fusionnés résultat méthode 2 intersection

96 Tests et résultats

97 Jeux de données test 3 jeux de données 97

98 Premier jeu de données : 84 (Vaucluse) ~ 242 km² images BDOrtho acquises en été "vérité terrain" = parcelles cadastralesslabellisées par un opérateur labels possibles : plus de 90% de la parcelle couverte de vigne de 50% à 90% de la parcelle couverte de vigne de 10% à 50% de la parcelle couverte de vigne moins de 10% de la parcelle couverte de vigne pas de vigne sur la parcelle 98

99 99

100 100

101 101

102 Premier jeu de données : 84 Comment se répartissent les vignes détectées parmi les 5 classes de la vérité terrain? Résultats cohérents avec ce que l on pouvait attendre

103 Second jeu de données : 81 (Tarn) ~ 400 km² mais évaluation sur 3775 ha images acquises en début de printemps végétation encore en pousse... champs récemment travaillés... "vérité terrain" = vignes saisies par un opérateur (3775 ha) Ommission (sous-détection) Commission (sur-détection) première approche 37% 42% seconde approche 25% 39% union 17% 49% fusion 25% 35% 103

104 référence 104

105 détection 105

106 référence 106

107 détection 107

108 Troisième jeu de données : 26 (Drôme) ~ 1300 km² mais évaluation sur 4000 ha images acquises en été "vérité terrain" = vignes saisies par un opérateur ~4000 ha Ommission (sous-détection) Commission (sur-détection) première approche 52% 21% seconde approche 35% 25% union 33% 26% fusion 37% 20% 108

109 référence 109

110 détection 110

111 référence 111

112 détection 112

113 référence 113

114 détection 114

115 Bilan Précision moins importante que l exhaustivité (possible de filtrer certaines erreurs à l aide des données existantes) Exhaustivité souvent limitée par : jeune vigne encore en pousse vignes présentant une texture en "code barre" Forme des objets détectés : contours "bruités" Améliorations possibles : Améliorer la segmentation... Après la detection, modifier la forme de chaque objet à l aide de [ Delenne 2010 ] 115

116 Intégration dans une chaîne de production

117 Utilisation des bases de données existantes En début de chaîne : utilisation de bases de données existantes pour limiter la zone de recherche forêt bâti routes hydro champs en culture Une manière de : limiter la surdétection réduire les temps de calcul 117

118 Intégration dans la chaîne de production En fin de chaîne : Amélioration de la forme des vignes détectées : Généralisation Appariement avec parcelles cadastrales correspondantes si formes suffisamment proches [Souvent le cas] sinon : division de la parcelle cadastrale (intervention operateur) Comparaison des vignes détectées avec les bases de données existantes (i.e. CVI et RPG) si toutes les sources coïncident : vigne validée sinon : vérification opérateur produced by : Interventions opérateurs restent rapides. integration of objects from existing databases computation (e.g. urban sprawl from building objets) plotting will necessarily include a "vineyard" layer

119 Intégration dans la chaîne de production 119

120 Références [ Delenne et al ] Delenne, C., Rabatel, G. and Deshayes, M., An automatized frequency analysis for vine plot detection and delineation in remote sensing. IEEE Geoscience and Remote Sensing Letters, 5(3), pp [ Guigues 2004 ] Guigues, L., Modèles Multi-échelles pour la segmentation d'images, PhD thesis, Université de Cergy-Pontoise. [ Guigues et al ] Guigues, L., Cocquerez, J.-P. and Le Men, H., Scale sets image analysis. International Journal of Computer Vision 68(3), pp [ Lowe 2004 ] Lowe, D. G., Distinctive image features from scale invariant keypoints. International Journal of Computer Vision, 60(2), pp [ Trias-Sanz 2006 ] Trias-Sanz, R., Semi-automatic high-resolution rural land cover classification. PhD thesis, Université Paris 5. [ Trias-Sanz et al ] Trias-Sanz, R. and Boldo, D., A high-reliability, highresolution method for land cover classification into forest and non-forest. In: Proc. of the Scandinavian Conference on Image Analysis (SCIA), Volume 3540, pp

121 Merci pour votre attention.