Fouille de données dans des bases parcellaires (cadre projet PayOTe)

Transcription

1 Fouille de données dans des bases parcellaires (cadre projet PayOTe) Thomas Guyet AGROCAMPUS-OUEST IRISA Équipe DREAM 01 mars 2010, Nancy

2 Équipe DREAM : axes de recherche Diagnosing, recommending actions and modeling Diagnostic de systèmes à évènements discrets Diagnostic à base de modèles Approches de diagnostic décentralisées Raisonnements sur les systèmes Raisonnements causaux Études formelles de la diagnosticabilité/réparabilité des systèmes Diagnostic pour la recommandation d'action 2

3 Équipe DREAM : axes de recherche Diagnosing, recommending actions and modeling Acquisition automatique de modèles Fouille de données par méthodes symboliques ILP (Inductive Logic Programming) méthodes algorithmiques Fouille de données temporelles apprentissage de chroniques temporelles séquences temporelles avec contraintes quantitatives sur intervalles règles de succession sur critère combiné couverture/support Traitement de flux de données, adaptation fouille de flux de données adaptation des modèles de données sur d'un flux changeant (adaptation de chroniques) 3

4 Équipe DREAM : domaines d'applications Diagnosing, recommending actions and modeling Systèmes techniques Réseaux de télécommunication et électriques Partenaire BiLab (EDF/INRIA) Diagnostic et réparation distribués d'une flotte de Smartphones Santé : monitoring cardiaque (CALICOT) Environnement Aide à la décision à partir de données de simulateurs ANR/ADD : APPEAU, ACCASYA PSDR GO Climaster Formalisation de motifs de scénarios d'étude qualitative d'écosystèmes 4

5 Équipe DREAM : cas illustratif Diagnosing, recommending actions and modeling Langage de scénario Simulateur Modèle décisionnel Modèle biophysique Accès aux résultats de simulation Entrepôt de données : Connaissances résultats Accès aux connaissances Requête / interaction Apprentissage et fouille Demande de recommandations d actions Recommandation d'actions 5

6 Projet PayOTe (INRA/INRIA) Objectifs : caractérisation et simulation de paysages pour l'étude de systèmes agro écologiques Participants INRA : BIA (toulouse), SAD (Rennes), SAD (Mirecourt), SAS (Rennes), PSH (Jouy), MAGE INRIA : LORIA (Orpailleur), IRISA (DREAM) 6

7 Fouille de données dans des bases de parcellaires Projets initiés dans le cadre du projet Payote PayOTe : Paysage ou territoire (projet INRA/INRIA) participants DREAM : C. Largouët, M. O. Cordier, T. Guyet participation de DREAM : Exploration de bases de parcellaires pour la proposition de paysages pour l'étude de processus agro écologiques 2 axes de recherche (initiés) Recherche dans une base de parcellaires Simulation de paysages réalises à partir de motifs spatiaux locaux 7

8 Recherche dans une base de parcellaires Stage de M2R proposé Définition d'un langage de requête sur des paysages Recensement et définition de caractéristiques sur les paysages Formalisation d'un langage pour la description d'un paysage Mise en place de méthodes efficaces pour l'interrogation d'une base de paysages dans ce langage Méthode de sélection de paysage répondant aux caractéristiques Combinaison d'opérateurs Bases de parcellaires interrogation BB 1ha, petites parcelles, beaucoup de haies Paysages réels extraits O. Boussaïd, M A. Aufaure, Spatial Data Warehouses : a methodological framework, in Advances in Spatial Analysis and Decision Making, 2004, pp C. Gaucherel, «The landscape language: a formal grammar developed and implemented for landscape modelling», post doc proposal (2010) 8

9 Simulation de paysages réalistes à partir de motifs spatiaux locaux Extraire des motifs spatiaux locaux Un motif spatial = une «règle» d'organisation locale d'un paysage Ensemble de règles : caractéristique d'un paysage (c'est une hypothèse à vérifier) Simuler des paysages Combiner des motifs spatiaux satisfaisant au mieux les règles d'organisation Bases de parcellaires Extraction de motifs locaux caractéristiques Bases de motifs locaux Génération de paysages Karine Zeitouni, HDR, Université de Versaille Saint Quentin en Yvelines "Analyse et extraction de connaissances des bases de données spatiotemporelles". 9

10 Extraction de motifs spatiaux locaux Problème de fouille de données spatiales ou géographique Difficile de prendre en compte la dimension spatiale Continue Choix des discrétisations des relations également difficiles 2 dimensions (ce qui la rend beaucoup plus difficile à traiter que le temps!) Problème actuel dans les communautés data mining Démocratisation des capacités à produire des informations géo localisés Intérêts pour les motifs spatio temporels Problèmes industriels Étude du déplacements des populations 10

11 Extraction de motifs spatiaux locaux par méthode de co localisation Premier exemple illustratif Un motif spatial = ensemble de parcelles cultivées «proches» Distance entre parcelles = distance euclidienne entre centre de parcelles 1 parcelle = 1 point Proche = distances 2 à 2 inférieures à un seuil (75m, 100m) Parcelle cultivée : l'occupation du sol sert d'attribut à un point Seuil de distance faible Seuil de distance plus grand 11

12 Extraction de motifs spatiaux locaux par méthode de co localisation Extraction de motifs locaux caractéristiques ensembles de points co localisés = ensemble d'items 1 item = 1 occupation du sol réduit l'information spatiale à la colocalisation il existe de nombreuses méthodes pour extraire des motifs caractéristiques à partir d'itemsets APriori FPGrowth... IS1 I S3 I S2 I S4 I S6 I S5 IS1 = { Prairie, Mais} IS2 = { Prairie, Cereales} IS3 = { Prairie, Prairie} IS4 = { Prairie, Prairie} IS5 = { Prairie, Mais, Foret} IS6 = { Prairie, Mais}... Y. Huang,, S. Shekhar, H. Xiong, «Discovering co location patterns from spatial datasets: a general approach», IEEE Transaction on Knwoledge and data engineering,

13 Extraction de motifs spatiaux locaux par méthode de co localisation Quelques expérimentations Données parcellaire de la zone atelier de «Pleine Fougères», bocage de 2000 données fournies par le CAREN, par l'intermédiaire du SAD Rennes Implémentation données disposés dans un serveur PostGis code expérimental en Java Dans l'objectif de réutiliser la boîte à outils Weka 13

14 Extraction de motifs spatiaux locaux par méthode de co localisation Résultats par une méthode par co localisation Seuil de co localisation 100m Sous localisation pour réduire les calculs Résultats (>1%) ( , ) 7585 {cultures co localisés} 65 motifs extraits Pas de taille >7 Exemples de motifs {Prairie,Prairie,Prairie,Prairie,Prairie,Prairie,Prairie} : 64.8% {Prairie,Prairie,Prairie,Prairie,Prairie,Prairie, Friche} : 21.6% {Prairie, Mais, Mais, Céréales, Autre culture} : 1% 14

15 Extraction de motifs spatiaux locaux par méthode de co localisation Résultats par une méthode par co localisation Seuil de co localisation 100m Sous localisation pour réduire les calculs Résultats (>1%) ( , ) 4813 {cultures co localisées} 37 motifs extraits Pas de taille >5 Exemples de motifs {Prairie,Prairie,Prairie,Prairie,Prairie} : 56% {Prairie, Prairie, Prairie, Prairie, Autres culture} : 1% {Prairie, Prairie, Prairie, Prairie, Céréales} : 8% {Céréales, Céréales,Céréales,Céréales} : 20% 15

16 Extraction de motifs spatiaux locaux par méthode de voisinage Principe {cultures} = un ensemble de parcelles voisines d'une parcelle (pas de direction!) On recherche des sous ensembles fréquents, autour d'un type particulier de parcelles Par exemple : parcelles voisines caractéristiques d'une parcelle de «Friche»?? Friche?? 16

17 Extraction de motifs spatiaux locaux par méthode de voisinage Expérimentation : voisinage des parcelles en friches Recherche des motifs (exclusifs) 7 classes identifiées (110 non classés) {Friche + Mais} : 5 items {Mais + Prairie} : 5 items {Mais + Prairie + Surface boisée} : 13 items {Prairie + Surface boisée} : 15 items (~8%) =>Il y a 1 parcelle de friche, 1 de maïs, et c'est tout! {Route + Surface boisée} : 5 items {Route + Prairie + Surface boisée} : 7 items {Prairie semé} : 11 items {Route + prairie semée } : 12 items 17

18 Extraction de motifs spatiaux locaux par méthode de voisinage Expérimentation : voisinage des parcelles de maïs Recherche des motifs (exclusifs) 43 classes identifiées (272 non classés) {route + prairie + céréale + maïs } 31 items (~3%) {route + prairie + céréales + maïs + chemin} 34 items {route + prairie + maïs + surface boisée} 28 items {route + prairie + céréales} 33 items 18

19 Extraction de motifs spatiaux locaux par méthode de voisinage Arbres de décisions permettant de caractériser les cultures par leurs voisinages Maïs et friches 19

20 Combinaison de motifs spatiaux Simuler un paysage à partir de «briques élémentaires» Déterminer le placement des parcelles (et forme des parcelles) permettant d'exploiter au mieux les motifs locaux Deux approches possibles Approche par optimisation d'un critère global Approche par heuristique utilisant de critères locaux Par exemple : approches décentralisées Intégrer des contraintes sur le paysage Contraintes définies à l'extérieur (utilisateur) Routes, bordures de la zones à simuler... Gufflet, Y. and Demazeau, Y., Applying the PACO paradigm to a threedimensional artistic creation, pages ,

21 Conclusions... Utilisation de motifs spatiaux locaux pour caractériser un paysage Ce sont des descripteurs locaux, Approche assez différentes des approches statistiques utilisant des descripteurs globaux Es ce que les motifs spatiaux vont être suffisants pour recréer des paysages? Quel formalisme pour représenter des motifs spatiaux locaux? Expressif pour le problème de la simulation de paysage Extractible automatiquement Utilisable pour faire de la simulation de paysage 21

22 Perspectives Sujet de stage sur l'interrogation de base de parcellaires Étudier la combinaison de motifs (stage de M1?) Exploration des méthodes de fouilles de données spatiales pour l'extraction de motifs spatiaux locaux Raisonnement sur des graphes de voisinage de parcelles Formalisation logique des relations spatiales + ILP... Approches hiérarchiques : extraire et combiner des «super motif» Exemple de super motif : ville, campagne, bocage... Chaque super motif est caractéristique d'un ensemble de jeu de motifs permettant de simuler son contenu 22