"Extraction de motifs graduels multi-niveaux et applications aux données géographiques"

Transcription

1 "Extraction de motifs graduels multi-niveaux et applications aux données géographiques" GdR I3 8 Avril 2013, Saint Étienne Y. S. Aryadinata*, Y. Lin**, A. Laurent*, T. Libourel**, M. Sala* *LIRMM (UM2-CNRS), **Espace-Dev (UM2-IRD-UAG-UR)

2 Plan de présentation 1. Introduction 2. Etat de l'art 3. Approche 4. Cas d étude et Expérimentation 5. Conclusion et Perspectives 1

3 Motifs Graduels Motifs graduels : expression d'une covariation de la forme "Plus/Moins X, Plus/Moins Y". extraits à partir de données numériques notamment exemple : "Plus l'âge augmente, plus le salaire augmente" Item graduel : couple (i, v), où i est un item et v est une variation v {, } signifie que la valeur de i augmente et signifie que la valeur de i diminue exemple (Pineapples, ) Motif graduel : ensemble des items graduels, noté GP = {(i1, v1),..., (in, vn)}. exemple {(Pineapples, ),(Cherries, )} Introduction 2

4 Motivation De nombreuses bases de données sont munies d'hiérarchies exemple : les attributs couleur, taille, odeur, poids, origine de fruit, etc. exemple, nous considérons le tableau ci-dessus avec une hiérarchie pour la taille des fruits. "Plus petit est de fruit, plus on en achète une quantité importante" Introduction 3

5 Autres exemples d'hiérarchie Hiérarchie spatiale "Région-Ville" Hiérarchie sur les typologies de Fruits Introduction 4

6 Etat de l'art Motifs graduels - il existe plusieurs travaux ayant trait aux motifs graduels dans le contexte de la fouille de données qui diffèrent notamment le mode de calcul du support GRITE (Di Jorio et al.) GRAANK (Laurent et al.) Il existe des version parallélisés de PGP-mc (Laurent, Negrevergne, Termier, et Sicard). Fouille de données multi-niveaux - nous considérons notamment les travaux suivants : Extraction de règles d'association à partir de données hiérarchisées (J. Han et al.) Extraction de motifs séquentiels dans des données multi-niveaux (M. Plantevit et al.) Etat de l'art 5

7 Présentation de l'approche Objectif Trouver les corrélations entre les attributs ou les groupes d attributs à l'aide des hiérarchies "Plus les précipitations sont élevées, Moins le niveau sanitaire est élevé, Plus l'épidémie de dengue est importante" Étapes 1. Étape Analyse 2. Étape Transformation 3. Étape Extraction 4. Étape Validation Approche 6

8 Étape d'analyse Trouver les hiérarchies possibles dans le jeu de données (la manière de normaliser les valeurs, mettre les seuils de valeur, associer avec les catégories, etc. Type d'hiérarchies Hiérarchie horizontale : Pour être appliqué sur des colonnes (attributs) BigFruit(PineApples,Durian), SmallFruit(RedApples,Cherries) Hiérarchie verticale : Pour être appliqué sur des lignes (tuples) BeginOfWeek(Monday-Tuesday), EndOfWeek(Wednesday-Sunday) Approche 7

9 Étape de transformation Stockage des hiérarchies en XGMML (extensible Graph Markup and Model Language) <graph> <node id="1"> </node> <node id="2"> </node> <edge source="1" target="2"> </edge> </graph> Reconstruction des données avec des hiérarchies Horizontal Agrégation : Agrégation entre des colonnes Vertical Agrégation : Agrégation entre des lignes Vertical - Horizontal Agrégation : Agrégation mixte 8

10 Étape d'extraction Algorithme de PGLCM (Do et al.) - Extraction de motifs graduels clos - Approche parallélisée Algorithme PGLCM est plus efficace que GRITE-MT sur la consommation de mémoire (Laurent, Negrevergne, Termier, et Sicard). Approche 9

11 Étape de validation L'expertise va vérifier et valider les résultats obtenus Ensuite, en fonction des connaissances de l'expertise, on peut vérifier quelles sont des connaissances qui sont pertinentes Si nous ne pouvons pas tirer la conclusion à partir de motifs graduels trouvés, nous devons refaire l'étape d'analyse pour améliorer la recherche. Approche 10

12 Étape de validation L'expertise va vérifier et valider les résultats obtenus Ensuite, en fonction des connaissances de l'expertise, on peut vérifier quelles sont des connaissances qui sont pertinentes Si nous ne pouvons pas tirer la conclusion à partir de motifs graduels trouvés, nous devons refaire l'étape d'analyse pour améliorer la recherche. Approche 10

13 Cas d étude Nous nous intéressons au cas de l'épidémie de dengue au Brésil qui constitue un grand enjeu de santé publique. L'épidémie de dengue, une maladie virale propagée par un moustique Au Brésil, 95% des cas de dengue se produisent au premier semestre de l'année et les pires mois sont avril et mai. 11

14 Données réels utilisées Le jeu de données utilisé contient le nombre de cas d'épidémie de dengue dans 5506 communes dans la période avec 69 variables (après prétraitement). Un expert a sélectionné les variables pertinentes jusqu'à 34 variables pour toute la période o Il y a 4 catégories de variables dans ce jeu de données Lieu (région, état, commune) Climat (sécheresse, température et humidité) Démographie (densité, proportion population urbain) Etat Sanitaire (proportion des logements avec puits pour obtention de l eau, des logements avec l eau courante, des logements avec autres formes d'obtention de l eau, avec ramassage des ordures, des logements avec salle de bain et toilette). Cas d étude 12

15 Expérimentation - Hiérarchie Région-Etat-Commune - Hiérarchie - Densité - Hiérarchie - Climat - Hiérarchie - Densité 13

16 Expérimentation (1) Environnement système Sur architecture HPC (parallèle) Serveur SMP de 2 processeurs INTEL cadencés à 2.27GHz (80 cœurs) 1 To de mémoire vive Serveur Intel de HPC@LR 2 processeurs INTEL cadencés à 2.66GHz (12 cœurs) Résultats 24 Go de mémoire vive Consommation mémoire : 6 Go (Constant) Exécution : 12 coeurs 14

17 Expérimentation (2) Motifs graduels intéressants dans le cas d'épidémie de dengue : (Plus de densité)(plus de salle de bains)(plus de cas de dengue) (Plus de sécheresse)(plus de température)(plus de cas de dengue) Motifs graduels multi-niveaux intéressants dans le cas d'épidémie de dengue : Chaque année au Brésil dans la période Plus de cas de dengue dans les communes qui ont le climat 1 a 2 mois de sécheresse & 15-18C & humide, Plus de cas de dengue dans les communes qui ont le niveau sanitaire bas Plus de cas de dengue dans les communes qui ont le climat subsécheresse & 15-18C & super-humide,plus de cas de dengue dans les communes qui ont le niveau sanitaire tres bas. 15

18 Conclusion et Perspectives o o Conclusion Motivation : recherche de motifs graduels dans des données munies des hiérarchies Utilisation des algorithmes existants d'extraction de motifs graduels, et de motifs et règles multi-niveaux Super expérimentations sur données réelles Perspectives Amélioration des travaux en cours : intégration du parcours des hiérarchies au coeur de l'algorithme de fouille Étude de partitions floues pour définir les motifs graduels flous multiniveaux et leur support Parallélisation avancée, s'appuyant notamment sur ParaMiner (Negrevergne et al.) Application à d'autres jeux de données réelles 16

19 Références (Di Jorio et al.) (Di Jorio et al.) (Do et al.) (Han et al.) Di Jorio L., Laurent A., Teisseire M. : Mining Frequent Gradual Itemsets From Large Databases. IDA DiJorio L.,Laurent A.,Teisseire M. : Gradual Rules: A Heuristic Based Method and Application to Outlier Extraction. IJCISIM Do T.D.T., Laurent, A., and Termier, A. : PGLMC: Efficient Parallel Mining of Closed Frequent Gradual Itemsets. In Proc. ICDM Han J. and Fu Y. Mining multiple-level association rules in large databases. IEEE Trans. Knowl. Data Eng (Plantevit et al.) Plantevit M.,Choong Y. W.,Laurent A.,Laurent D.,Teisseire M. : Mining Multidimensional and Multiple-Level Sequential Patterns. In ACM TKDD (Laurent, Negrevergne, Termier, et Sicard) Laurent A., Negrevergne B., Sicard N., and Termier A. : PGP-mc: towards a multicore parallel approach for mining gradual patterns. In Proceedings of DASFAA' (Negrevergne et al.) Negrevergne B., Termier A., Rousset M.-C., Mehaut J.-F. : ParaMiner: a Generic Parallel Pattern Mining Algorithm. RR-LIG