Searching for Dependencies at Multiple Abstraction Levels

Transcription

1 Searching for Dependencies at Multiple Abstraction Levels Toon Calders, Raymond T. Ng et Jef Wijsen Matthieu Objois et Pierre Senellart Searching for Dependencies at Multiple Abstraction Levels p.1/15

2 Cadre Cadre : hiérarchies de généralisation Bases de données relationnelles Hiérarchie sur les valeurs des attributs (niveaux) EXEMPLE ANNÉE SEMAINE MOIS JOUR Searching for Dependencies at Multiple Abstraction Levels p.2/15

3 Dépendance roll-up Dépendance roll-up (DRU) Extension de la notion de dépendance fonctionnelle EXEMPLE (V ille, RÉGION) (T aux_n atalité, POURMILLE) Cette DRU est vérifiée Au sein d une même région, toutes les villes ont le même taux de natalité arrondi au 1 le plus proche. Searching for Dependencies at Multiple Abstraction Levels p.3/15

4 Plan Plan de l exposé 1. Introduction 3. RUDMINE OLAP Élimination de redondance Prédiction de données Support Confiance Gen-schéma Principe Simulation Performances Searching for Dependencies at Multiple Abstraction Levels p.4/15

5 OLAP OnLine Analytic Processing Déterminer la granularité intéressante pour OLAP EXEMPLE (V ille, RÉGION) (T aux_n atalité, POURMILLE) vérifiée (V ille, PAYS) (T aux_n atalité, POURMILLE) non vérifiée = données intéressantes : taux de natalité par région Searching for Dependencies at Multiple Abstraction Levels p.5/15

6 Élimination de redondance Élimination de redondance Réduction du nombre de données EXEMPLE (Horaire, HEURE),(Station, RÉGION) (T emp, ENTIER) vérifiée = on peut ne garder que les relevés par heure et par région Aide à la conception de schémas Searching for Dependencies at Multiple Abstraction Levels p.6/15

7 Prédiction de données Prédiction de données Découverte de DRU possibilité de : compléter des données manquantes prévoir de nouvelles données Analogue aux techniques classiques en Fouille de Données (règles d association...) Searching for Dependencies at Multiple Abstraction Levels p.7/15

8 Support Support d une DRU Caractérise le nombre de cas dans lesquels la règle peut s appliquer EXEMPLE (V ille, RÉGION) (T aux_n atalité, POURMILLE) support de cette DRU : proportion de paires de n-uplets de la base ayant des villes de la même région Searching for Dependencies at Multiple Abstraction Levels p.8/15

9 Confiance Confiance d une DRU Caractérise le nombre de cas dans lesquels la règle est vérifée EXEMPLE (V ille, RÉGION) (T aux_n atalité, POURMILLE) confiance de cette DRU : proportion de paires de n-uplets de la base ayant le même taux de natalité arrondi au 1, parmi ceux ayant des villes de la même région Searching for Dependencies at Multiple Abstraction Levels p.9/15

10 Gen-schéma Schéma de généralisation (Gen-schéma) Un gen-schéma d une relation est un ensemble de couples (attribut, niveau) non redondant. On note G H si le niveau de chacun des attributs dans H est plus grand que celui dans G. EXEMPLE 2 gen-schémas de {(Date, JOUR), (P roduit, PRODUIT)} : {(Date, MOIS), (P roduit, PRODUIT)} {(Date, ANNÉE)} Searching for Dependencies at Multiple Abstraction Levels p.10/15

11 Principe Principe de l algorithme Parcours de l ensemble des gen-schémas (qui forment potentiellement la partie gauche de la DRU), du plus général au plus spécifique À chaque étape (strate), génération des spécialisations immédiates des gen-schémas actuels Test du support et de la confiance des candidats, pour retenir ceux qui dépassent les seuils fixés Élagage possible Searching for Dependencies at Multiple Abstraction Levels p.11/15

12 Simulation Simulation de l algorithme DRU de la forme :? (V ente, ke) (s seuil = 0,25 ; c seuil = 0,7) ANNÉE SEMAINE MOIS JOUR Searching for Dependencies at Multiple Abstraction Levels p.12/15

13 Simulation Simulation de l algorithme DRU de la forme :? (V ente, ke) (s seuil = 0,25 ; c seuil = 0,7) s = 1 = {} c = 0,1 ANNÉE SEMAINE MOIS JOUR Searching for Dependencies at Multiple Abstraction Levels p.12/15

14 Simulation Simulation de l algorithme DRU de la forme :? (V ente, ke) (s seuil = 0,25 ; c seuil = 0,7) s = 1 = {} {SEMAINE} c = 0,1 {ANNÉE} ANNÉE SEMAINE MOIS JOUR Searching for Dependencies at Multiple Abstraction Levels p.12/15

15 Simulation Simulation de l algorithme DRU de la forme :? (V ente, ke) (s seuil = 0,25 ; c seuil = 0,7) s = 1 s = 0,1 {SEMAINE} c = 0,9 = {} c = 0,1 {ANNÉE} ANNÉE SEMAINE MOIS JOUR Searching for Dependencies at Multiple Abstraction Levels p.12/15

16 Simulation Simulation de l algorithme DRU de la forme :? (V ente, ke) (s seuil = 0,25 ; c seuil = 0,7) s = 1 s = 0,1 {SEMAINE} c = 0,9 = {} c = 0,1 s = 0,7 {ANNÉE} c = 0,2 ANNÉE SEMAINE MOIS JOUR Searching for Dependencies at Multiple Abstraction Levels p.12/15

17 Simulation Simulation de l algorithme DRU de la forme :? (V ente, ke) (s seuil = 0,25 ; c seuil = 0,7) s = 1 s = 0,1 {SEMAINE} c = 0,9 ANNÉE = {} c = 0,1 {SEMAINE, ANNÉE} s = 0,7 {ANNÉE} c = 0,2 {MOIS} SEMAINE MOIS JOUR Searching for Dependencies at Multiple Abstraction Levels p.12/15

18 Simulation Simulation de l algorithme DRU de la forme :? (V ente, ke) (s seuil = 0,25 ; c seuil = 0,7) s = 1 = {} s = 0,1 c = 0,1 s = 0,7 {SEMAINE} {ANNÉE} c = 0,9 ANNÉE {SEMAINE, ANNÉE} c = 0,2 s = 0,3 {MOIS} c = 0,8 SEMAINE MOIS JOUR Searching for Dependencies at Multiple Abstraction Levels p.12/15

19 Simulation Simulation de l algorithme DRU de la forme :? (V ente, ke) (s seuil = 0,25 ; c seuil = 0,7) s = 1 = {} s = 0,1 c = 0,1 s = 0,7 {SEMAINE} {ANNÉE} c = 0,9 ANNÉE {SEMAINE, ANNÉE} c = 0,2 s = 0,3 {MOIS} c = 0,8 SEMAINE MOIS {SEMAINE, MOIS} JOUR Searching for Dependencies at Multiple Abstraction Levels p.12/15

20 Simulation Simulation de l algorithme (Date, MOIS) (V ente, ke) s = 1 = {} s = 0,1 c = 0,1 s = 0,7 {SEMAINE} {ANNÉE} c = 0,9 ANNÉE {SEMAINE, ANNÉE} c = 0,2 s = 0,3 {MOIS} c = 0,8 SEMAINE MOIS {SEMAINE, MOIS} JOUR Searching for Dependencies at Multiple Abstraction Levels p.12/15

21 Performances Performances Résultats théoriques NP-complet en le nombre d attributs Linéaire en le nombre de n-uplets Performances en pratique Exponentiel en le nombre d attributs (légère surlinéarité en le nombre de gen-schémas produit) Linéaire en le nombre de n-uplets Searching for Dependencies at Multiple Abstraction Levels p.13/15

22 Résumé En résumé... Dépendances roll-ups : extension de la notion de dépendance fonctionnelle Utilisation des hiérarchies de valeurs d attributs pour l extraction d informations Algorithme efficace Searching for Dependencies at Multiple Abstraction Levels p.14/15

23 Perspectives Perspectives Généralisation de la notion de DRU (distance entre valeurs) Conception de méthode de mise en forme normale d un schéma de bases de données (extension de l algorithme de Boyce-Codd) Test de l efficacité des résultats en prédiction Searching for Dependencies at Multiple Abstraction Levels p.15/15