LOGO. Module «Big Data» Extraction de Connaissances à partir de Données. Claudia MARINICA MCF, ETIS UCP/ENSEA/CNRS

Transcription

1 Module «Big Data» Extraction de Connaissances à partir de Données Claudia MARINICA MCF, ETIS UCP/ENSEA/CNRS 14 Janvier 2015

2 Pourquoi l extraction de connaissances à partir de données? Ø Données disponibles Ø Limites de l approche humaine Ø Nombreux besoins : Ø Industriels, Ø Médicaux, Ø Marketing, Ø

3 Extraction des Connaissances à partir de Données «l extraction d'informations originales, auparavant inconnues, potentiellement utiles à partir des données.» Pré-traitement Fouille Post-traitement [Fayyad et al., 1996] 5/49

4 Buts : exemples d application Ø diagnostic médical Ø profils de clients, mailing, accord de prêts bancaires,... Ø reconnaissance de caractères manuscrits Ø finance, prévision d évolutions de marchés Ø Customer Relationship Management (CRM) : trouver, gagner et garder ses clients! Ø détection de fraudes, Ø détection de mauvais payeurs,

5 Le pré traitement Ø Intégration des données à partir de différentes sources Ø Conversion des noms d attributs (CNo -> CustomerNumber) Ø Utilisation de la connaissance du domaine pour détecter les doublons (e.g., utiliser les codes postaux) Ø Vérifier la cohérence des données : Ø des contraintes spécifiques à l application Ø Résolution des incohérences Ø «Completion» Ø Le cas des valeurs manquantes Ø Le pré-traitement des données est souvent la tâche la plus coûteuse dans le processus KDD!

6 Le pré traitement Ø Discrétisation des attributs numériques Ø Indépendamment de la tâche de fouille de données Ø Ex. : partitionner le domaine des attributs en des intervalles de même longueur. Ø Spécifique de la tâche de fouille de données Ø Partitionner en des intervalles qui maximisent le gain d information par rapport à la classe Ø Génération d attributs dérivés : Ø Agrégation d un ensembles d attributs Ø Ex. : à partir d appels Ø nb minutes par jour, semaine, appels locaux... Ø Combinaison d attributs : Ø Ex. : variation de revenu (revenu revenu 2008)

7 Le pré traitement Ø Sélection des attributs Ø manuellement : Si les connaissances du domaine sont disponibles pour les attributs. Ø de façon automatique : Ø Trop d attributs -> des répercussions sur l étape de fouille de données Ø Choix des attributs primordial : Ø Ex. : glace à la fraise

8 Data Mining Ø Définition [Fayad et al. 96] La fouille de données est l application d algorithmes efficaces qui identifient les motifs contenus dans une base de données Ø Les différentes méthodes de fouille : Ø Clustering Ø Classification Ø Extraction de motifs fréquents Ø Autres tâches : regression, détection d outlier, etc.

9 Data Mining Ø Méthodes descriptives (ou non supervisées) : Ø objectif : trouver des «formes» interprétables qui permettent de décrire les données sans référence à une base d exemples. C est donc la construction d un modèle et la découverte de relations dans les données. Ø clustering (K-means, CAH), règles d associations, SOM, Ø Méthodes prédictives (ou supervisées) : Ø objectif : à partir d exemples, inférer sur les données pour réaliser des prédictions. En ce basant sur un ensemble d exemples, on infère par exemple les classes d appartenance d autres individus. Les classes sont donc ici connues. Ø classification, régression, k-ppv

10 Data Mining Ø Applications Ø Clustering Ø Segmentation, structuration d un ensemble de documents «web», déterminer des familles de protéines et des «superfamilles», découvertes de communautés Ø Classification : Ø prédiction de la fonction d une protéine, accorder un crédit, interpréter des images en astronomie, etc. Ø Motifs fréquents : Ø mise en rayon, promotion, améliorer la structure d un site web...

11 Evaluation Ø Présentation des motifs découverts avec une visualisation appropriée Ø Evaluation des motifs par l utilisateur Ø Si l évaluation n est pas satisfaisante, alors relancer la fouille avec : Ø des paramètres différents Ø d autres méthodes Ø d autres données Ø Si l évaluation est positive : Ø Intégrer les connaissances découvertes dans une base de connaissance Ø Utiliser ces connaissances dans les futures processus KDD

12 Evaluation Ø Intérêt des motifs découverts : Ø motifs déjà connus? Ø motifs surprenants? Ø motifs pertinents par rapport à l application? Ø Pouvoir prédictif Ø Quel est la précision du motif? Ø Dans combien de cas se produit il? Ø Peut-il se généraliser à d autres cas non couverts?

13 Données, information, connaissance

14 Fouille ou pas fouille? Ø Ce que la fouille de données n est pas : Ø Chercher un numéro de téléphone dans un annuaire téléphonique Ø Effectuer une recherche avec google Ø Ce que la fouille de données est : Ø Analyser des résultats de requêtes effectuées avec google. Ø Analyser la structuration des pages d un annuaire téléphonique

15 Méthodes discutées dans le cours Ø Fouille de motifs (MP) Ø Règle d association, algorithme Apriori Ø Fouille de séquences Ø Clustering (MP) Ø Apprentissage supervisé (AA)

16 10 LOGO Qu est ce qu une donnée? Ø Une collection d objets et leurs attributs ou caractéristiques Ø Type d attribut : Ø Qualitatif Ø Nominal Ø Ordinal Tid Refund Marital Status Attributes Taxable Income 1 Yes Single 125K No 2 No Married 100K No 3 No Single 70K No 4 Yes Married 120K No Cheat Ø Quantitatif Ø Discret Ø Continu Objects 5 No Divorced 95K Yes 6 No Married 60K No 7 Yes Divorced 220K No 8 No Single 85K Yes 9 No Married 75K No 10 No Single 90K Yes

17 Motifs fréquents et règles d association Ø Motivations : chercher des régularités dans les données Ø Analyse du «panier de la ménagère» Ø Quels sont les produits qui sont fréquemment achetés ensembles? Ø Applications : rayonnage, mailing, cross marketing...

18 Recherche de règles d associations Cette méthode a été introduite en 1993 par R. Agrawal, T. Imielinski et A. Swami du centre de recherche d IBM. v Forme : Corps -> Tête [support, confiance] Achat des 2 v Première «trouvaille»? Achat bières Achat couches «Les hommes qui achètent des couches le vendredi soir, ils ont la tendance d acheter également de la bière»

19 Les données TICKET 1 Farine Sucre Lait TICKET 2 Oeuf Sucre Chocolat TICKET 3 Farine Oeuf Sucre Chocolat TICKET 4 Oeuf Chocolat Thé Un ensemble T dont les m éléments sont appelés transactions

20 Principe de construction Contenu d un ticket de caisse TICKET 1 Farine Sucre Lait Création des associations Farine Sucre Sucre Farine Sucre Lait Lait Sucre Lait Farine Farine Lait Un ensemble I dont les n éléments sont appelés items I={Farine, Sucre, Lait, Œuf, Chocolat, Thé}

21 Structure des règles produites On obtient un ensemble de règles de la forme: {Lait, Œuf} {Chocolat} support = 10%, confiance= 25% Cela signifie que 10% des transactions contiennent à la fois les items Lait, Œuf et Chocolat et que 25% des transactions contenant Lait, Œuf contiennent aussi l item Chocolat

22 Les règles d association (plus formellement) Ø Soit I = {i1,i2,..., in} un ensemble de littéraux appelés items. Ø Un itemset X : un ensemble d items X I Ø Une base de données D consiste en un ensemble de transactions ti t.q. ti I Ø On dit que t contient X si X t Ø Les items d une transaction ou d un itemset sont triés suivant un ordre lexigographique Ø Longueur d un itemset = nombre d items qu il contient Ø k-itemset : itemset de longueur k

23 Définitions Ø Support absolu d un itemset X dans D : nombre de transactions qui contiennent X Ø Support relatif de X dans D : pourcentage de transactions de D qui contiennent X Ø Itemset fréquent X dans D : itemset X avec un support minsup Ø Règle d association : règle de la forme X -> Y avec Ø X I, Ø Y I, Ø X Y =

24 Structure des règles produites(2) v Une règle d association a la forme : X X Y où et avec la prémisse est X et la conclusion est Y I Y I X Y = Ο Le support est sup( X Y) = card t { T / X Y t} / card( T) La confiance est conf( X Y) = card card { t T / X Y t} { t T / X t}

25 Recherche des règles intéressantes (1) v Critère d extraction des règles A partir d un ensemble T de transactions, trouver toutes les règles avec un support sup>min_supp et une confiance conf>min_conf où min_supp et min_conf sont des seuils fixés a priori par l utilisateur. Si Chocolat est contenu dans beaucoup de tickets cela devient moins intéressant.

26 Algorithme de base Apriori C est l algorithme proposé par Agrawal et Srikant en La complexité est d ordre O(m). v Recherche des sous-ensembles de I présentant un support sup(x) supérieur à s 0. v Construction des règles dont la confiance est supérieure à c 0.

27 Découverte des règles d association Ø Deux étapes : Ø Découvrir tous les itemsets fréquents dans D Ø Générer les règles d association à partir des itemsets fréquents : Ø Pour tous les itemsets fréquents X : Ø Pour tous les A X : (qui satisfait la contrainte de support) Ø Générer la règle A (X A) (qui satisfait la contrainte de support) Ø Verifier la confiance de la règle

28 Extraction des motifs fréquents (approche naïve) Ø Générer tous les itemsets possibles, puis calculer leur support dans la base de données Ø Problèmes : Ø Comment garder en mémoire un nombre important d itemsets? Ø 100 items => itemsets possibles!!!! Ø Comment calculer le support d un nombre important d itemsets dans une grande base de données (100 million de transactions)?

29 Extraction des motifs fréquents Ø Propriété d anti-monotonie du support : Ø Tous les sous ensembles d un itemset fréquent sont fréquents Ø Si un itemset X n est pas fréquent alors il n existe pas d itemset Y t.q X inclus en Y qui soit fréquent

30 Extraction des motifs fréquents Ø Trouver les 1-itemsets fréquents, puis trouver les 2- itemsets fréquents... Ø Pour trouver les k+1-itemsets fréquents : Ø Seulement considérer les k+1-itemsets t.q. : Ø tous les k-sous-ensembles sont fréquents. Ø Calcul du support : Ø Une passe sur la base de données pour compter le support de tous les itemsets pertinents.

31 Algorithme Apriori Ck: Lk: set of candidate item sets of length k set of all frequent item sets of length k Apriori(D, minsup) L1 := {frequent 1-item sets in D}; k := 2; while Lk-1 do Ck := AprioriCandidateGeneration(Lk 1); for each transaction T D do CT := subset(ck, T); // all candidates from Ck, that are // contained in transaction T; for each candidate c CT do c.count++; Lk := {c Ck (c.count / D ) minsup}; k++; return k Lk;

32 Génération de candidats Propriétés de l ensemble Ck des k-itemsets candidats Sur-ensemble de Lk Significativement plus petit que tous k-itemsets possibles de I

33 Génération de candidats : la jointure

34 Génération de candidats : élagage Etape 2 : l élagage Supprimer tous les éléments de Ck qui ont un (k-1) sous-ensemble qui n appartient pas à Lk-1. Ex. : L3 = {(1 2 3), (1 2 4), (1 3 4), (1 3 5), (2 3 4)} Jointure : C4 = {( ), ( )} Elagage: suppression de ( ) car (3 4 5) n appartient pas à L3 Au final : C4 = {( )}

35 Construction de C 1 Item1 Nombre Farine 2 Sucre 3 Lait 1 Œuf 3 Chocolat 3 Thé 1 On décide de retenir un taux de support de 30%

36 Construction de C 2 Item1 Item2 Nombre Farine Sucre 2 Farine Œuf 1 Farine Chocolat 1 Sucre Œuf 2 Sucre Chocolat 2 Œuf Chocolat 3 L 2 contient 4 couples {Farine,Sucre}, {Sucre, Œuf}, {Sucre, Chocolat} et {Œuf, Chocolat}.

37 Construction de C 3 Item1 Item2 Item3 Nombre Sucre Oeuf Chocolat 2 Insert into C 3 Select p.item1, p.item2, q.item2 From L 2 p, L 2 q where p.item1=q.item1 and p.item2 < q.item2

38 Ensemble des sous-ensembles fréquents L ensemble L des sous-ensembles fréquents est l union des ensembles L 1, L K. L 1 ={Farine, Sucre, Œuf, Chocolat} L 2 ={(Farine,Sucre), (Sucre,Œuf), (Sucre,Chocolat), (Œuf,Chocolat)} L 3 ={(Sucre, Œuf, Chocolat)}

39 Génération des règles à partir des itemsets Pseudo-code : Pour chaque itemset fréquent I : Générer tous les sous-ensembles non vides X de I Pour chaque X de I : Si support(i)/support(x) min_conf alors produire la règle X => (I-X)

40 Construction des règles Pour chaque ensemble fréquent on construit des règles vérifiant la contrainte de seuil de confiance. Un algorithme simple pour produire des règles à partir d un sous-ensemble fréquent f est de considérer tous les sousensembles possibles g de f et de produire la règle g (f-g) si la condition sur la confiance est vérifiée. Cependant si une règle (f-g ) g vérifie la contrainte de confiance, alors, pour chaque partie h de g, la règle (f-h) h vérifie aussi la condition de confiance. Alors on commence par les règles ayant un seul conséquent, puis sur les règles retenues on génère les règles ayant deux conséquents.

41 Tableau des règles Sous-ensemble Règle Support Confiance {Farine, Sucre} Farine->Sucre 2/4 2/2 Sucre->Farine 2/4 2/3 {Sucre, Œuf} Sucre->Oeuf 2/4 2/3 Œuf->Sucre 2/4 2/3 {Sucre, Chocolat} Sucre->Chocolat 2/4 2/3 Chocolat->Sucre 2/4 2/3 {Œuf, Chocolat} Œuf->Chocolat 3/4 3/3 Chocolat->Oeuf 3/4 3/3 {Sucre, Œuf, Chocolat} Sucre->Œuf, Chocolat 2/4 2/3 Œuf, Chocolat->Sucre 2/4 2/3 Œuf->Sucre, Chocolat 2/4 2/3 Sucre, Chocolat-> Œuf 2/4 2/2 Chocolat->Sucre, Œuf 2/4 2/3 Sucre, Œuf->Chocolat 2/4 2/3

42 Tableau des règles intéressantes Liste des règles ayant une confiance égale à 1. Sous-ensemble Règle Confiance lift {Farine, Sucre} Farine->Sucre 2/2 4/3 {Œuf, Chocolat} Œuf->Chocolat 3/3 4/3 Chocolat->Oeuf 3/3 4/3 {Sucre, Œuf, Chocolat} {Sucre, Chocolat}-> Oeuf 2/2 4/3

43 Remarque Le nombre des combinaisons des items croît très rapidement Nombre Combinaisons Le nombre d items est égal à n. Le nombre de combinaisons de k items est égal à n! /( n k)! k!

44 Exercices 46/49

45 Recherche de séquences fréquentes v On est capable de conserver la trace du passage d un même client à différents instants v En plus de la recherche de règles d associations, il est possible de rechercher des séquences d achats fréquentes. v Chaque élément d une séquence fréquente peut être composée de plusieurs items.

46 Structure des données v I un ensemble d items v C un ensemble de clients v D un ensemble ordonné de dates v T un ensemble de transactions Chaque transaction est définie par v Un ensemble d items v Identifiant du client v La date de la transaction

47 Tableau des séquences

48 Séquences v Une séquence est une liste ordonnée de sousensembles d items. v Une relation d ordre partielle sur l ensemble des séquences a=(a 1,,a p ) et b=(b 1,,b p ) deux séquences a est contenu dans b s il existe des entiers i 1 < <i p tel que a 1 b,..., i1 a p b ip

49 Séquence de client v L ensemble des transactions d un client est une séquence particulière, appelée séquence de client. v Le support d une séquence est : sup(s)=(nombre de séquences de clients contenant s)/(nombre total de clients) v Séquence a de client supporte b si b est inclus dans a. v Une séquence qui a le minimum support est appelée large (frequent) itemset

50 Critère d extraction des séquences A partir d un ensemble T de transactions, trouver l ensemble des séquences présentant un support supérieur à s, paramètre de la méthode. Les séquences trouvées sont appelées séquences fréquentes.

51 Algorithme de base v Rechercher les séquences de longueur 1 ayant un support supérieur à s (large sequences). C est l ensemble des sous ensembles fréquents. v A partir des séquences trouvées dans l étape précédente, construire les séquences de longueur 2 avec un support supérieur à s. v Par itération, construire des séquences de longueur k avec un support supérieur à s à partir de celles trouvées pour une longueur k-1.

52 AprioriAll Algorithme v Trouver toutes les séquences fréquentes en 5 étapes : Sort Phase L(arge)itemset Phase Transformation Phase Sequence Phase Maximal Phase

53 AprioriAll Algorithme Customer-Sequence Version of the Database

54 AprioriAll Algorithme Litemset Phase min_sup_count=2 Apriori/DHP FP Growth

55 AprioriAll Algorithme Transformation Phase

56 AprioriAll Algorithme Sequence Phase Large 2-Sequences Customer Sequences Large 1-Sequences 2 Large 3-Sequences Large 4-Sequences Maximal Large Sequences

57 AprioriAll Algorithme Candidate Phase

58 AprioriAll Algorithme Discussion v L algorithme AprioriAll va générer un grand volume de séquences candidat v Scanner bcp de fois la BD v Difficulté dans la fouille de longue séquences

59 Extension de la méthode v Introduction de taxonomies v Introduction de contraintes temporelles Regroupement de transactions par fenêtre glissante Ajout de contraintes temporelles Comment vérifier ces contraintes temporelles

60 Correspondance de Galois { } { } G o H a o A a G f G o ora A a G f O G A O f = =, ), /( ) (, / ) ( ) ( ) ( : { } { } B a H a o O o B g B a ora O o B A g B O A g = =, ), /( ) (, / ) ( ) ( ) ( : intension extension (f,g) est une correspondance de Galois f et g sont deux fonctions monotones et décroissantes

61 Correspondance de Galois Farine Sucre Lait Œuf Chocolat Thé Ticket 1 X X X Ticket 2 X X X Ticket 3 X X X X Ticket 4 X X X

62 Correspondance de Galois Un itemset est fermé si aucun de ses super-ensembles immédiats a le même support que l itemset TID Items 1 ABC 2 ABCD 3 BCE 4 ACDE 5 DE support null A B C D E Fermés AB AC AD AE BC BD BE CD CE DE ABC ABD ABE ACD ACE ADE BCD BCE BDE CDE f(g(e)) = {E} f(g(d)) = {D} ABCD ABCE ABDE ACDE BCDE 0 ABCDE

63