INTRODUCTION AU DATA MINING

Transcription

1 INTRODUCTION AU DATA MINING 6 séances de 3 heures mai-juin 2006 EPF - 4 ème année - Option Ingénierie d Affaires et de Projets Bertrand LIAUDET Phase 4 : Modélisation non-supervisée - 5 : Règles d association 2 Algorithme a priori... 2 L analyse d affinité : analyse du panier de la ménagère 2 Présentation 2 Règle, support et seuil de confiance 2 Règle d association et Modèle Entité-Association (MEA - MCD) 3 Problème de l analyse systématique 4 Notion de fréquence d un sous-ensemble 4 Réduction du problème par l analyse de la fréquence 4 Principe général de la recherche de règle d association 4 Exemple 5 Matrice creuse de départ 5 Détermination des n-uplet candidats pour générer des règles d association 5 Génération des règles d association 6 Classification et interprétation des règles d association 9 Dernier filtre : seuil de confiance a priori et a posteriori 10 Extension aux données catégorielles 11 Principe 11 Exemple 11 Extension aux données numériques : discrétiser les données 11 Induction de règles généralisée : GRI Présentation 12 La mesure «J» 12 Interprétation de «J» 12 Premier élément d interprétation 12 Deuxième élément d interprétation 13 Troisième élément d interprétation 13 Formulation en fonction des cardinalités 14 Conclusions de l interprétation de «J» 14 EPF Data mining- Règles d association - p. 1/14

2 PHASE 4 : MODELISATION NON-SUPERVISEE - 5 : REGLES D ASSOCIATION Algorithme a priori L analyse d affinité : analyse du panier de la ménagère Présentation L analyse d affinité est l étude des attributs qui vont ensemble. Les méthodes d analyse d affinité sont connues sous le terme de «analyse du panier de la ménagère». Ces méthodes cherchent à découvrir des règles pour quantifier la relation entre deux attributs ou plus. Règle, support et seuil de confiance Soit un ensemble de n-uplet d attributs booléens : Règle : si antécédent alors conséquence : A => C Support : nb (A, C) = (vrai, vrai) / nb total de n-uplets Seuil de confiance : nb (A, C) = (vrai, vrai) / nb A = vrai Le support c est la probabilité de trouver en même temps A et C parmi tous les éléments. Le seuil de confiance, c est la probabilité de trouver en même temps A et C parmi tous les éléments qui contiennent A, autrement dit, c est le nombre de C vrais dans le sous-ensemble des A vrais. Exemple : le vendredi soir, un supermarché constate que 1000 clients font des courses. Sur 200 qui achètent du lait pour bébé, 50 achètent aussi du vin. Règle : si couches alors vin Support : 50 / 1000 : 5 % Seuil de confiance : 50 / 200: 25 % A noter que certains considèrent que : Support (bis): nb A = vrai / nb total de n-uplet Ce qui dans notre exemple donne : Support : 200 / 1000 : 20 % C est une autre façon de voir les choses. On peut considérer que le support de l étude est donné par les cas où on a antécédent et conséquent, ou considérer que le support de l étude est donné par les cas où on a l antécédent. EPF Data mining- Règles d association - p. 2/14

3 Règle d association et Modèle Entité-Association (MEA - MCD) Les règles d association s appliquent aux associations non hiérarchiques dans d un MCD. Les règles d association ne s appliquent pas aux attributs d une table correspondant à une entité, c est-à-dire aux attributs atomiques d une notion qui a une réalité physique. Par exemple, on ne va pas recherche de règles d association entre les attributs de la table de «churn» Par contre, si on veut modéliser les données issues d achats chez un marchand de fruits, on aura le MCD suivant : Entité Transaction--1.N Association Concerne N-- Entité fruit Une transaction concerne 1 ou N fruits. Un fruit est concerné par 0 ou N transactions. Le MLD est donc le suivant : Transaction (numt, Tx) Fruit (nomf, Fx) Concerne (numt, numf, date, quantité, prix) Les règles d associations s appliquent aux tables issues d association non hiérarchiques. Dans cette table, on trouve par exemple : numt nomfruit 1 Fraise 1 Poire 1 Banane 2 Citron 2 Pomme 2 Banane 3 Banane Etc. Ce qu on pourrait traduire par, en listant tous les fruits par transactions : NumT Fruit 1 Fraise, Poire, Banane 2 Citron, Pomme, Banane 3 Banane, etc. Etc. Etc. EPF Data mining- Règles d association - p. 3/14

4 On peut aussi faire une matrice creuse : numt numf Fraise Poire Banane Citron Pomme Etc etc. etc. 1 etc. etc. etc. Etc. etc. etc. etc. etc. etc. etc. Problème de l analyse systématique Si on passe en revue toutes les règles possibles, pour n attributs, en ne s intéressant qu aux règles avec une conséquence atomique, pour n attributs, on arrive à n * 2 (n-1) -1 règles. On atteint le million de cas à partir de 17 attributs et le milliard à partir de 27. Notion de fréquence d un sous-ensemble Soit E un ensemble de n articles. Cet ensemble contient potentiellement 2 (n-1) sous-ensembles distincts nommés Ei. La fréquence d un sous-ensemble Ei, c est le nombre de fois que ce sous-ensemble est réalisé. Dans l exemple des fruits, on voit déjà que le sous-ensemble {banane} a déjà une fréquence de 3. Réduction du problème par l analyse de la fréquence Si la fréquence d un sous-ensemble est trop basse, il ne pourra pas être antécédent d une règle d association (s il n y a qu une seule transaction pour laquelle j ai acheté des bananes, je ne pourrais pas dire que l achat de bananes va avec autre chose). Pour trouver des règles d association, on commencera donc par fixer une fréquence minimum pour la recherche. Ensuite on calcule la fréquence des sous-ensembles existants de Ei en partant des sousensembles à un seul élément. On utilise la propriété suivante pour réduire le problème : Quel que soit Ei et quel que soit l article A, la fréquence de Ei est inférieure à celle de Ei A. Autrement dit : si Ei n est pas fréquent, alors quel que soit l article A, Ei A n est pas fréquent. On peut donc commencer par éliminer tous les singletons non fréquents et donc tous les n- uplets contenant ces singletons, puis tous les doublons non fréquents et donc tous les n-uplets contenant ces doublons, etc. Cette méthode permet de réduire considérablement l ensemble des sous-ensembles d articles. Principe général de la recherche de règle d association On définit des conditions de support et de seuil de confiance. EPF Data mining- Règles d association - p. 4/14

5 À partir des sous-ensembles d articles fréquents, on génère des règles d association qui satisfassent les conditions de support et de seuil de confiance. Exemple Matrice creuse de départ On reprend le tableau des ventes de fruits en le complétant. numt numf Fraise Poire Banane Citron Pomme Raisin Orange Tableau n 1 : matrice creuse des transactions Détermination des n-uplet candidats pour générer des règles d association On commence par fixer une fréquence minimum : on choisit 4. Ensuite, on somme les colonnes pour avoir la fréquence par fruit : numt numf Fraise Poire Banane Citron Pomme Raisin Orange Fréquence %age 35,7 % 35,7 % 57,1 % 42,9 % 50,0 % 35,7 % 78,6 % Tableau n 2 : fréquence et %age de fréquence par fruit Les fréquences sont toutes supérieures à 4, tous les singletons sont donc sélectionnés. Ensuite on croise tous les sous-ensembles sélectionnés entre eux et on compte le nombre d occurrences : Fraise Poire Banane Citron Pomme Raisin Orange Poire 4 X X X X X X Banane 2 3 X X X X X Citron X X X X Pomme X X X EPF Data mining- Règles d association - p. 5/14

6 Raisin X X Orange X Tableau n 3 : couple candidat pour les règles d association Il n y a que 7 couples qui ont une fréquence suffisante. A noter le rôle prépondérant des oranges. Ensuite on peut éviter de croiser ces 7 couples avec tous les singletons. En effet, par exemple, pour le couple (fraise, poire), on sait déjà que tous les autres fruits, croisés avec la fraise, vont donner une fréquence trop basse. On va donc croiser les 6 couples entre eux, en prenant uniquement des couples de même colonne ou de même ligne. Triplet Fréquence Banane, Raisin, Orange 3 Citron, Pomme, Orange 4 Orange, Banane, Citron 1 Orange, Banane, Pomme 2 Orange, Banane, Raisin 3 Orange, Citron, Pomme (déjà vu) Orange, Citron, Raison 1 Orange, Pomme, Raisin. 2 Tableau n 4 : triplets candidats pour les règles d association Il n y a qu un triplet qui ait la fréquence suffisante. C est la condition d arrêt de la fabrication des n-uplet candidats : quand on trouve 0 ou 1 n-uplet, on peut s arrêter. On obtient donc 1 triplet en plus des 7 couples, soit 8 n-uplets candidats à la fabrication de règles d association. Génération des règles d association Principe de la constitution des règles Pour chaque couple (a, b), on peut produire deux règles d association : a => b et b => a. Pour chaque n-uplet, on peut produire n nouvelles règles d association dont l antécédent sera constitué de n-1 attributs. Explications Les règles d association d un n-uplet contiennent celle des (n-1)uplets de niveau inférieur. Or ces règles ont déjà été trouvées. Donc pour un n-uplet, on ne s intéresse qu aux règles dont l antécédent est constitué de n-1 attributs. Exemple EPF Data mining- Règles d association - p. 6/14

7 Tous les couples issus du triplet (Citron, Pomme, Orange) : (C, P), (C, O), (P,O) font partis des 7 couples déjà candidats à la fabrication de règles d association. Par contre, ces 3 couples sont des antécédents possibles pour une règle d association. Support et seuil de confiance On va maintenant calculer, pour toutes les règles d association, le support et le seuil de confiance. Soit A => C : Le support c est la probabilité de trouver en même temps A et C parmi tous les éléments. Le seuil de confiance, c est la probabilité de trouver en même temps A et C parmi tous les éléments qui contiennent A. Support : nb (A, C) = (vrai, vrai) / nb total de n-uplets Seuil de confiance : nb (A, C) = (vrai, vrai) / nb A = vrai Application à notre exemple : nb total = 14 nb conséquence = fréquence du n-uplet (antécédent, conséquence) nb antécédent = fréquence du n-uplet (antécédent) Antécédent (s) Conséquence Support Seuil de confiance Support * Confiance Fraise Poire 4/14 28,6 % 4/5 80,0 % 22,9 % Banane Raisin 4/14 28,6 % 4/8 50,0 % 14,3 % Banane Orange 5/14 35,7 % 5/8 62,5 % 22,3 % Citron Pomme 5/14 35,7 % 5/6 83,3 % 29,7 % Citron Orange 5/14 35,7 % 5/6 83,3 % 29,7 % Pomme Orange 6/14 42,9 % 6/7 85,7 % 36,8 % Raisin Orange 4/14 28,6 % 4/6 66,7 % 19,1 % Poire Fraise 4/14 28,6 % 4/5 80,0 % 22,9 % Pomme Citron 5/14 35,7 % 5/7 71,4 % 25,5 % Raisin Banane 4/14 28,6 % 4/6 66,7 % 19,1 % Orange Banane 5/14 35,7 % 5/10 50,0 % 17,9 % Orange Citron 5/14 35,7 % 5/10 50,0 % 17,9 % Orange Pomme 6/14 42,9 % 6/10 60,0 % 25,7 % Orange Raisin 4/14 28,6 % 4/10 40,0 % 11,4 % Citron, Pomme Orange 4/14 28,6 % 4/5 80,0 % 22,9 % Citron, Orange Pomme 4/14 28,6 % 4/5 80,0 % 22,9 % Pomme, Orange Citron 4/14 28,6 % 4/6 80,0 % 22,9 % Tableau n 5 : règles d association avec support et seuil de confiance EPF Data mining- Règles d association - p. 7/14

8 Le tableau ci-dessus a été construit avec les données des tableaux n 2 et 3 EPF Data mining- Règles d association - p. 8/14

9 Classification et interprétation des règles d association Classification On peut enfin, classer le tableau des règles par taux de support*confiance décroissant : Antécédent (s) Conséquence Support Seuil de confiance Support * Confiance Pomme Orange 6/14 42,9 % 6/7 85,7 % 36,8 % Citron Pomme 5/14 35,7 % 5/6 83,3 % 29,7 % Citron Orange 5/14 35,7 % 5/6 83,3 % 29,7 % Orange Pomme 6/14 42,9 % 6/10 60,0 % 25,7 % Pomme Citron 5/14 35,7 % 5/7 71,4 % 25,5 % Fraise Poire 4/14 28,6 % 4/5 80,0 % 22,9 % Poire Fraise 4/14 28,6 % 4/5 80,0 % 22,9 % Citron, Pomme Orange 4/14 28,6 % 4/5 80,0 % 22,9 % Citron, Orange Pomme 4/14 28,6 % 4/5 80,0 % 22,9 % Pomme, Orange Citron 4/14 28,6 % 4/6 80,0 % 22,9 % Banane Orange 5/14 35,7 % 5/8 62,5 % 22,3 % Raisin Orange 4/14 28,6 % 4/6 66,7 % 19,1 % Raisin Banane 4/14 28,6 % 4/6 66,7 % 19,1 % Orange Banane 5/14 35,7 % 5/10 50,0 % 17,9 % Orange Citron 5/14 35,7 % 5/10 50,0 % 17,9 % Banane Raisin 4/14 28,6 % 4/8 50,0 % 14,3 % Orange Raisin 4/14 28,6 % 4/10 40,0 % 11,4 % Tableau n 6 : règles d association triées par support * confiance Interprétation 85,7 % des acheteurs de pommes achètent aussi des oranges. 83,3 % des acheteurs de citrons achètent aussi des pommes. 80 % des acheteurs de citrons et d oranges achètent aussi des pommes. 80 % des acheteurs de 2 des trois produits suivant : (citron, pomme, orange) achètent aussi le troisième produit. Le seuil de confiance nous donne le ratio entre les antécédents et la conséquence. Les règles d association sont une sorte de «groub by» généralisé : Select count(*) nb_pommes, moy(oranges), moy(raisin), etc. From matrice creuse group by pommes Et on refait ça pour tous les fruits. EPF Data mining- Règles d association - p. 9/14

10 La conclusion, c est qu il faut mettre les pommes, les oranges et les citrons les uns à côté des autres! De même pour les fraises et les poires! Et qu on peut envisager de rappeler au client d acheter orange quand ils achètent des pommes, et d acheter des pommes et des oranges quand ils achètent des citrons. Dernier filtre : seuil de confiance a priori et a posteriori Le seuil de confiance des règles d association est dit a posteriori. A posteriori, si on achète des pommes, on a 85,7 % de chance d acheter des oranges. Quel est le seuil de confiance a priori de l achat des oranges? C est le pourcentage de fréquence par fruit (tableau n 2). Le dernier filtre consiste à ne prendre que les règles d association qui ont un seuil de confiance a posteriori supérieur au seuil de confiance a priori, c est-à-dire Ca / A > C / N (avec Ca = nombre de C vrai dans le sous ensemble des A vrai ; C = nombre de C vrai dans l ensemble complet). Autrement dit, on sait par le tableau 2 qu on a 78,6 % de chance a priori d acheter des oranges. Donc la règle a priori du tableau 6 qui dit que si j achète des bananes, j ai 62,5 % de chance d acheter des oranges ne sert à rien. numt numf Fraise Poire Banane Citron Pomme Raisin Orange Fréquence %age 35,7 % 35,7 % 57,1 % 42,9 % 50,0 % 35,7 % 78,6 % Tableau n 2 : fréquence et %age de fréquence par fruit Antécédent (s) Conséquence Support Seuil de confiance Support * Confiance Pomme Orange 6/14 42,9 % 6/7 85,7 % 36,8 % Citron Pomme 5/14 35,7 % 5/6 83,3 % 29,7 % Citron Orange 5/14 35,7 % 5/6 83,3 % 29,7 % Orange Pomme 6/14 42,9 % 6/10 60,0 % 25,7 % Pomme Citron 5/14 35,7 % 5/7 71,4 % 25,5 % Fraise Poire 4/14 28,6 % 4/5 80,0 % 22,9 % Poire Fraise 4/14 28,6 % 4/5 80,0 % 22,9 % Citron, Pomme Orange 4/14 28,6 % 4/5 80,0 % 22,9 % Citron, Orange Pomme 4/14 28,6 % 4/5 80,0 % 22,9 % Pomme, Orange Citron 4/14 28,6 % 4/6 80,0 % 22,9 % Raisin Banane 4/14 28,6 % 4/6 66,7 % 19,1 % Orange Citron 5/14 35,7 % 5/10 50,0 % 17,9 % Banane Raisin 4/14 28,6 % 4/8 50,0 % 14,3 % Orange Raisin 4/14 28,6 % 4/10 40,0 % 11,4 % Tableau n 7 : règles d association filtrées a priori triées par support * confiance EPF Data mining- Règles d association - p. 10/14

11 Extension aux données catégorielles Principe On peut appliquer le même algorithme avec des données catégorielles. Il suffit pour cela de considérer chaque valeur possible pour l attribut comme un attribut booléen à part entière, c est-à-dire un antécédent ou une conséquence possible. Exemple Soit le tableau suivant : Client Eco Cap Rev 1 Moyen Élevé Élevé 2 Faible Faible Moyen 3 Élevé Moyen Faible 4 Moyen Moyen Moyen 5 Faible Moyen Très élevé 6 Élevé Élevé Faible 7 Faible Faible Faible 8 Moyen Moyen Élevé On va le transformer en matrice creuse : Client Eco = Faible Eco = Moyen Eco = Élevé Cap = Faible Cap = Moyen Cap = Élevé Rev = Faible Rev = Moyen Rev = Élevé Rev = Très élevé À partir de là, on peut appliquer l algorithme a priori. Extension aux données numériques : discrétiser les données Pour étendre cet algorithme aux données numériques, il faut commencer par créer des catégories au sein des données numériques (comme «faible», «moyen» et «élevé») : c est ce qu on appelle discrétiser les données. On peut ensuite appliquer l algorithme. EPF Data mining- Règles d association - p. 11/14

12 Toutefois, le problème qui se posera sera de choisir les bornes de chacune de catégories. Induction de règles généralisée : GRI Présentation L algorithme d induction de règles généralisé permet de traiter des antécédents numériques. Il permet aussi de traiter les données catégorielles et booléennes. Les conséquences doivent toutefois être des données catégorielles. L algorithme fonctionne à peu près comme le précédent La mesure «J» Soit un ensemble E de N n-uplet d attributs. Soit A et C des attributs de E. Règle : si antécédent alors conséquence : A => C p(a) = Support (bis) de A : nb A = vrai / N p(cn) = Support (bis) de C : nb C = vrai / N p(ca) = : nb (A, C) = (vrai, vrai) / nb A = vrai p(a) c est la probabilité que A soit vrai dans E p(cn) c est la probabilité que C soit vrai dans E p(ca), c est la probabilité que C soit vrai dans un sous-ensemble de E tel que A est toujours vrai. L algorithme va classer les règles en fonction du paramètre J : J = p(a) *[ p(ca)* log_nep [ p(ca) / p(cn) ] + [1-p(Ca) ]*log_nep( [ 1 - p(ca) ] / [1-p(Cn) ] )] Les règles les plus intéressantes sont celles qui ont la valeur de J la plus élevée. Interprétation de «J» Premier élément d interprétation J = p(a) * Y Or, Y n est pas fonction de p(a) Donc, J croit avec p(a). Plus l antécédent est représenté, donc plus nb(a) est élevé, meilleure est la confiance qu on peut porter à la règle. EPF Data mining- Règles d association - p. 12/14

13 Cas 1 Cas 2 Cas 3 Cas 4 Cas 5 Cas 6 Cas 7 Cas 8 N cst A croissant p(a) 10,0% 20,0% 50,0% 60,0% 70,0% 80,0% 90,0% 99,9% Cn cst p(cn) cst 10,0% 10,0% 10,0% 10,0% 10,0% 10,0% 10,0% 10,0% Ca p(ca) 20,0% 10,0% 4,0% 3,3% 2,9% 2,5% 2,2% 2,0% J 0,004 0,000 0,013 0,019 0,027 0,035 0,043 0,051 Tableau 8 : exemples de calcul de J, avec p(a) croissant Deuxième élément d interprétation Sachant que : log_nep (1) = 0 Si p(cn) = P(Ca), alors J = 0 La règle ne présente pas d intérêt si on retrouve la même proportion de C dans N et dans A. Troisième élément d interprétation En fixant N, A et Cn, on obtient les valeurs de p(a) et de p(cn) Par exemple, si N = 1000, A = 500 et Cn = 100, on obtient p(a) = 50 % et P(Cn) = 10 % Avec Ca = 50, on trouve p(ca) = 10 % = p(cn) : donc J vaut 0. Avec Ca = 50, on a la même proportion de C dans A et dans N. La règle n a aucun intérêt. Si Ca augmente, J croit : on a, proportionnellement, plus de C dans A que dans N : la règle dit que si on a A, on a plus de chance d avoir C que dans le cas contraire. Inversement, si Ca diminue, J croit aussi : on a, proportionnellement, moins de C dans A que dans N : la règle dit que si on a A, on a moins de chance d avoir C que dans le cas contraire. C est une règle négative, mais qui est intéressante quand même. Cas 1 Cas 2 Cas 3 Cas 4 Cas 5 Cas 6 Cas 7 Cas 8 N cst A cst p(a) 50,0% 50,0% 50,0% 50,0% 50,0% 50,0% 50,0% 50,0% Cn cst p(cn) 10,0% 10,0% 10,0% 10,0% 10,0% 10,0% 10,0% 10,0% Ca croissant p(ca) 2,0% 6,0% 8,0% 10,0% 12,0% 14,0% 16,0% 20,0% J 0,026 0,005 0,001 0,000 0,001 0,004 0,009 0,022 Tableau 9 : exemples de calcul de J, avec p(ca) croissant EPF Data mining- Règles d association - p. 13/14

14 Formulation en fonction des cardinalités En posant que : A = ( nb A = vrai ) Cn = ( nb C = vrai ) Ca = ( nb (A,C) = vrai, vrai ) : nombre de C vrais dans le sous-ensemble des A vrais, on arrive à la formule de J suivante : J = A/N * [ (Ca/A) * log_nep [ Ca*N / (A*Cn) ] + (A-Ca)/A * log_nep [N*(A-Ca) / (A*[N-Cn])] ] Sachant que : log_nep (1) = 0 log_nep (0) = -infini La formule impose que : 0 < Ca car avec Ca = 0 la règle ne fonctionne jamais. Ca < A car avec Ca = A la règle fonctionne tout le temps. 0 < C car avec C = 0 la règle ne fonctionne jamais. C < N car avec C = N la règle fonctionne tout le temps. 0 < A car avec A = 0 la règle ne fonctionne jamais. 0 < N car avec N = 0, la règle ne fonctionne jamais. Ce qui est logique. De plus : Ca <= Cn A <= N Cette analyse ne permet toutefois pas de produire des éléments évidents d interprétation. Conclusions de l interprétation de «J» Avec la mesure de J, on va faire apparaître les règles positives et les règles négatives. Le tableau 9 nous dit que : Dans le cas 8, la présence de A multiplie par 2 les chances de trouver C par rapport à la situation standard. Dans le cas 1, la présence de A divise par 5 les chances de trouver C par rapport à la situation standard. J fait une mesure autour de la situation standard : d où le 2 ème log avec 1-p(Ca). EPF Data mining- Règles d association - p. 14/14