RÈGLES ORDINALES : UNE GÉNÉRALISATION DES RÈGLES D'ASSOCIATION

Transcription

1 RÈGLES ORDIALES : UE GÉÉRALISATIO DES RÈGLES D'ASSOCIATIO SYLVIE GUILLAUME ALI KHECHAF 2 RÉSUMÉ: La plupart des mesures des règles cocere les variables biaires et écessite pour les autres types de variables ue phase de codage disjoctif complet. Comme la complexité des algorithmes automatiques d'extractio de règles d'associatio est essetiellemet foctio du ombre de variables, ue telle trasformatio peut se heurter rapidemet à ue explosio combiatoire ou egedrer u ombre prohibitif de règles dot la plupart sot redodates. De plus, les mesures de liaiso statistiques etre les variables quatitatives e sot pas sélectives das le cas de doées volumieuses. Das cette commuicatio, ous proposos ue mesure pour variables ordiales (variables quatitatives et qualitatives ordiales, l'itesité d'implicatio ordiale, mesure sélective pour les doées volumieuses. L'étude se termie par ue évaluatio sur ue base de doées bacaire. MOTS-CLÉS: Extractio de Coaissaces à partir des Doées (ECD, règles d'associatio, doées volumieuses, mesures statistiques, aalyse implicative, mesures quatitatives. SUMMARY : Most of rule-iterest measures are suitable for biary variables ad require a trasformatio (a complete disjoctive codig for umeric ad categorical variables. Give that the complexity of usupervised usual algorithms for the discovery of associatio rules icreases expoetially with the umber of variables, this trasformatio ca lead us, o the had to a combiatorial explosio, ad o the other had to a prohibitive umber of weakly sigificat rules with may redudacies. Moreover, measures suitable for umeric variables are ot selective for large databases. I this paper, we propose a measure suitable for ordial variables, the ordial itesity of implicatio, selective measure for large databases. A evaluatio to some bakig data eds up the study. KEY WORDS : Kowledge Discovery i Databases (KDD, data miig, associatio rules, large databases, statistical measures, implicative aalysis, umerical measures. IRI, Uiversité de ates École Polytechique de l'uiversité de ates 2, Rue de la Houssiière BP ates Cedex 3 - Frace sguillau@ireste.fr 2 Laboratoire IRCCy, UMR 6597 CRS, Divisio SETRA Rue C. Pauc, La Chatrerie BP ates Cedex 3 Frace akhecha@ireste.fr

2 . ITRODUCTIO La recherche de mesures pertietes [] [4] pour les règles d'associatio est u importat problème e extractio de coaissaces à partir des doées. Cepedat, la plupart des mesures objectives [0] [2] [4] coceret les variables biaires et écessite ue phase de codage disjoctif complet des variables pour utiliser tout algorithme automatique d'extractio de règles d'associatio [] [] [5]. Comme la complexité de ces algorithmes est essetiellemet foctio du ombre de variables, ue telle trasformatio peut se heurter rapidemet à ue explosio combiatoire ou egedrer u ombre prohibitif de règles dot la plupart sot redodates ou faiblemet sigificatives. De plus, la structure d'ordre des variables ordiales (variables qualitatives ordiales et variables quatitatives est perdue par cette trasformatio. Afi de palier à ce problème, ous ous sommes itéressés aux mesures cocerat les variables quatitatives. Or, les mesures de liaiso etre ces variables, comme par exemple le coefficiet de corrélatio sigificatif ou l'idice de vraisemblace du lie local [9], e sot pas sélectives das le cas de doées volumieuses [7] et écessitet ue autre mesure pour trouver le ses de l'implicatio (X Y ou Y X. Das [8], ue mesure implicative et sélective pour les doées volumieuses, l'itesité de propesio, est utilisée pour des variables quatitatives à valeurs das l'itervalle [0..]. ous pourrios utiliser cette mesure e adaptat les variables ordiales par la trasformatio suivate (X x mi / ( x max x mi où x mi et x max sot respectivemet les valeurs miimale et maximale de la variable X, mais ue telle trasformatio est péalisate pour des doées volumieuses et surtout, cette mesure privilégie certais idividus [7] ce qui a pour coséquece d'élimier des règles pertietes. C'est pourquoi ous avos adapté et modifié cette mesure aux variables quatitatives à valeurs das tout itervalle de l'esemble des réels. Aisi, cet article s'orgaise de la faço suivate. Das la sectio 2 ous présetos les mesures statistiques quatitatives et expliquos pourquoi celles-ci e sot pas sélectives pour les doées volumieuses. Das la sectio 3 ous défiissos otre mesure d'itérêt, l'itesité d'implicatio ordiale, et doos das la sectio 4 la sigificatio des règles extraites avec cet idice, règles que ous appelos ordiales. La sectio 5 évalue cette mesure sur des doées bacaires et ue coclusio géérale résume l'esemble des poits abordés et quelques perspectives sot evisagées pour la suite de ce travail. 2. MESURES QUATITATIVES Das cette sectio ous présetos trois mesures statistiques quatitatives, à savoir le coefficiet de corrélatio liéaire sigificatif, l'idice de vraisemblace du lie et l'itesité de propesio. 2.. COEFFICIET DE CORRELATIO LIEAIRE SIGIFICATIF Pour ue populatio dot la taille est supérieure à 00, la variable aléatoire R dot le coefficiet de corrélatio r est ue valeur observée, suit approximativemet la loi ormale de moyee 0 et d'écart-type [SAP 90]. Plus la taille de la populatio est importate, plus l'écart-type dimiue et ted vers zéro. Par coséquet, la foctio de répartitio de R e

3 possède que deux valeurs pour les grades populatios : 0 et. Cette mesure 'est doc pas sélective pour les doées volumieuses IDICE DE VRAISEMBLACE DU LIE LOCAL Soiet X et Y deux variables quatitatives, la taille de la populatio Ω et r le coefficiet de corrélatio liéaire. L'idice de vraisemblace du lie local V(X,Y [9] est défii de la faço suivate : V(X,Y = 2 t - r e 2 2π Lorsque r est égatif (respectivemet positif et la taille de la populatio élevée, alors la valeur de - r ted vers mois l'ifii (respectivemet l'ifii, et la valeur de l'idice V(X,Y ted vers 0 (respectivemet. Pour fiir, lorsque la valeur de r est égale à 0, la valeur de V(X,Y est égale à 0.5. Par coséquet, cet idice 'est égalemet pas ue mesure sélective pour les doées volumieuses car il e possède que trois valeurs : 0, 0.5 et. Afi de corriger l'icovéiet de cette mesure, I.C. Lerma l'a modifiée par u cetrage et ue réductio de toutes les valeurs de cette mesure extraites à partir d'ue base de doées. Soit µ la moyee des valeurs de cette mesure et soit σ l'écart-type. La ouvelle mesure V'(X,Y, appelée idice de vraisemblace du lie global, est défiie par : V ( X, Y µ V '( X, Y = σ Cette ouvelle mesure, sélective pour des doées volumieuses, écessite l'utilisatio d'ue autre mesure afi de détecter le ses des règles (X Y ou Y X. dt 2.3. ITESITE DE PROPESIO Soiet X et Y deux variables quatitatives à valeurs x i et y i das l'itervalle [0..] et soit la taille de l'échatillo E représetatif de la populatio Ω (i {,..,}. Soiet m X et m Y les moyees arithmétiques des variables X et Y, et soiet v X et v Y les variaces des variables X et Y. L'itesité de propesio P(X Y [8] gééralise l'itesité d'implicatio [5], mesure utilisée das des systèmes de découverte de coaissaces comme FIABLE [3] et PEDRE [6], aux variables quatitatives à valeurs das l'itervalle [0..]. Elle est défiie de la faço suivate : P(X Y = t s e 2 2π 2 dt avec s = x i( yi -mx( my 2 2 (vx mx (vy ( my.

4 Cotrairemet aux deux mesures précédetes, l'itesité de propesio est ue mesure implicative et sélective pour les doées volumieuses. Cepedat, celle-ci 'est valable que pour les variables quatitatives à valeurs das [0..]. ous pouvos l'utiliser e adaptat les variables quatitatives par la trasformatio (X-x mi /(x max -x mi avec x mi et x max les valeurs miimale et maximale de la variable X mais ous préféros évaluer les implicatios sur l'esemble des variables iitiales car ue telle trasformatio est péalisate pour des doées volumieuses et surtout, cette mesure privilégie certais idividus [7] ce qui a pour coséquece d'élimier des règles pertietes. C'est pourquoi ous avos adapté et modifié l'itesité de propesio aux variables quatitatives à valeurs das tout itervalle [x mi..x max ] de l'esemble des réels. 3. ITESITÉ D'IMPLICATIO ORDIALE Das cette sectio, ous présetos l'itesité d'implicatio ordiale qui gééralise l'itesité de propesio et l'itesité d'implicatio aux variables quatitatives à valeurs das tout itervalle de l'esemble des réels et aux variables qualitatives omiales après u codage approprié des valeurs de celles-ci das l'esemble des réels. Soiet X et Y deux variables quatitatives à valeurs x i et y i (i {,..,} das respectivemet les itervalles [x mi..x max ] et [y mi..y max ]. L'itesité d'implicatio ordiale mesure si le ombre des idividus e vérifiat pas fortemet la règle X Y, c'est-à-dire le ombre des idividus ayat ue valeur élevée pour X et faible pour Y, est sigificativemet faible comparativemet à ce que l'o obtiedrait si par hypothèse ces deux variables étaiet idépedates. ous appelos ce ombre d'idividus, le ombre des cotre-exemples ou ecore la mesure brute ordiale. E s'ispirat des travaux de [6] et [8], ous proposos la mesure ordiale brute suivate : qo = (xi-xmi (ymax-yi Das [8], J.B. Lagrage retiet u idice moye propesio et, das [6] R. Gras propose l'idice brut q '' 0 xi( -yi i q0 ' = = xi(ymax-yi i xmax ymax pour sa mesure de = =. Comme la mesure de [8] 'est valable que pour des variables à valeurs das l'itervalle [0..], ous avos la relatio '' ' q = etre ces deux deriers idices. 0 q0 L'idice ordial brut xi (y -yi max aurait pu être reteu mais il est importat de faire iterveir la valeur miimale de X. E effet, si ous cosidéros le terme x i au lieu du terme (x i -x mi das la mesure brute, ous doos de l'importace aux idividus ayat des faibles valeurs pour X et ce, d'autat plus, que la valeur miimale prise par X est élevée. L'idice xi (y -yi max a ue valeur supérieure à q 0 et peut rejeter des règles valides. Ceci est illustré par la figure doat les courbes des foctios x i (y max -y i (courbe de gauche et (x i -x mi (y max -y i (courbe de droite pour x [00..50] et y [50..90].

5 Figure : Courbes des mesures brutes avec (courbe droite et sas (courbe gauche la prise e compte de la valeur miimale de X. La courbe de gauche (figure motre que les idividus ayat ue faible valeur pour X et Y ot u poids aussi importat que certais idividus ayat ue forte valeur pour X et ue faible valeur pour Y cotrairemet à la courbe de droite (figure où les idividus ayat ue faible valeur pour X ot u poids égligeable. Aisi, pour la courbe de gauche, les idividus vérifiat simultaémet x=00 et y=50, ot u poids équivalet à ceux vérifiat simultaémet x=50 et y=82 c'est-à-dire u poids de 400 ce qui 'est pas le cas pour la courbe de droite car ces idividus ot u poids ul. C'est pourquoi ous avos reteu la mesure ordiale brute q 0. Comme pour tous les idices statistiques, o se réfère à ue échelle de mesure c'est-à-dire à ue échelle probabiliste. Il faut doc détermier la loi de probabilité de la variable aléatoire Q dot cette mesure brute q o est ue réalisatio. Soit ue épreuve aléatoire E cosistat à prélever u échatillo E de idividus parmi la populatio Ω. Soiet U et W deux variables aléatoires idépedates preat respectivemet leurs valeurs u i et w i das les itervalles [u mi..u max ] et [w mi..w max ] (i {,..,}. Afi d'effectuer ue comparaiso avec les variables X et Y défiies ci-dessus, ces deux variables aléatoires U et W doivet avoir la même moyee et variace que celles respectivemet de X et Y. Soiet m X, m Y, m U et m W les moyees respectivemet de X, Y, U et W et soiet v X, v Y, v U et v W les variaces respectivemet de X, Y, U et W; ous avos m X = m U, m Y = m W, v X = v U, et v Y = v W. Cosidéros la variable aléatoire Q égale à (U i -umi (wmax-wi dot qo = (u i-umi (wmax-wi est ue réalisatio. Cette variable aléatoire Q suit asymptotiquemet la loi ormale (m,v avec m= (m X x mi (y max -m Y et v²=[v X (m X -x mi ²][v Y (y max -m Y ²] [7]. U test statistique uilatéral va détermier la validité de l'hypothèse d'idépedace des deux variables X et Y. Soiet H 0 l'hypothèse d'idépedace etre X et Y et H l'hypothèse alterative. Soit α le risque de première espèce. La règle de décisio est la suivate : Si Pr(Q q o > α alors o accepte H 0

6 sio o rejette H 0 et o accepte H Si la probabilité Pr(Q q o d'avoir u ombre iférieur ou égal à q o est élevée, ous pouvos e coclure que q o 'est pas sigificativemet faible car pouvat se produire assez fréquemmet et par coséquet l'implicatio X Y 'est pas pertiete. Par cotre, si la probabilité Pr(Q q o est faible, ous pouvos e coclure que l'implicatio X Y a u ses puisqu'il est fort improbable d'obteir u ombre aussi faible. Afi de mesurer cette implicatio de faço croissate, l'idice ϕ(x Y= Pr(Q>q o est reteu. Aisi, l'implicatio X Y est admissible au iveau de cofiace (-α si et seulemet si Pr(Q q o α ou Pr(Q>q o -α. L'itesité d'implicatio ordiale est doc : 2 ( t µ ϕ (X Y = 2 ² e σ dt 2πσ q 0 4. REGLES ORDIALES Das cette sectio, ous expliquos la sigificatio des règles extraites par l'itesité d'implicatio ordiale, les règles ordiales. La figure 2 (courbe de gauche représete les idividus e i (i {,.., } de E suivat les valeurs de X et Y. O suppose que la variable X pred r valeurs distictes x = x mi < x 2 < < x r- < x r = x max et la variable Y possède s valeurs distictes y = y mi < y 2 < < y s- < y s = y max. Y très peu d'idividus das cette partie du pla y max y s- y mi 0 x 2 x max x mi X Figure 2. Répartitio des idividus de E suivat les valeurs de X et Y (courbe de gauche et poids attribué à ces idividus (courbe de droite L'itesité d'implicatio ordiale évalue, pour la règle X Y, si le ombre d'idividus das la zoe grisée de la figure 2 (courbe gauche est statistiquemet faible. Cepedat tous les idividus de cette zoe 'ot pas la même importace et les idividus du coi iférieur droit ot u poids plus importat, comme le motre la courbe de droite de la figure 2. Cette derière, où o a supposé que la variable X pred ses valeurs das [0..70] et Y das [0..30], motre la courbe de la foctio g(x,y = (x-x mi (y max -y où le ombre (x i -x mi (y max -y pour l'idividu e i de E correspod à g(x i,y i.

7 5. ÉVALUATIO SUR DES DOÉES BACAIRES Das cette sectio, ous présetos les règles ordiales découvertes sur ue base de doées bacaires. Tout d'abord, ous décrivos la base de doées et esuite doos les règles ordiales. 5.. DOEES BACAIRES La base de doées bacaires se composet de 47 2 idividus décrits par 52 variables dot 96% d'etre elles sot des variables quatitatives. Les variables peuvet être répertoriées e trois catégories : - Iformatios cocerat le cliet (âge, acieeté,, - Iformatios sur les différets comptes du cliet (actios, obligatios, PEL,, - Statistiques sur les différets comptes (motat des ressources, motat des ecours prêt,. Les iformatios cocerat les comptes du cliet peuvet être divisées e deux ouvelles catégories : - Variables mémorisat les ecours de chaque type Z de comptes ouverts par le cliet, c'est-à-dire les sommes d'arget déposées sur ces comptes (ecoursz, - Variables comptabilisat le ombre de comptes ouverts pour u type de produit doé (ombrez dot le motat total est eregistré das les variables précédetes RESULTATS 208 règles ordiales au seuil miimal de 0,95 ot été découvertes par l'itesité d'implicatio ordiale. Cette extractio a permis de découvrir les services pouvat itéresser u cliet déteteur d'u type de compte doé. Aisi, ous avos découvert que les cliets possédat, par exemple, u livret d'éparge sot potetiellemet itéressés par u pla éparge logemet (avec ue itesité d'implicatio égale à, u compte éparge logemet (avec ue itesité égale à, u pla d'éparge populaire (avec ue itesité égale à, ue carte bleue (avec ue itesité égale à 0,96 et u dispoible permaet (avec ue itesité égale à 0,95. Ce type d'implicatio a été détecté pour tous les produits fiaciers offerts par les baques, ce qui représete 76 règles. D'autres exemples de règles découvertes : les persoes qui possèdet le plus grad ombre de comptes actios sot les persoes les plus aciees das la baque (la valeur de l'itesité d'implicatio ordiale est égale à et les cliets qui possèdet le plus grad ombre de pla éparge populaire sot les persoes les plus âgées (itesité d'implicatio ordiale égale à. Les fortes relatios découvertes etre les variables sot les suivates. - Ue équivalece etre l'âge du cliet et so acieeté das la baque ce qui idique que plus l'âge du cliet est avacé, plus so acieeté est grade et vice-versa.

8 - Des équivaleces etre le motat des ecours pour u type de compte doé Z (ecoursz et le ombre de comptes ouverts pour ce même type de compte (ombrez. Ces équivaleces sot vérifiées pour 44% des produits fiaciers offerts par la baque, comme par exemple le prêt éparge logemet et le pla d'éparge populaire (PEP. Ce 'est pas vérifié, par exemple, pour les obligatios, les actios et le livret d'éparge. - Ue très forte relatio etre le pla éparge logemet (PEL et le compte éparge logemet (CEL comme le motre la figure 4. Ces relatios idiquet qu'e gééral u cliet souscrit à ces deux produits fiaciers. 6. COCLUSIO ET PERSPECTIVES ous avos trouvé ue mesure ordiale sélective pour les doées volumieuses : l'itesité d'implicatio ordiale. Cette mesure évite l'étape de trasformatio des variables e variables biaires et permet de découvrir u ouveau type de règles, les règles ordiales, qui ous reseiget sur l'évolutio cojoite des variables. Ces règles ous révèlet le comportemet gééral de la populatio plus facilemet qu'avec des règles dot les variables sot partitioées e itervalles. Cette étude doit se poursuivre avec la recherche de règles d'associatio ordiales, c'est-à-dire des règles composées de plus d'ue variable e prémisse et / ou e coclusio. BIBLIOGRAPHIE [] AGRAWAL R., MAILA H., SRIKAT R., TOIVOE H., VERKAMO A.I., Fast discovery of associatio rules, Fayyad U.M., Piatetsky-Shapiro G., Smyth P. ad Uthurusamy R. eds., Advaces i Kowledge Discovery ad Data Miig. AAAI/MIT Press, 996, p [2] BRI S., MOTWAI R., SILVERSTEI C., Beyod Market Baskets : Geeralizig Associatio Rules to Correlatios, Proceedigs of the 997 ACM SIGMOD Coferece, Tucso, Arizoa, mai 997, p [3] FLEURY L., BRIAD H., PHILIPPE J., DJERABA C., Rules Evaluatios for Kowledge Discovery i Database, 6th Iteratioal Coferece ad Workshop o Database ad Expert Systems Applicatios, DEXA, Lodres, Agleterre, 995. [4] FREITAS A.A., O Objective Measures of Rules Surprisigess, Secod Europea Symposium o Priciples of Data Miig ad Kowledge Discovery PKDD 98, ates, Frace, 998, p. -9. [5] GRAS R., Cotributio à l'etude Expérimetale et à l'aalyse de certaies Acquisitios Cogitives et de certais Objectifs Didactiques e Mathématiques, Thèse d'état, Uiversité de Rees I, Octobre 979. [6] GRAS R., ALMOULOUD S.A., BAILLEUL M., LARHER A., POLO M., RATSIMBA- RAJOH H., TOTOHASIA A., L'implicatio Statistique, La Pesée Sauvage, 996.

9 [7] GUILLAUME S., KHECHAF A., et BRIAD H., Geeralizig Associatio Rules to ordial rules, I proceedigs of Iformatio Quality Coferece, IQ2000, edited by Barbara D. Klei Uiversity of Michiga-Dearbor ad Doald F. Rossi Uiversity of Michiga-Dearbor, pp , Cambridge, Massachusetts, USA, October [8] LAGRAGE J.B., Aalyse Implicative d'u Esemble de Variables umériques; Applicatio au Traitemet d'u Questioaire à Réposes Modales Ordoées, Revue de Statistique Appliquée, I.H.P., Paris, 997. [9] LERMA I.C., Classificatio et aalyse ordiale des doées, Duod, 98. [0] MAJOR J., MAGAO J., Selectig amog Rules Iduced from a Hurricae Database, KDD-93, p [] MAILA H., TOIVOE H., VERKAMO A.I., Efficiet algorithms for Discoverig Associatio Rules, Usama M. Fayyad et Ramasamy Uthurusamy, éditeurs, AAAI Workshop o Kowledge Discovery i Databases, Seattle, Washigto, Juillet 994, p [2] PIATETSKY-SHAPIRO G., Discovery, Aalysis ad Presetatio of Strog Rules, I G. Piatetsky-Shapiro & W.J. Frawley, editors, Kowledge Discovery i Databases, AAAI Press, 99, p [3] SAPORTA G., Théories et méthodes de la statistique, Editios Techip, 978. [4] SILBERSCHATZ A., TUZHILI A., What makes Patters iterestig i Kowledge Discovery Systems, IEEE Tras. O Kow. Ad Data Eg., vol.8, 6, p [5] SRIKAT R., AGRAWAL R., Miig quatitative associatio rules i large relatioal tables, Proceedigs 996 ACM-SIGMOD Iteratioal Coferece Maagemet of Data, Motréal, Caada, Jui 996. [6] SUZUKI E., KODRATOFF Y., Discovery of Surprisig Exceptio Rules Based o Itesity of Implicatio, Secod Europea Symposium o Priciples of Data Miig ad Kowledge Discovery PKDD 98, ates, Frace, 998, p. 0-8.