Organisation et optimisation des données pour l apprentissage de structure d un réseau bayésien multi-entités

Transcription

1 Organsaton et optmsaton des données pour l apprentssage de structure d un réseau bayésen mult-enttés H. Bouhamed, A. Reba,. Lecroq, M. Jaoua 1 3 Laboratore d'informatque, du ratement de l'informaton et des Systèmes (LIIS), Unversté de Rouen, France Centre of Botechnology Sfax (CBS), unsa Hen.bouhamed@etu.unv-rouen.fr Multmeda Informaton Systems and Advenced Computng laboratory (MIRACL), Unversté de Sfax, unse Résumé L objectf de notre traval est de développer une nouvelle démarche d extracton de connassances à partr d une grande masse de données, le résultat de l applcaton de cette démarche sera un système expert qu servra comme outls de dagnostc d un phénomène lés à un énorme système d nformaton. Nous rappelons tout d abord la problématque générale de l apprentssage de structure d un réseau bayésen à partr de données et nous proposons une soluton d optmsaton de la complexté en utlsant des méthodes d organsatons et d optmsatons des données avant l apprentssage et un formalsme spécfque des réseaux bayésens qu est les MEBN (Mult enttes bayesan networks ou réseau bayésen multenttés). Enfn nous concluons sur les lmtes attentes par ces travaux. Mots clefs Réseaux bayésens mult enttés, apprentssage de structure à partr de données, Fuson de scores, classfcaton, analyse smple varable, sélecton de classes

2 1 Introducton Dans les études qu vsent à dentfer les classes de varables responsables d un phénomène donné on utlse souvent un grand nombre de varables chacun donnant un sgnal (mesuré par un test statstque) en faveur de l assocaton ou non avec un phénomène, les valeurs de tests consttuent l alphabet d un texte et on recherche la présence de classes où se succèdent les très fables valeurs de tests. Ensute une fos ces classes sont dentfées, l faut les classer par ordre d mportance (les plus rches en valeurs fables étant les plus mportants) et évaluer le nombre de régons à retenr pour leur modélsaton sous forme d un modèle graphque probablste. Un déf mportant est alors de modélser un grand nombre de varables sachant la complexté algorthmque d apprentssage d un modèle graphque probablste qu est exponentelle d exponentelles selon l augmentaton du nombre de varables. Problématque de l apprentssage de structure d un réseau bayésen à partr de données Le nombre de graphes acyclques drgés (DAG) pour représenter toutes les structures possbles pour les réseaux bayésens est de talle super-exponentelle. En effet, Robnson (1977) a prouvé qu l état possble de donner ce nombre grâce à la formule récursve suvante : Ce qu donne : r(1)=1 r()=3 r(3)=5 r(5)=981 r(10)=4, * r( n) = n = 1 ( 1) + 1 n ( n 1) r( n ) = n Comme l équaton est super exponentelle, l est mpossble d effectuer un parcours exhaustf en un temps rasonnable dès que le nombre de nœuds dépasse 7. La plupart des méthodes d apprentssage de structure utlsent des heurstques de recherches dans l espace des graphes acyclques drgés. Ο( n ) - -

3 3 Analyse smple varable Le test de kh-deux noté χ permet de valder des hypothèses concernant une proprété concrète contenue dans une base de cas. Il exste dfférentes méthodes basées sur le test de χ, prncpalement les tests d homogénété et les tests d adéquaton. Dans notre étude nous l utlserons prncpalement pour le test d ndépendance basée sur les tableaux de contngences, avec une base d exemples sur deux attrbuts, nous pouvons construre un tableau d occurrences conjontes des dfférentes valeurs pour ces varables. 4 Classfcaton des varables La classfcaton est le fat de créer des groupes de varables de manère à rassembler les varables qu portent les mêmes nformatons (redondantes, corrélées), et dssocer les varables qu exprment des nformatons complémentares. On se pose dans le contexte qu une stratége d'analyse de type smple varable sot lmtée pour élucder l'ensemble des mécansmes mplqués pour le surgt d un phénomène, la soluton qu on a proposée est la classfcaton des varables et le calcul de score pour chaque classe. La classfcaton est le fat de créer des groupes de varables de manère à rassembler les varables qu portent les mêmes nformatons ou qu sont fortement corrélés. On utlse la classfcaton pour comprendre les structures sous-jacentes qu organsent les données (oppostons, complémentarté, concomtance) Dans notre contexte on va utlser une méthode non hérarchque qu produt drectement une partton des ndvdus en un nombre fxé de groupes. 5 Fuson des scores de chaque classe La queston qu se pose mantenant est comment on va dédure un score qu représente toutes les varables d une classe connassant les scores statstques de chaque varable. Après une étude des méthodes utlsées en matère de fuson de score statstque dans la lttérature en nformatque et plus précsément en foulle et extracton de connassances à partr de données on a pu trouver seulement l utlsaton de méthodes qu fusonnent les scores de varables ndépendantes comme par exemple : Moyenne où Max des scores (H.N. Prakash and D.S. Guru 010) et (Daman M. lyons and D. Frank Hsu 009), Somme, mn où produt des scores (Karthk Nandakurman and Anl K. Jan 005)

4 Vu l nsuffsance des méthodes ctés dans la lttérature spécalsée en nformatque on a utlsé une méthode statstque qu s appelle runcated Product Method (Zaykn, D. V. et al 00) dont l algorthme est le suvant : Algorthme runcated Product Method 1: Constructon d une matrce de corrélaton pour les varables de chaque classe : Calculer le facteur de cholesky noter C pour chaque Matrce π 3: Chosr la valeur maxmale des p-valeurs qu seront choses L I ( p π ) 4: Calculer W0 = p 5: A=0 6: Générer aléatorement L valeur ndépendante et qu forment le vecteur R * * * u1,..., ul R * 1 * R = 1 Φ{ CΦ (1 R )} z / 1 e dz et π + 1 Φ ( x) = e x π [ 0,1] 7: ransformer le vecteur en un autre vecteur R ayant les valeurs avec l équaton suvante : x 1 //notons Φ( x) = 8: Calculer W W W 0 I u = u 9: S alors ncrémenter A par 1 10: Répéter les étapes 6-9 B fos 11: La p-valeur combnée = A/B L ( π ) z / dz u 1,...,u L 6 Classement On peut applquer des transformatons aux scores de manère à ce qu une forte valeur de score mplque un haut degré d assocaton. On peut applquer la transformaton Logarthmque suvante : -Log (p-valeur) Après la transformaton des scores, un tr décrossant sera effectué sur les classes selon leur score

5 7 Sélecton des classes très lées aux phénomènes Le but de cette étape est de proposer un ensemble de régons. On a constaté la quas absence, dans la lttérature en nformatque, de vértables méthodes où algorthmes pour proposer un ensemble de classes alors on a proposé l utlsaton de la méthode de Karln et Altschul (1993) Prncpe On consdère que parm les k scores dentfés, on va retenr les r premers. Les scores H 1 manère suvante: = H j = = H 1, H j,..., H = H + H 1 = H + H H Des p-valeurs (,..., P K sont utlsés dans une nouvelle somme de statstques de la ) seront estmées pour obtenr la dstrbuton emprque de chaque La p-valeur est alors estmée par la proporton de valeurs smulées qu dépasse la valeur observée Pt = obs 1 k P Cardnalté Karln et Altshul (1993) consdèrent que l ajout d une régon est ntéressant s l ne dmnue ( + 1) ( ) pas la sgnfcatvté de la sélecton ( P P ) r correspond aux premères régons où l n y a pas d augmentaton de la p-valeur. r = argmn ( ( + 1) ) P P ( ). B { B } obs 8 Apprentssage des classes sélectonnées sous forme d un réseau bayésen Dans les premères partes de notre traval on a déjà défne des méthodes pour le fltrage du nombre classes selon leurs mplcatons sur un phénomène donné. Dans cette parte on va présenter une nouvelle méthode d apprentssage de structure d un réseau bayésen en s nsprant du formalsme de (Laskey 007) appelé «Réseau bayésen mult-enttés»

6 Laskey (007) propose un formalsme qu unfe la logque du premer ordre et la théore des probabltés. Ce formalsme s appelle les réseaux bayésens mult-enttés (MEBN pour Multentty Bayesan network). Les MEBN sont formés de fragments (appelés MFrags) qu représentent alors la dstrbuton jonte d un sous-ensemble de varables. Applcaton Un apprentssage de structure sera fat entre les varables de chaque classe et la varable du phénomène qu sera le premer nœud du graphe (Fgure 1). Fgure 1 : Apprentssage de structure d une classe n Ensute un apprentssage de structure sera fat entre les varables de toutes les classes qu ont une relaton drecte avec la varable phénomène et cette dernère. Enfn les noeuds restants des classes seront ajoutées au graphe fnal (Fgure ). Fgure : Apprentssage de structure d un réseau bayésen mult enttés

7 9 Données d applcatons On va s ntéresser aux données génomques vu le nombre énorme des données et des nformatons que content le génome human et qu nécesste des méthodes évolués et optmsés pour en extrare des nformatons Les ADN de 13 patents attents de schzophréne et de 41 témons Canaden ont été génotypés pour ce jeu de marqueurs. Les données d études consstent en 164 SNPs sur le chromosome 13 La base de données consste en un fcher texte remple de la façon suvante : 0 : correspond au génotype aa 1 : correspond au génotype aa : correspond au génotype AA 3 : correspond à une donnée manquante Objectf du traval pour les données d applcaton L objectf dans un premer temps sera d analyser des données génomques pour la détecton de régons hautement sgnfcatve dans les études génétques des malades hérédtares complexes. Dans un deuxème temps l objectf sera de modélser les régons les plus ntéressantes sous formes d un réseau bayésen afn de servr comme outl de dagnostc. Concluson Avec notre démarche on a pu dentfer les classes les plus mplquées à un phénomène afn de les modélser, mas pour le moment on n a pas encore démontré la dfférence en termes de complexté entre l apprentssage de structure classque et l apprentssage de structure selon le formalsme «réseau bayésen mult enttés». Notre démarche d organsaton et de fltrage de données a fat ses preuves avec des données bologques, reste à la vérfer sur une autre base de données bologques ou sur d autres types de données comme par exemple des données fnancères (exemple : calcul du rsque fnancer de solvablté d un clent pour octroyer un crédt bancare)

8 Bblographe Daman, M.,Frank Hsu D. Combnng multple scorng systems for target trackng usng rank-score characterstcs. Informaton Fuson. 10 (009) Detera-Wadlegh, S. D. and McMahon, F. J. (006). G7/g30 n schzophrena and bpolar dsorder: revew and meta-analyss. Bologcal Psychatry. Dempster, A. P., Lard, N. M. and Rubn D. (1977). Maxmum lkelhood from ncomplete data va the EM algorthm. J of the Royal Stat Soc B 39: Geudj, M., Robeln, D., Hoebeke, M., Lamarne, M., Wojck, J., and Nuel, G. (006). Detectng Local Hgh-Scorng Segments: a Frst-Stage Approach for Genome-Wde Assocaton Studes. Statstcal Applcatons n Genetcs and Molecular Bology,. Jan, A., Nandakumar, K., Ross, A. Score normalzaton n multmodal bometrc systems. Pattern Recognton volume 38 Issue 1, Decembre 005, Pages Karln, S. and Altschul, S. (1993). Applcatons and statstcs for multple hgh-scorng segments n molecular sequences. Proceedngs of the Natonal Academy of Scence USA 90, Laskey, K. B., MEBN: A language for frst-order Bayesan knowledge bases. Artfcal Intellgence 17 (008) Leray, PH., Francos, O., Evaluaton of structure learnng algorthms for Bayesan networks. Artcle INSA Rouen Laboratore PSI FRE CNRS 645, [En lgne]. Adresse URL : NAIONAL CANCER INSIUE (Page consultée le 0 septembre 009) Dstrbuton of SNPs by chromosome, [En lgne]. Adresse URL : Prakash, H. N., Guru, D. S. Offlne sgnature verfcaton : An approach based on score level fuson. Internatonal journal of computer applcatons (010) volume 1 No.18. Robnson, R. W. Countng unlabeled acyclc dgraphs. Dans Lttle, C. H. C. (Ed.), Combnatoral Mathematcs V (1977), volume 6 of Lecture Notes n Mathematcs, (pp. 8 43)., Berln.Sprnger. 14, 64 Zaykn, D. V., Zhvotovsky, L. A., Westfall, P. H., Wer, B. S. runcated product method for combnng P-values Wley Inter Scence