Utilisation de la fouille de textes et de l extraction d informations en Génomique et Bioinformatique

Transcription

1 Mastère BBSG-M2 Marseille Utilisation de la fouille de textes et de l extraction d informations en Génomique et Bioinformatique Bernard Jacq, IBDML CNRS-U2 Marseille

2 Plan Définitions : data mining, text mining, extraction d informations Mesures utilisées en extraction d information Validation des méthodes d extraction d information Un exemple concret d une méthode d extraction d informations portant sur des interactions chez la drosophile à partir d abstracts PubMed Un exemple d un outil finalisé d extractions d informations sur Internet: IHOP

3 Qu est-ce que le data mining? (fouille de données) Extraction non triviale d une information préalablement inconnue ou partiellement connue à partir de données. Exemples de data mining en génomique et protéomique : Clusterisation de gènes à partir de profils d expression d un microarray Classification fonctionnelle de protéines dans un réseau d interactions Identification par Blast de motifs conservés à partir d un protéome entier Cette information nouvelle extraite pourra par exemple être utilisée pour alimenter des BDDs biologiques

4 Pourquoi le Data Mining? Parce que les données sont là et qu il y en a beaucoup! Produire des données en masse est largement inutile si les données sont peu et/ou mal exploitées Parce que cela correspond à un nouveau type d utilisation qui va au delà de la recherche d information. Parce qu au niveau informatique, de nouvelles possibilités existent: - disques de grande capacité - processeurs plus rapides (et/ou parallelisation) - outils efficaces de visualisation - informations interconnectées - dévelopement de la recherche en fouille de textes

5 Un cas particulier de data mining : Le text mining (fouille de textes) Problème : Les textes expriment un très vaste domaine d informations diversifiées, mais la façon dont cette information est décrite la rend difficile à analyser de façon automatique But : des techniques spécifiques sont nécessaires pour analyser automatiquement des textes Défis principaux du text mining : L information est présente sous une forme non structurée (texte libre) Cette forme n est pas directement accessible à l analyse par les ordinateurs Volume de données disponible énorme (ex : Medline + projet Biomed Central)

6 Extraction d informations (EI) Qu est ce que l extraction d informations? - Soit un ensemble de textes écrit en language naturel. - A partir de chaque texte, extraire une information concernant des classes prédéfinies d entités et de relations et placer cette information dans des champs définis (d un fichier, d une BDD). Exemple : un ensemble de dépêches AFP concernant les nouvelles internationales. Tâche : A partir d une analyse automatique des textes, remplir une base de données sur des attentats en renseignant le lieu, la date, les faits (type d attentat, nb de victimes, ), l origine présumée ou revendiquée. L EI peut être vue comme l activité d instanciation de champs spécifiques d une BDD structurée en utilisant comme source une information non structurée de type texte libre.

7 Différences fondamentales entre Recherche d informations (RI) et Extraction d informations (EI) Ce que l EI n est pas : la Recherche d informations (RI) La tâche de recherche d informations (RI) : étant donné une requête d un utilisateur et une collection de documents, identifier un sousensemble de ceux-ci répondant aux critères de la requête Exemple : Trouver des résumés Medline décrivant des gènes humains surexprimés lors de l analyse moléculaire de biopsies de cancer du sein Stratégie : recherche informatique à partir de combinaisons de motsclés (gene expression, EST, microarray, breast cancer, overexpression, )

8 Dans les objectifs : Différences fondamentales entre Recherche d informations (RI) et Extraction d informations (EI) La RI sélectionne des documents potentiellement pertinents à partir d un ensemble l EI extrait l information pertinente des documents Dans les résultats : La RI propose les documents potentiellement pertinents à l utilisateur l EI propose des faits pertinents à l utilisateur ou à un programme informatique

9 Pourquoi l extraction d informations (EI) est-elle difficile? Parce que le langage naturel (écrit) est difficile (parfois pour les humains, toujours pour les ordinateurs): - le language naturel est flexible. Il y a toujours plusieurs façons d exprimer la même idée. - le language naturel est ambigu. Une phrase peut être interprétée de différentes manières. - le language est dynamique. Il évolue constamment.

10 Flexibilité, ambiguité, dynamisme du language - Flexibilité:. Engrailed contrôle la transcription de polyhomeotic. Polyhomeotic est soumis au contrôle transcriptionnel d engrailed. Le 1er intron du gène polyhomeotic contient plusieurs sites de fixation pour le facteur de transcription engrailed - Ambiguité:. Chirac aime mieux de Villepin que Sarkozy. phrase grammaticalement correcte mais ambiguë, car deux significations possibles : A. Chirac aime mieux de Villepin qu il n aime Sarkozy B. Chirac aime mieux de Villepin que Sarkozy n aime de Villepin. - Dynamisme:. Des mots nouveaux apparaissent : courriel, cédérom, chimiquier, pacs, cybercafé,.. Des mots disparaissent ou vont disparaître du language : manant, paltoquet, souillon, mobylette, Haute-Volta.. Des mots anciens sont réutilisés avec un sens identique ou nouveau : Abracadabrantesque (Rimbaud 1871, Chirac 2001), écrémage.

11 Obstacles à une E.I. efficace Quantité de données Differents types de données Non-standardisation des données limites de l état de l art des systèmes d E.I. Difficulté de conception de systèmes d E.I. génériques Pas ou peu de systèmes d E.I. commercialisés Intérêt manifesté par les biologistes pour l E.I? Trop peu d interdisciplinarité (biologistes / informaticiens)

12 Mesures d évaluation utilisées en EI Pourquoi vouloir mesurer les performances de l EI? Pour pouvoir comparer les performances de différents systèmes d EI => Utilisation de différentes mesures : Précision Rappel F- mesure

13 EVALUATION DES PERFORMANCES ENSEMBLE A ANALYSER INFORMATIONS FAUSSES INFORMATIONS VRAIES

14 EVALUATION DES PERFORMANCES ENSEMBLE A ANALYSER INFORMATIONS NON EXTRAITES UTILISATION D UN INFORMATIONS EXTRAITES PROGRAMME D EXTRACTION D INFORMATIONS Quelle est la qualité des informations extraites? Quelle proportion des informations qu il y avait à trouver a effectivement été trouvée par le programme? Parmi les informations effectivement extraites par le programme, quelle proportion est exacte?

15 EVALUATION DES PERFORMANCES ENSEMBLE A ANALYSER INFORMATIONS VRAIES INFORMATIONS EXTRAITES

16 VRAIS NEGATIFS EVALUATION DES PERFORMANCES ENSEMBLE A ANALYSER FAUX POSITIFS INFORMATIONS VRAIES VRAIS POSITIFS INFORMATIONS EXTRAITES TROUVEES FAUX NEGATIFS COMMENT EVALUER LES PERFORMANCES DE LA METHODE?

17 Mesures utilisées en EI Les résultats de toute prédiction doivent tenir compte de quatre résultats : - Vrais Positifs (VP) (TP) (Anglais) - Vrais Négatifs (VN) (TN) - Faux Positifs (FP) (FP) - Faux Négatifs (FN) (FN) Matrice de confusion : Echantillon + Echantillon - Prédiction + VP FP Prédiction - FN VN

18 Mesures utilisées en EI Rappel (pourcentage de ce qui était correct dans ce qui est trouvé par le système) R = VP/(VP+FN) «Parmi les réponses justes qu il fallait donner, quel pourcentage le système en a t il trouvé?» Synonymes de Rappel : Sensibilité (Sensitivity), Taux de vrais positifs, recall (E) Précision (pourcentage de réponses correctes trouvées par le système) P = VP/(VP+FP) «Parmi les réponses que le système a donné, quel est le pourcentage de réponses justes?» Synonymes de Précision : Sélectivité, Precision (E)

19 Mesures utilisées en EI Rappel (pourcentage de ce qui était correct dans ce qui est trouvé par le système) R = VP/(VP+FN) (Recall) Synonymes de Rappel : sensibilité (Sensitivity), Taux de vrais positifs Précision (pourcentage de réponses correctes trouvées par le système) P = VP/(VP+FP) (Precision) Synonymes de Précision : sélectivité F-mesure (combinaison pondérée de rappel et précision) F = 2 P x R/(P + R) NB : On utilise parfois 2 autres termes : Spécificité (Specificity) S = VN /VN+FP (Taux de vrais négatifs) Exactitude (Accuracy) J= VP+VN/(VP+VN+FP+FN) (Nbre de prédictions justes/nbre total de prédictions)

20 Mesures utilisées en EI NB : TAUX DE PRECISION ET DE RAPPEL VARIENT EN SENS INVERSE Système «idéal» Rappel Système «efficace mais peu précis» Système «précis mais peu efficace» 0 50 % 100% Précision

21 Exemple (équilibré) de comparaisons de résultats de différents systèmes d EI classifier TP TN FP FN Accuracy A % B % C % D % B, C, D sont meilleurs que A B est-il meilleur que C et D? C est-il meilleur que B et D? D est-il meilleur que B et C? L exactitude (Accuracy) ne suffit pas!

22 Exemple (déséquilibré) classifier TP TN FP FN Accuracy A % B % C % D % D est meilleur que A B est-il meilleur que A, C et D? Une bonne exactitude ne signifie rien si l échantillon est déséquilibré

23 Comparaison des performances de prediction L exactitude paraît être la bonne mesure d évaluation Mais elle est efficace seulement quand les populations positives et négatives sont de taille équivalente Le rappel et la précision pris ensemble constituent une meilleure mesure d évaluation Que faire dans un cas où A a un meilleur rappel que B et N une meilleure précision que A?

24 L utilité de la F-Mesure Moyenne harmonique du rappel et de la précision F = 2 * rappel * precision rappel + precision D est meilleur que A B est-il meilleur que A, C et D? classifier TP TN FP FN Accuracy A % B % C % D %

25 L utilité de la F-Mesure D est meilleur que A B est-il meilleur que A, C et D? classifier TP TN FP FN Accuracy F-measure A % 33% B % undefined C % 40% D % 46% Non conforme à l intuition

26 Pause..

27 Validation de systèmes d EI Dans la mise au point de systèmes d extraction d infor mation, il faut séparer échantillons d apprentissage (utilisés pour mettre au point la méthode) et de test (validation) Il n y a pas de rapport fixe à utiliser entre nombre d échantillons d apprentissage et de test mais ils sont classiquement dans un rapport 2:1 La proportion d instances des differentes classes à identifier dans les tests doit être similaire à la proportion dans les échantillons d apprentissage Que faire si la quantité de données est insuffisante pour avoir 1/3 d échantillons pour le test?

28 Validation croisée 1.Test 2.Train 3.Train 4.Train 5.Train 1.Train 2.Test 3.Train 4.Train 5.Train 1.Train 2.Train 3.Test 4.Train 5.Train 1.Train 2.Train 3.Train 4.Test 5.Train 1.Train 2.Train 3.Train 4.Train 5.Test Diviser les échantillons en k parts équivalentes Chaque part contient une proportion similaire d échantillons des différentes classes On utilise chaque part pour tester l ensemble des autres parts La performance finale est la moyenne des tests individuels

29 Validation croisée Le classifieur (extracteur) peut ne pas être capable de prédire correctement si la quantité totale de données disponibles est trop petite. Mais la qualité du test peut ne pas être bonne si la proportion de données utilisées pour le test est trop petite.? p % q %? Apprentissage Test

30 Un cas extrême, la méthode du Leave-One-Out A partir de N échantillons disponibles dans le jeu de données, un classifieur est entrainé sur (N -1) échantillons, et testé sur L échantillon laissé de côté Ceci est répété N fois, jusqu à ce que chaque échantillon ait été inclus une fois comme échantillon de validation croisée. Les résultats sont moyennés sur les N tests pour estimer la performance de prédiction du classifieur. Données Test Données Test Données N Expérience 1 Expérience 2 Expérience N Test

31 Exemple concret d extraction d informations Les «message understanding conferences» State of the art Evaluation Results in Open International Competition (MUC 7, 1998 ) Task Recall Precision P & R Named Entity Coreference Template Element (entity + attributes) Template Relation Scenario Template

32 Le traitement automatique du language But ultime: «compréhension» automatique du language écrit par un ordinateur Très difficile, sinon impossible Essayer d atteindre des sous-objectifs plus réalistes: - désambiguisation des mots - reconnaissance de phrases - associations sémantiques Deux grandes classes d approches : - linguistique informatique - statistique textuelle

33 La loi de Zipf Objectifs: Etude linguistique des écrits littéraires en étudiant les biais de fréquence d utilisation des mots travaux: analyse du texte «Ulysse» de J. Joyce: Comptage des mots : mots Classement par fréquence décroissante et numérotation par rang d apparition Le produit du rang par la fréquence est proche d une constante (invt prop.) Courbe fréquence=f(rang) proche de 1/x (ou log (freq)= log (rang) est linéaire décroissante)

34 Interprétation du contenu en information d un texte en zones des lois hyperboliques Texte contrôlé Texte libre

35 Un exemple concret d extraction d informations scientifiques en protéomique fonctionnelle Acquisition automatisée de données d interactions génétiques et moléculaires à partir de résumés Medline par statistique textuelle

36 Buts But générique : Extraire de l information sur les interactions moléculaires et génétiques à partir de textes (résumés Medline) Objectifs spécialisés : Est-ce qu un résumé donné contient des phrases décrivant une (des) interaction(s)? Quels en sont les partenaires et le type d interaction? Etablir des listes exhaustives d interactions extraites de la littérature pour plusieurs espèces modèles Moyens : Préparer des corpora tests annotés pour les interactions Mettre au point des méthodes adaptées Développer un outil intégrant ces méthodes

37 Sources d information sur les interactions Avant 1997: pas de bases de données d interactions Depuis 1997: plusieurs bases de données d interactions, mais non exhaustives (EcoCyc, DIP, KEGG, BIND, Mint, FlyNets,...) Données fragmentaires présentes dans les bases de données moléculaires et génétiques telles que SwissProt, GenBank, FlyBase, De très nombreuses données sur les interactions sont présentes dans les bases de données bibliographiques mais d une façon non-explicite et non-standardisée

38 Exemples de descriptions textuelles diversité Importante dans la façon de décrire les d interactions interactions dans les textes The 1.28 gene is directly activated by Dfd in the maxillary segment but not in the mandibular segment. Antp activation depends on brm interaction with the promoter E2f and Dp gene products interact and cooperate to give sequence specific DNA binding and optimal trans-activation Spatially restricted expression of dpp in the visceral mesoderm is regulated by the homeotic genes Ubx and abd-a trx is necessary for normal levels of abd-a protein accumulation. Using a combination of promoter fusion-p-transformation assays, and in vitro DNA-binding assays coupled with site-directed mutagenesis, we establish a direct link between dl-binding sites and twi expression in the early embryo Increasing the number of wild type copies of amx does not modify the bib mutant phenotype

39 Mise en évidence d interactions (1) Identification des partenaires The 1.28 gene is directly activated by Dfd in the maxillary segment but not in the mandibular segment. Antp activation depends on on brm brm interaction interaction with with the the promoter promoter E2f E2f and and Dp Dp gene gene products interact and and cooperate to to give give sequence specific DNA binding and optimal trans-activation Spatially Spatially restricted restricted expression of of dpp dpp in in the the visceral visceral mesoderm mesoderm is is regulated by the homeotic genes Ubx and abd-a trx is is necessary for normal levels of of abd-a protein accumulation. Using a combination of promoter fusion-p-transformation assays, and in vitro DNA-binding assays coupled with site-directed mutagenesis, we establish a direct link between dl-binding sites and twi expression in in the early embryo Increasing the number of wild type copies of amx does not modify the bib mutant phenotype

40 Mise en évidence d interactions (2) Identification des partenaires Identification d un vocabulaire interaction-specifique The 1.28 gene is is directly activated by by Dfd Dfd in the in the maxillary segment but not but in the not mandibular in the mandibular segment. segment. Antp Antp activation depends depends on on brm brm interaction interaction with with the the promoter promoter E2f E2f and and Dp Dp gene gene products products interact interact and and cooperate cooperate to give to give sequence sequence specific specific DNA DNA binding binding and and optimal optimal trans-activation trans-activation Spatially restricted expression of dpp in the visceral mesoderm is regulated Spatially by restricted the homeotic expression genes Ubx of dpp and in abd-a the visceral mesoderm is trx regulated is necessary by the for homeotic normal levels genes of Ubx abd-a and protein abd-a accumulation. Using trx is a necessary combination for of normal promoter levels fusion-p-transformation of abd-a protein accumulation. assays, and in vitro Using DNA-binding a combination assays of coupled promoter with fusion-p-transformation site-directed mutagenesis, assays, weand establish in vitro a direct DNA-binding link between assays dl-binding coupled with sites site-directed and twi expression mutagenesis, in the early we embryo establish a direct link between dl-binding sites and twi expression Increasing the early the embryo number of wild type copies of amx does not modify the bib Increasing mutant phenotype the number of wild type copies of amx does not modify the bib mutant phenotype

41 Stratégie générale d extraction d information sur les interactions Utilisation de méthodes de statistique textuelle (et non de linguistique) Séparer le problème en deux sous-tâches : - détecter les noms de gènes/protéines dans les phrases - détecter parmi les phrases positives celles décrivant des interactions Intégration des méthodologies développées dans un outil nouveau capable d assurer deux fonctions : - outil d aide à l annotation pour les gènes/protéines et les interactions dans des jeux de résumés de référence - extracteur d interactions automatique multi-espèces (mais espèce-spécifique) dans les abstracts Medline

42 Prediction d interactions dans les textes : analyse d un jeu de phrases Synopsis de la chaîne de traitements FlyBase (1996) (23 Mo) 9500 genes Extraction of pertinent fields Cutting out into sentences entries (10 Mo) Reformatting elimination of identical sentences Filtering 4200 sentences 1228 genes Selection 1200 sentences with 2 gene names 550 genes Tagging of genes and proteins occurrences of genes 165 occurrences of proteins semantic treatment > 1585 lemmes Expert biological validation 1200 sentences: 653 Y sentences, 491 N, 56 I thèse Violaine Pillet

43 Analysis of the vocabulary present in the corpus: Conservation of stemmed words for which frequency is 4 only: 455 / 1585 stemmed words Principal component analysis of vocabulary with respect to belonging to Y, N or I groups Y a t il un vocabulaire specifique utilisé pour décrire les interactions?

44 Y a t il un vocabulaire specifique utilisé pour décrire les interactions?

45 Stratégie de prediction d interactions : Calcul d un indice de probabilité d interaction (IPI) Calcul d un «poids» pour chaque terme des listes Y et N valeur positive pour les termes Y valeur négative pour les termes N Remplacer tous les termes par leurs poids dans chacune des 1200 phrases Calcul de la somme des poids pour chaque phrase: IPI Analyse des IPIs pour comparer phrases Y et N

46 Variation de l indice de probabilité d interaction (IPI) pour les 3 groupes de phrases (Y,N,I) du corpus d entraînement 1200 phrases avec 2 noms de gènes : 653 phrases Y, 56 phrases I et 491 phrases N IPI phrases I 492 phrases Y phrases N 87,3% des phrases Y ont un IPI 0 Taux de rappel : 87,3% Taux de précision : 85,7% 0 Nombre de phrases 649

47 0,60 Variation de l indice de probabilité d interaction (IPI) pour 3 groupes de phrases (Y,N,I) d un corpus test (Medline) 313 phrases avec 2 noms de gènes : 104 Y et 209 N 0,40 0,20 phrases Y phrases N 0, ,20-0,40-0,60-0,80 74% des phrases Y ont un IPI 0 Taux de rappel : 74% Taux de précision : 61,7% -1,00 0 Number of sentences 313

48 Extraction d informations pratique en biologie sur Internet Un exemple concret : IHOP (Information Hyperlinked Over Proteins) A. Valencia, Protein Design Group, madrid

49 [SEARCH] Defining information for the gene Interaction information on the gene Minimal information on the gene

50

51 C est tout pour le cours!