Big$data,$le$Web$et$tout$ça $ De$quel$volume$parleDton$?$ Surcharge$d informa>on$ Introduction à la fouille de texte Master Informatique 1 ère année

Transcription

1 Université*Lumière*Lyon*2* *Faculté*de*Sciences*Economiques*et*Ges;on* KHARKIV*Na;onal*University*of*Economic* Introduction à la fouille de texte Master Informatique 1 ère année Julien Velcin Big$data,$le$Web$et$tout$ça $ Big$data$:$ V$de$Volume$ V$de$Vélocité$ V$de$Variété$texte,$image,$vidéo,$son,$tags,$etc.$ etc.$ Le$WWW$est$une$source$phénoménale$de$ données,$en$par>culier$textuelle$ Mais$il$existe$beaucoup$d autres$sources$:$ mémoire$d entreprise,$données$du$patrimoine $ De$quel$volume$parleDton$?$ Surcharge$d informa>on$ Techniquement$infini,$on$parle$de$«$big$data$»$ 4$à$5$milliards$de$pages$indexées$par$Bing$et$entre$45$ et$50$milliards$par$google$au$23/03/15$ (source$:$htp:// Google$annonce$40$à$50$milliards$de$pages$indexées$ 1$million$de$serveurs$à$travers$le$monde$traitent$~1$ milliards$de$requêtes$par$jour$ (source$:$ htp://atkinsbookshelf.wordpress.com/tag/howdmanydserversddoesd googledhave/$au$26/03/13)$ 175$millions$de$tweets$envoyés$chaque$jour$en$2012$ Image$credit:$GoDGlobe.com$

2 Et$ce$n est$pas$fini $ De$plus$en$plus$de$données$numériques$:$ Source$IDC,$cité$dans$The$Economist$en$2011$ 1$zeTabyte$=$1$000$000$000$000$000$000$000$byte$ Une$solu>on$:$$ la$fouille$des$données$!$ Extraire$des$connaissances$u>les$$ (pépites)$à$par>r$des$données$ Probléma>ques$:$ Extrac>on,$stockage$des$données$ Représenta>on,$indexa>on$ Analyse$des$données$ Evalua>on,$visualisa>on$ Prise$de$décision$ Pour$les$données$textuelles$ Extrac>on,$stockage$des$données$:$! Comment$gérer$l hétérogénéité$des$formats$?$! Quelle$structure$de$stockage$?$ Représenta>on,$indexa>on$:$! $Quelle$est$la$meilleure$représenta>on$?$! $Comment$indexer$les$données$de$manière$efficace$?$ Analyse$des$données$:$! Comment$comparer$des$données$textuelles$?$! Quels$algorithmes$choisir$?$ «$Quelques$»$difficultés$ Volume$important,$vocabulaire$très$vaste$(erreurs,$ abrévia>ons,$argot,$néologismes,$noms$propres )$ Ecart$entre$la$surface$des$mots$et$leur$sens$ Rela>ons$implicites$entre$les$mots$:$synonymie,$ polysémie,$liens$de$subordina>on,$codréférences,$etc.$ Ambiguité$séman>que$:$«$Il$voit$$le$garçon$avec$ses$ lunetes$»$(qui$possède$les$lunetes$?)$ Suivant$la$tâche,$la$représenta>on$est$différente$ Similarité$entre$deux$textes$(malédic>on$de$la$ dimension)$ 8$

3 De$(très)$nombreuses$sources$de$ données$textuelles$ Sites$web$:$ Ar>cles$de$presse,$blogs$personnels$ Cri>ques$de$produits$(ebay,$amazon,$allociné)$ Encyclopédies$(wikipedia,$freebase)$ Réseaux$sociaux$:$ Facebook,$TwiTer,$Flickr,$LinkedIn$ $ Données$ouvertes$(open$data)$:$ Data.gov,$ParisData $ Humanités$numériques$:$ Données$historiques$(patrimoine)$ Nombreux$corpus$disponibles$ Fouille$de$textes$:$origines$ Intelligence$ar>ficielle$(IA)$ Traitement$Automa>que$des$Langues$(TAL)$ Sta>s>ques$$ Sta>s>ques$textuelles$ Linguis>ques$ Linguis>que$computa>onnelle$ Bases$de$données$ Fouille$de$données$ Fouille$de$textes$:$défini>on$ Chercher$des$informa>ons$intéressantes$pour$ résoudre$des$tâches$plus$complexes$ou$pour$ découvrir$des$connaissances$à$par>r$de$ données$textuelles$ Informa>on$intéressante$:$ U>le$(pour$prendre$une$décision$ou$résoudre$une$ tâche$plus$difficile)$ Nouvelle$(auDdelà$d une$évidence)$ De$haut$niveau$(aller$vers$la$séman>que)$ Une$applica>on$phare$:$la$Recherche$ d Informa>on$(1)$ Les$moteurs$de$recherche$modernes$u>lisent$ les$dernières$innova>ons$en$ri$ Données$textuelles$et*structure$ Ces$moteurs$combinent$:$ Indexa>on$des$données$du$Web$ Enrichissement$de$la$requête$formulée$ Es>ma>on$de$la$fiabilité$des$pages$

4 Recherche$d informa>on$(2)$ Des$robots$(crawler,$spider)$indexent$:$ MotsDclefs$ Concepts$ Créa>on$d un$index$inversé$ Différents$critères$:$ Correspondance$entre$la$requête$et$la$page$ Crédibilité$du$site$Web$(PageRank,$HITS)$ Structure,$richesse,$diversité$ Mise$à$jour$régulière,$nouveautés$ etc.$ Recherche$d informa>on$(3)$ Modèle$de$correspondance$:$ Document$D$=$un$ensemble$de$mots$clefs$pondérés$ Requête$Q$=$un$ensemble$de$mots$clefs$non$pondérés$ R(D,$Q)$=$Σ i $w(t i $,$D),$où$t i$ est$dans$q$ De$nombreux$modèles$possibles$:$ booléen$(0$ou$1),$ vectoriel,$ probabiliste $ 13$ 14$ Recherche$d informa>on$(4)$ Recherche$d informa>on$(5)$ PageRank$de$Google$:$ I 1$ I 2$ A$ B$ PR( A) = (1 d) + d i PR( Ii ) C( I ) i Assigne$une$valeur$numérique$à$chaque$page,$en$ fonc>on$des$liens$entre$pages$ d:*damping$factor$(0.85)$ D autre$critères$possibles,$par$ex.$la$proximité$entre$ les$mots$clefs$(«$ informa>on$retrieval$ $»$mieux$ que$«$ $informa>on$ $retrieval$ $»)$ 15$ htp://search.carrot2.org/stable/search$ 16$

5 Recherche$d informa>on$(6)$ U>liser$les$snippets$retournés$par$les$moteurs$de$ recherche$:$ Text/Document$clustering$pour$organiser$les$ snippets$avec$une$méthode$de$clustering$ E>queTe$les$catégories$avec$des$expressions$ fréquentes,$mais$d autres$solu>ons$existent$(ex.$:$ en>tés$nommées)$ Représenter$et$comparer$des$textes$ De$mul>ples$façons$de$représenter$des$ textes$:$ BagDOfDWords$(BOW),$Vector$Space$Model$(VSM)$ Représenta>ons$enrichies$avec$des$métaDdonnées$ $(ex.$:$catégories$gramma>cales$ou$partdofdspeech)$ Représenta>on$par$des$arbres$syntaxiques$ Représenta>on$plus$complexe$(graphes )$ Comparer$deux$textes$:$ Comparer$des$vecteurs$ Comparer$des$arbres,$des$graphes $ 17$ 18$ Un$exemple$très$simple$ «*Mickey*Mouse*has*eaten*an*apple.*»* Approche$«$linguis>que$»$:$ Mickey$Mouse$has$eaten$an$apple.$ Approche$par$«$sac$de$mots$»$:$ Mickey$Mouse$has$eaten$an$apple.$ $ $ Proper$Noun$ Verb$ Det.$ Noun$ Noun$Phrase$ (key)phrase$ Verbal$Phrase$ Sentence$ Noun$Phrase$ A$la$fin$:${$apple,$eat,$Mickey_Mouse$}$ $ $ S$ NP$$$$$VP$$$$$$NP$ PN$$$$$$V$$$$$$$$$D$$$$$$$N$! Suppression$des$motsDou>ls$! Racinisa>on$ 19$ Tokeniza>on$/$Word$segmenta>on$ Couper$une$chaîne$de$caractères$(string)$en$unités$ simples$de$traitement$(ex.$:$le$mot)$ ATen>on,$suivant$les$langues$les$mots$ne$sont$pas$ séparés$de$la$même$manière$(ex.$:$entre$le$chinois$et$ les$langues$occidentales)$$ Même$en$français$ou$en$anglais,$les$mots$peuvent$ être$séparés$par$autre$chose$qu un$espace$(par$ ex.$,%;%.%(%:%(%)$)$ 20$

6 Bag$of$Words$(BOW)$ Exemple$de$représenta>on$BOW$ Représenta>on$la$plus$employée$en$recherche$ d informa>on$/$fouille$de$données$ La$plupart$des$logiciels$de$traitement$automa>que$des$ textes$coupent$(tokeniza;on)$au$niveau$du$mot$ Un$filtrage$est$souvent$nécessaire$sur$les$mots$qu on$ conserve$(trop$peu$fréquents$ou$trop$fréquents,$etc.)$ Important$à$savoir$:$ Le$découpage$peut$être$différent$suivant$le$type$de$ langage$(voir$par$ex.$le$chinois$ou$l arabe)$ 21$ 22$ Exemple$de$problème$avec$BOW$ Texte$1$:$ Mary$asked$Fred$out.$ Texte$2$:$ Fred$asked$Mary$out.$ Vector$Space$Model$(VSM)$ [Salton$1989]$ Manière$usuelle$de$représenter$des$textes$:$on$les$ transforme$en$un$vecteur$numérique$(creux)$ Très$pra>que$pour$u>liser$ensuite$toutes$les$opéra>ons$ permises$en$algrèbre$linéaire$ En$faisant$cela,$on$oublie$la$structure$linguis>que$ (syntaxe)$des$textes$ Les$tâches$typiques$sont$alors$:$ Recherche$d informa>on$ Classifica>on$automa>que$supervisée$ Catégorisa>on$automa>que$(clustering)$ Visualisa>on$et$naviga>on$ 23$ 24$

7 Vector$Space$Model$(VSM)$ Représenta>on$la$plus$u>lisée$aujourd hui$ Approche$de$type$BOW$ Texte$=$vecteur$dans$$ un$espace$à$n$dimensions$ n$=$nombre$de$termes$ Les$termes$sont$en$ général$pondérés$ Loi$de$Zipf$ Observée$par$le$linguiste$George$K.$Zipf$(1902D1950)$ La$fréquence$des$mots$est$inversement$ propor>onnelle$à$son$rang$dans$la$table$des$ fréquences$ Example$avec$ Moby$Dick$D>$ 25$ 26$ MotsDou>ls$ StopDwords$are$words$that$from$nonDlinguis>c$view$do$not$carry$ informa>on$ they$have$mainly$func>onal$role$ usually$we$remove$them$to$help$the$methods$to$perform$ beter$ Nombre$d occurrences$après$ suppression$des$motsdou>ls$ Pour$MobyDick$:$ Stop$words$are$language$dependent$ $examples:$ English:$A,$ABOUT,$ABOVE,$ACROSS,$AFTER,$AGAIN,$AGAINST,$ALL,$ ALMOST,$ALONE,$ALONG,$ALREADY,$...$$ Dutch:$de,$en,$van,$ik,$te,$dat,$die,$in,$een,$hij,$het,$niet,$zijn,$is,$was,$ op,$aan,$met,$als,$voor,$had,$er,$maar,$om,$hem,$dan,$zou,$of,$wat,$ mijn,$men,$dit,$zo,$...$ Slovenian:$A,$AH,$AHA,$ALI,$AMPAK,$BAJE,$BODISI,$BOJDA,$BRŽKONE,$ BRŽČAS,$BREZ,$CELO,$DA,$DO,$...$ 27$

8 Visualiser$par$nuage$de$mots$ Racinisa>on$(stemming)$ Différentes$formes$du$même$mot$sont$ généralement$probléma>ques$pour$l analyse$ des$textes$ La$racinisa>on$(stemming)$est$le$processus$de$ transformer$un$mot$en$sa$racine$(stem)$ Par$ex.$:$chante,$chanter,$chantant $>$ chant $ Avec$les$motsDou>ls$ Sans$les$motsDou>ls$ 30$ Illustra>on$avec$des$programmes$TV$ Illustra>on$avec$des$programmes$TV$ Suppression$des$motsDou>ls$:$ $even,$if,$the,$two,$its,$not,$too,$all $ Racinisa>on$(stemming)$:$ $Ex.$:$anim$:$[animal,$animals,$anima>on]$ $adventur$:$[adventure,adventurer,adventurers,adventures,adventurous]$ Ces$opéra>ons$ont$clairement$permis$de$réduire$la$ taille$du$vocabulaire$ Cela$permet$d améliorer$les$capacités$de$ généralisa>on$des$algorithmes$d appren>ssage$ automa>que$ U>lisa>on$de$schéma$de$pondéra>on$:$TFDIDF$ 32$

9 Schémas$de$pondéra>on$ Calcul$de$TFDIDF$ Le$plus$simple$:$le$nombre$d occurrences$ü t,d$ D autres$existent$:$binaire,$tfdidf,$okapi $ TFDIDF$:$u>liser$la$fréquence$dans$le$corpus$ Exemple$calculé$à$par>r$du$corpus$Reuters$:$ Word% cf% df% try$ 10422$ 8760$ insurance$ 10440$ 3997$ cf$=$#$occurrences$total$dans$la$collec>on$ df$=$#$documents$concernés$ tf idf t,d = tf t,d idf t term$frequency$ $ Inverse$document$frequency$:$ idf t = log N df t Term% df t % idf t % car$ 18,165$ 1.65$ auto$ 6723$ 2.08$ insurance$ 19,241$ 1.62$ best$ 25,235$ 1.5$ inverse$doc.$freq.$ 33$ 34$ Exemple$de$document$et$sa$ représenta>on$vectorielle$ TRUMP$MAKES$BID$FOR$CONTROL$OF$RESORTS$ Casino$owner$and$real$estate$Donald$Trump$has$ offered$to$acquire$all$class$b$common$shares$of$ Resorts$Interna>onal$Inc,$a$spokesman$for$Trump$ said.$the$estate$of$late$resorts$chairman$james$m.$ Crosby$owns$340,783$of$the$752,297$Class$B$ shares.$$$$resorts$also$has$about$6,432,000$class$a$ common$shares$outstanding.$each$class$b$share$ has$100$>mes$the$vo>ng$power$of$a$class$a$share,$ giving$the$class$b$stock$about$93$pct$of$resorts'$ vo>ng$power.$ $ [RESORTS:0.624]$[CLASS:0.487]$[TRUMP:0.367]$ [VOTING:0.171]$[ESTATE:0.166]$[POWER:0.134]$ [CROSBY:0.134]$[CASINO:0.119]$[DEVELOPER: 0.118]$[SHARES:0.117]$[OWNER:0.102]$[DONALD: 0.097]$[COMMON:0.093]$[GIVING:0.081]$[OWNS: 0.080]$[MAKES:0.078]$[TIMES:0.075]$[SHARE:0.072]$ [JAMES:0.070]$[REAL:0.068]$[CONTROL:0.065]$ [ACQUIRE:0.064]$[OFFERED:0.063]$[BID:0.063]$ [LATE:0.062]$[OUTSTANDING:0.056]$[SPOKESMAN: 0.049]$[CHAIRMAN:0.049]$[INTERNATIONAL:0.041]$ [STOCK:0.035]$[YORK:0.035]$[PCT:0.022]$[MARCH: 0.011]$$ Texte$original$ Vecteur$avec$valeurs$ TFxIDF$ Coder$son$propre$$ moteur$de$recherche$ Quelques$prétraitements$supplémentaires$:$ Stemming$et$lemma>sa>on$ Différents$schémas$de$pondéra>on$ Comparer$deux$textes$:$la$mesure$du$cosinus$ Mise$en$pra>que$avec$la$librairie$Lucene$ 35$

10 Lucene$(1)$ Librairie$Java$proposée$par$Apache$pour$indexer$des$ collec>ons$de$documents$et$effectuer$des$ recherches$avancées$:$htps://lucene.apache.org$$ Créée$par$Doug$Cuâng$en$1997$et$disponible$depuis$ 2000$(le$nom$viendrait$de$sa$grandDmère )$ Implémente$le$VSM$et$plusieurs$prétraitements$ classiques$(mise$en$minuscules,$suppression$des$ stopwords,$etc.)$ Lucene$(2)$ Plusieurs$étapes$:$ Indexa>on$:$ Créa>on/mis$à$jour$de$l index$:$indexwriter! Analyseur$:$Analyser! Ajouter$des$documents$:$Document! Requêtes$:$ Ouvrir$un$index$:$IndexSearcher! Lancer$une$requête$:$Query$et$QueryParser! Parcourir$les$résultats$:$TopDocs$$ IndexWriter$ Créer$un$index$sur$les$documents$:$ premier$argument$:$répertoire$où$construire$ l index$ deuxième$argument$:$configura>on$données$par$ un$objet$indexwriterconfig$ Configura>on$:$ l objet$indexwriterconfig$se$base$sur$un$analyseur$ (cf.$point$suivant)$ on$peut$préciser$s il$s agit$d un$nouvel$index$ Analyzer$ L analyseur$précise$la$manière$dont$est$ effectuée$l indexa>on$:$avec$ou$sans$motsd ou>ls,$racinisa>on$(stemming),$etc.$ Exemple$:$ Analyzer analyzer = new StopAnalyzer();! Directory dir = FSDirectory.open(Paths.get("."));! IndexWriterConfig iwc = new IndexWriterConfig(analyzer);! iwc.setopenmode(openmode.create);! writer = new IndexWriter(dir, iwc);!

11 Ajouter$des$documents$(1)$ Ajouter$un$document$à$l aide$du$writer$ La$tokeniza>on$et$l indexa>on$ont$déjà$été$ déterminée$précédemment$ Chaque$document$est$décrit$par$des$champs$ (fields),$tel$que$son$>tre,$son$auteur,$sa$date,$etc.$ Lucene$aTribue$un$iden>fiant$interne$à$chaque$ document$ainsi$indexé$ Il$faut$itérer$le$processus$pour$l ensemble$des$ documents$de$la$collec>on$ Ne$pas$oublier$de$fermer$(commit$et$close)$ Ajouter$des$documents$(2)$ Exemple$pour$un$objet$n$:$ Document doc = new Document();!! FieldType myfieldtype = new FieldType();! myfieldtype.setindexoptions(indexoptions.docs_and_freqs);! myfieldtype.setstored(true); // on stocke le texte! myfieldtype.settokenized(true);! myfieldtype.freeze();! Field myfield = new Field("titre",o.champs,myFieldType);! doc.add(myfield);! // etc. pour tous les champs souhaités!! writer.adddocument(doc); // on ajoute le doc à la base! writer.commit(); // on finalise! writer.close(); // on ferme! Chercher$dans$l index$(1)$ Ouvrir$l index$existant$ Créer$un$«$chercheur$»$(searcher)$ Assigner$un$analyseur$(normalement$le$même$ que$celui$u>lisé$pour$créer$l index)$ Analyser/créer$la$requête$à$par>r$de$la$chaîne$ de$caractères$entrée$ Calculer$quels$documents$correspondent$ Exemple$:$ Chercher$dans$l index$(2)$ // ouvrir l index! Directory fsdir = FSDirectory.open(Paths.get("."));! DirectoryReader reader = DirectoryReader.open(fsDir);! IndexSearcher searcher = new IndexSearcher(reader);!! // exécuter une requête! Analyzer analyzer = new StopAnalyzer();! QueryParser parser = new QueryParser("titre",analyzer);! Query q = parser.parse("requête");! TopDocs docs = searcher.search(q, maxhits);!!

12 Chercher$dans$l index$(3)$ Quelques$exemples$de$requêtes$:$ auteur:ihor$and$kharkov$ "programma>on$java"$or$"programma>on$c#"$ (auteur:julien$or$auteur:jérôme)$and$programma>on$ etc.$ Chercher$dans$l index$(4)$ Parcourir$les$résultats$:$ ScoreDoc[] sd = docs.scoredocs;! for (int i = 1; i <= sd.length; i++)! {!!Document d = null;!!try {!!!d = searcher.doc(sd[i].doc);!!}!!catch (IOException e) { }!!float score = sd[n].score;!!string title = doc.get("titre");!!! }! Quelques$pointeurs$ htps://lucene.apache.org$ htps://lucidworks.com/blog/geângdstartedd withdlucenedsetup/$