Extraction de Connaissances Avancées

Transcription

1 1 Extraction de Connaissances Avancées Maguelonne Teisseire TETIS Irstea

2 Organisation o Planning o Les intervenants Equipes Advanse - SISO o Le projet 2

3 Plan o Pourquoi fouiller les données? o Le processus d extraction o Quelques domaines d application o Vocabulaire o Vers de nouveaux challenges 3

4 Pourquoi fouiller les données? o o De nombreuses données sont collectées et entreposées n Données du Web, E-commerce, Achats dans les supermarchés, Transactions de cartes bancaires n Capteurs intelligents, Textes, Sons, Images Les ordinateurs deviennent de moins en moins chers et de plus en plus puissants n Information facile à produire n millions de blogs n blogs crées par jour 4

5 Pourquoi fouiller les données? o Les données sont collectées et stockées rapidement (GB/heures) n Capteurs : RFID, supervision de procédé n Puces à ADN générant des expressions de gènes n Simulations générant de téraoctets de données n Yahoo : 48 Gbs par heure de clickstream n NASA EOS (Earth Observation System) observation par satellites 350 GBs par jour 5

6 Pourquoi fouiller les données? o Les techniques traditionnelles ne sont pas adaptées o Volume de données trop grands (trop de tuples, trop d attributs) Comment explorer des millions d enregistrements avec des milliers d attributs? o Requêtes traditionnelles (SQL) impossibles «Rechercher tous les enregistrements indiquant une fraude» o Croyance dans la présence de données importantes 6

7 Un enjeu stratégique Déterminer les moyens pour fidéliser les clients Identifier les nouveaux marchés Anticiper les changements de comportement Minimiser les risques Identifier les nouveaux produits ou services 7

8 Qu est ce que la fouille de données? n Exploration et analyse, par des moyens automatiques ou semi-automatiques, de grandes quantités de données en vue d extraire des motifs intéressants n De nombreuses définitions : Fayyad (1996) Knowledge Discovery in Databases : "the nontrivial process of identifying valid, potentially useful and ultimately understandable patterns in data" 8

9 Qu est-ce que la fouille de données? Convergence de domaines statistiques KDD vs. Data Mining I.H.M. I.A. apprentissage Bases de données 9

10 10 Le processus de KDD Données pré-traitées Pré-traitement et nettoyage Données transformées Databases Datawarehouse DataMart Web Données cibles visualisation Motifs / Modèles

11 Données, Informations, Connaissances Décision Promouvoir le produit P dans la région R durant la période N Réaliser un mailing sur le produit P aux familles de profil F Connaissance (data mining) Une quantité Q du produit P est vendue en région R Les familles de profil F utilisent M% de P durant la période N Information (requêtes) X habite la région R Y a A ans Z dépense son argent dans la ville V de la région R Données Consommateurs Magasins Ventes Démographie Géographie 11

12 Fouille de données. ou pas? NON Rechercher le salaire d un employé OUI Les supporters achètent de la bière le samedi et de l aspirine le dimanche Interroger un moteur de recherche Web pour avoir des informations sur le Data Mining Regrouper ensemble des documents retournés par un moteur de recherche en fonction de leur contenu 12

13 Cycle de vie du KDD «Questions stratégiques» Identification du problème DataWarehouse SGBD Evaluer Rapports, graphique, Executive Information Systems (EIS) Agir sur l information Transformation des données en information/ connaissances Processus de KDD 13

14 Applications o o o o o Médecine : bio-médecine, drogue, Sida, séquence génétique, gestion hôpitaux,... Finance, assurance : crédit, prédiction du marché, détection de fraudes, Social : données démographiques, votes, résultats des élections, Marketing et ventes : comportement des utilisateurs, prédiction des ventes, espionnage industriel, Militaire : fusion de données.. (secret défense) o Astrophysique : astronomie, «contact» ( ;-)) o Informatique : agents, règles actives, IHM, réseau, Data- Warehouse, Data Mart, Internet (moteurs intelligent, profiling, text mining, ) 14

15 Quid des données? o Grandes Bases de Données ou non? o Faut -il échantillonner? enregistrements, 100 Mo par jour o 2 Go par jour, 100 Go par heure. Déjà les petabyte (2 50 )... Différents domaines n Bases de Données n Intelligence Artificielle (Machine Learning) n Statistiques n Algorithmique, 15

16 Data Mining vs Statistiques Hypothèses Nouvelles informations Techniques Statistiques Techniques de Data Mining Confirmatoires Exploratoires 16

17 Machine Learning vs Data Mining Passage à l échelle 17

18 Les tâches du DM o Fouille de données : de nombreuses tâches possibles (27) n n n n n n Classification créer une fonction qui classifie une donnée élémentaire parmi plusieurs classes prédéfinies existantes Régression créer une fonction qui donne une donnée élémentaire à une variable de prévision avec des données réelles Groupement (clustering) rechercher à identifier un ensemble fini de catégories ou groupe en vues de décrire les données Résumé affiner une description compacte d un sous-ensemble de données Modélisation des dépendances trouver un modèle qui décrit des dépendances significatives entre les variables Détection de changement et déviation découvrir les changements les plus significatifs dans les données 18

19 Les tâches du DM o Non pas 1 mais n approches donc m techniques o 3 approches principales (R. Agrawal) vision BD Classification Règles d association Motifs séquentiels 19

20 Supervisés et non supervisés n Apprentissage supervisé : o On dispose d'un fichier décrivant des données alliant une description et une classe o On cherche une fonction de classification permettant d'induire la classe en fonction d'une description n Apprentissage non supervisé : o On dispose d'un fichier de description des données sans classes connues a priori o On cherche à diviser ces données en catégories 20

21 Algorithmes prédictifs et descriptifs n Veut-on o Trouver une fonction permettant de prédire la classe d'une données jamais vue Ou o Trouver des descriptions résumées et pertinentes expliquant les données n La limite entre les 2 est floue! (méthodes descriptives pour la prédiction) 21

22 Algorithmes vu en M1 o Classification supervisée o Méthode de Bayes naïf o k plus proches voisins o Arbres de décision o Classification non supervisée : o o o k-means o De partition o Hiérarchique Règles d association Évaluation des méthodes 22

23 Classification n division de l ensemble de données en classes disjointes en utilisant un apprentissage supervisé ou non (clustering) o But : recherche d un ensemble de prédicats caractérisant une classe d objet et qui peut être appliqué à des objets inconnus pour prévoir leur classe d appartenance. o Exemple : une banque peut vouloir classer ses clients pour savoir si elle accorde un crédit ou non. o Techniques : Arbre de décision, réseaux neuronaux,... 23

24 Le mailing o Classification/clustering un exemple d utilisation n un cadeau est envoyé par mailing. Un envoi sans réponse coûte 50 et une réponse assure 100. n Pas d envoi de mailing à un client qui aurait répondu : perte de

25 Le mailing Envoi du mailing Quel client a répondu? Déterminer les caractéristiques des clients avec le Data Mining Sélection des clients sur la base Résultat : groupement avec une forte probabilité de réponse 25

26 Résultat du mailing Population de Mailing 100 personnes Oui : 31%, Non : 69 % Prob : 97% Cadres 70 personnes Oui : 40 %, Non 60 % Prob : 95% Ouvrier 30 personnes Oui : 10 %, Non : 90 % Prob : 95 % Hommes 50 personnes Oui : 36 %, Non : 64 % Prob : 93 % Femmes 20 personnes Oui : 50 %, Non : 50 % Prob : 93 % 26

27 Quantification Population de mailing *100-69*50 Cadres 700 (70* 40%)*100 - (70*60%)*50 Ouvriers * * 50 Hommes * * 50 Femmes * * 50 Mailing à l ensemble des cadres ou uniquement aux femmes cadres 27

28 Evaluation Matrice de coûts Prédit OBSERVE Payé Retardé Impayé TOTAL Payé Retardé Impayé TOTAL Validité du modèle : nombre de cas exacts (=somme de la diagonale) divisé par le nombre total : 120/150 =

29 Recherche de motifs fréquents o Qu est ce qu un motif fréquent? n Un motif (ensemble d items, séquences, arbres, ) qui interviennent fréquemment ensemble dans une base de données [AIS93] o Les motifs fréquents : une forme importante de régularité n Quels produits sont souvent achetés ensemble? n Quelles sont les conséquences d un ouragan? n Quel est le prochain achat après un PC? 29

30 Recherche de motifs fréquents o Analyse des associations 35% des clients qui achètent de la bière achètent des couches n Panier de la ménagère, cross marketing, conception de catalogue, analyse de textes n Corrélation ou analyse de causalité o Analyse de séquences 25% des clients achètent de la bière et le lendemain de l aspirine n Web Mining, détection de tendances, analyses ADN n Périodicité partielle, associations temporelles/cycliques 30

31 Panier de la ménagère Localisation Produits achetés Identification Date, heure Les règles d association 31

32 Aidons Mme Guénolé 32

33 Aidons Mme Guénolé o Quels enseignements? n Rechercher sans a priori n est pas une tâche aisée n Quelle validation des découvertes de connaissance? surprenante et nouvelle

34 La légende Les règles d association 34

35 Motivations vers une évolution Requêtes sur une base de données Select F.Four_Nom, F.Ville From F,FP,P Where F.Four_No=FP.Four_No And FP.Piece_No=P.Piece_No And Piece_Nom=«Ecrou» Salsa, Lille Jean, Paris 35

36 Motivations vers une évolution hl=fr&rlz=1t4gfrc_frfr207fr208&q=.cgi&ie=utf-8&oe=utf-8&um=1&sa= N&tab=wi hl=fr&rlz=1t4gfrc_frfr207fr208&q=.cgi&ie=utf-8&oe=utf-8&um=1&sa= N&tab=ig hl=fr&rlz=1t4gfrc_frfr207fr208&q=.cgi&ie=utf-8&oe=utf-8&um=1&sa= N&tab=gn hl=fr&q=sdi&ie=utf-8&oe=utf-8&um=1&sa=n&tab=iw maps search?hl=fr&q=scholar&meta= scholar.google.com/scholar?q=intrusion+detection+data+mining&hl=fr&lr=&lr= groups.google.fr/groups/dir? hl=fr&sel= , , , , groups.google.fr/group/soswindows?lnk=gschg&hl=fr ned=fr&topic=n videosearch?q=genre:../../../etc/passwd books.google.fr/books? id=7na0ud5wbi4c&pg=pa1&ots=fo9stqkezv&dq=ids&sig=p3bmwwqjemo zrgondxsfj6tjn4m Fouille De Données Motifs de fraudes : -> 36

37 Les challenges «classiques» 37

38 Les challenges «classiques» o Quelques exemples de gros volumes de données Sources wintercorp.com 2003 Co. Size (GB) DBMS System France Telecom Oracle HP AT&T Dayton Sun SBC Teradata NCR Anonymous DB2 for Unix IBM Amazon.com Oracle HP 38

39 Mais aussi o Capteurs : A, B, C o Mesures : le capteur A mesure la valeur 82.5 au temps 06:41:39 39

40 Pour la maintenance 40

41 Mais aussi hl=fr&rlz=1t4gfrc_frfr207fr208&q=.cgi&ie=utf-8&oe=utf-8&um=1&sa=n&tab=wi groups.google.fr/groups? hl=fr&rlz=1t4gfrc_frfr207fr208&q=.cgi&ie=utf-8&oe=utf-8&um=1&sa=n&tab=ig news.google.fr/news? hl=fr&rlz=1t4gfrc_frfr207fr208&q=.cgi&ie=utf-8&oe=utf-8&um=1&sa=n&tab=gn maps.google.fr/maps hl=fr&q=scholar&meta= +detection+data+mining&hl=fr&lr=&lr= hl=fr&lr=&cluster= lnk=od&hl=fr&sel= hl=fr&sel= , , , , soswindows?lnk=gschg&hl=fr ned=fr&topic=n earth4.html id=7na0ud5wbi4c&pg=pa1&ots=fo9stqkezv&dq=ids&sig=p3bmwwqjemozrgondxsfj6tjn4m Connaissance : -> hl=fr&rlz=1t4gfrc_frfr207fr208&q=.cgi&ie=utf-8&oe=utf-8&um=1&sa=n&tab=wi groups.google.fr/groups? hl=fr&rlz=1t4gfrc_frfr207fr208&q=.cgi&ie=utf-8&oe=utf-8&um=1&sa=n&tab=ig news.google.fr/news? hl=fr&rlz=1t4gfrc_frfr207fr208&q=.cgi&ie=utf-8&oe=utf-8&um=1&sa=n&tab=gn maps.google.fr/maps Quid des aspects incrémentaux? 41

42 Explosion de données ces dernières années n 30 Milliards d par jour - 1 Milliard de SMS, MMS n «China s cellular operators estimate Chinese customers will send around 14 billion Lunar New Year text messages on their mobile phones during the weeklong holiday» n n n Trafic réseau IP : plus d 1 Milliard de packets par heure et par routeur. Chaque fournisseur de service internet possède (des centaines) de routeurs! tuples par seconde! AT&T collecte 100 GBs de données de réseaux chaque jour Données scientifiques: NASA EOS (Earth Observation System) observation par satellites génére 350 GBs par jour Sources: tutorial of Muthu Muthukrishnan (Rutgers Univ.), Turorial of G. Hebrail (ENST) News February 19th 07 42

43 Explosion de données ces dernières années n En moyenne 1 1Milliard de page par jour vus sur ebay Sources: ebay Report (2006) n Yahoo: 166 millions de visiteurs par jour; 48 Gbs par heure de clickstream Sources: Yahoo (2002) o Besoin de requête/analyse sophistiquée en temps réel 43

44 Applications o Enregistrement des appels téléphoniques o Business: transactions cartes banquaires o Supervision de réseau o Marché financier : stock exchange o Processus industriels, RFID o Capteurs, surveillance : flux vidéo o Localisation de Visiteur : IntelliBadge (expérience du NCSA) o Hôpitaux o Clickstreams 44

45 Qu est ce qu un flux de données? o Une définition n Un flux de données est une séquence (potentiellement) non limitée de tuples n Continue n Ordonné : suppose un numéro (éventuellement implicite) de séquence pour chaque élément n Changeant : la distribution des données change en temps réel n Rapide : les données arrivent rapidement n Volume très grand : De gros volumes de données (quelques terabytes) - éventuellement infinis n Vous n avez droit qu à un seul passage!!!! 45

46 Conclusion o Pour une application, de nombreuses approches possibles o De nombreuses questions : n Quelle technique choisir? Quelles données retenir? n Résultats attendus?.. o Ne pas oublier l étape de préparation des données : 80% du temps o Besoin de s adapter à de nouvelles contraintes : préservation de la vie privée, contraintes temporelles, données dynamiques (incrémental ou flot), données complexes (semi structurées, textuelles, multidimensionnelles), 46