Introduction à La Fouille de Données. Khai thác dữ liệu. Cours M1 IA «Systèmes Intelligents & Multimédia» Jean-Daniel Zucker

Transcription

1 1 /81 Cours IFI M1 Data Mining Introduction à La Fouille de Données Khai thác dữ liệu Cours M1 IA «Systèmes Intelligents & Multimédia» Jean-Daniel Zucker Chercheur de l IRD à UMMISCO (Modélisation Mathématiques Et Informatiques des Systèmes Complexes) UMI 209 UPMC/IRD MSI/IFI Vietnam 2 /81 Administratif: 6 Séances 8h30 à 11h45= 3h + 15 min de pause. Les cours de déroulent dans la salle 203. Séance 1: Mercredi 16 Mai Intro Générale Introduction, historique, formulation (KDD, Data Mining, Big Data) Les liens avec le Machine Learning et le Data Analysis Un environnement RStudio et un langage R La regression avec R Séance 2: Mercredi 23 Mai L induction / la préparation des données Séance 3: Mercredi 30 Mai Apprentissage d arbre de décisions Séance 4: Mercredi 6 Juin Recherche de règles d associations. Séance 5: Mercredi 13 Juin Le clustering. Séance 6: Jeudi 14 Juin La visualisation, Réseaux Bayésien (?).

2 3 /81 Site du cours 4 /81 Bibliographie,

3 5 /81 Logiciels Cours IFI M1 Data Mining 6 /81 Webliography The ACM Special Interest Group on Knowledge Discovery in Data and Data Mining provides information on basic KDD research, the adoption of standards for KDD terminology, evaluation, and methodology, and interdisciplinary education among KDD researchers, practitioners, and users. 5 KDNuggets News is an e-newsletter on data mining and knowledge discovery. 6 The Data Mining Institute promotes a broader awareness of data mining technology by explaining its benefits and applications.

4 MASTER IBM 2008ucker 7 /81 I. La fouille de données I.1.Intro/Rappel Plan I.2.Définition I.3.Histoire I.4.Taches I.5.Processus I.6.Examples I.7.Retour sur l analyse de données 8 /81 Connaissez-vous l analyse de données? L analyse de la corrélation? Les tests statistiques? Les p-value? Le test-t? La régression? L analyse en composantes principales? (capture la variabilité [scatter]) MASTER IBM 2008ucker

5 MASTER IBM 2008ucker 9 /81 PCA/ACP 10/81 Travaux Pratiques Aller sur Puis Promotion 16, Puis TP du cours et Révisions MASTER IBM 2008ucker

6 11 /81 La quantité de données double tous les 18 mois... les données sont partout...c est un déluge. Science Recherche Société Economie 12/81

7 13/81 Saturation de traitement informatique! Vitesse d innovation en génomique >> qu en informatique génomique! De 10 Mb/j à 40 Gb/j en moins d une décennie! données brutes : leur importance est mis aujourd hui discutable! Possibilités! Real time processing! Centralisation des données! Move computation to the data 14/81 Danger: Cherry-picking science! Très peu de scientifiques pour faire face au déluge de données (biologiques à haut débit par exemple).! Obligation de faire une recherche rapide pour ne pas rater le coche...! cueillir les cerises les plus proches... La Cueillette de cerises (aussi appelé picorage1) est une expression calque de l'anglais Cherry picking, qui désigne l'acte de signaler des cas individuels ou des données qui semblent confirmer une position particulière, tout en ignorant une partie importante de cas liés ou des données qui pourraient contredire cette position.

8 15/81 Data rich but information poor! : Besoins d Explorer, analyser, compacter, réduire, extraire, utiliser, ces données :... la fouille de données the extraction of interesting (non-trivial, implicit, previously unknown and potentially useful) information or patterns from data in large databases Khai thác dữ liệu (data mining) là quá trình khám phá các tri thức mới và các tri thức có ích ở dạng tiềm năng trong nguồn dữ liệu đã có. Définition: L exploration et l analyse de grandes quantité de données afin de découvrir des formes et des règles significatives en utilisant des moyens automatique ou semi-automatique. 16/81 Une brève histoire de la fouille de données The,term,"data,mining",appeared,in,1960s!as!derogatory!term!used!to! describe!search!for!correla3ons!without!an!apriori!hypothesis.! Then,around,1980s!a!term!"database,mining",has!appeared.!Gregory! Piatetsky<!Shapiro!came!up!with!the!term!"knowledge,discovery"!in!1989!(most! press!liked!the!term!"data!mining"!becer.)!the,term,is,now,standard,and!includes:!text,mining,,image,mining,,web, mining,,predicave,analyacs,!and!much!of!the!techniques!we!use!for!dealing!with! massive!data!sets,!now!known!as!«big,data»., Around,2006,!when!Google!introduced!Google!Analy3cs,!the!term!"analyAcs"! became!more!popular!than,«data,mining»!:!«predic3ve!analy3cs» The,hot,term,of,2011!is!«data,science».!However,!whatever!the!name,!the! essence!of!the!field!is!finding!new!and!useful!knowledge!in!data. MASTER IBM 2008ucker

9 MASTER IBM 2008ucker 17/81 tâches de la fouille de données (typologie 1/2) SUPERVISE Classification (valeurs discrètes): Oui/Non, 1/2/3, VND/US$/ réponse qualitative à un médicament, classification de demandeurs de crédits, détermination des numéros de fax, dépistage de demandes d assurances frauduleuses, etc. L estimation (valeurs continues): [1-10], [-1,1],[0, ] réponse quantitative à un médicament, du nombre d enfants d une famille, revenu total par ménage, probabilité de réponse à une demande, etc. La prédiction (pour vérifier il faut attendre): «Dans 2 jours l action d apple doublera», demain il fera beau,... durée de vie d un patient, des clients qui vont disparaître, des abonnés qui vont prendre un service, etc.. Succès de la tâche: critère de performances sur nouvelles données 18/81 tâches de la fouille de données (typologie 2/2) Le regroupement par similitudes (Clustering): des patients qui ont telles mutations génétiques développent tel type d obésité, etc. NON SUPERVISE La recherche d association : «95% des parents qui vont au supermarché acheter des couches (3% des achats) achètent aussi des bierres». 95% est la confiance et 3% le support (Association Rules). La recherche d anomalie : «Il y a une concentration de véhicule «anormale» tous les dimanche matin à 10h près de Nga The». «L utilisateur Hung s est connecté depuis Singapoore alors qu il ne l a jamais fait avant».(anomaly analysis) Succès de la tâche: critère d intérêt des «connaissances découvertes» MASTER IBM 2008ucker

10 MASTER IBM 2008ucker 19/81 Fin du premier cours