Fouille de données: Explora2on des données. Translated from Lecture Notes for Chapter 3 Introduc2on to Data Mining Tan, Steinbach, Kumar

Transcription

1 Fouille de données: Explora2on des données Translated from Lecture Notes for Chapter 3 Introduc2on to Data Mining Tan, Steinbach, Kumar

2 Qu est ce que l explora2on des données? Une étude préliminaire des données pour mieux comprendre leurs caractéris2ques Mo2va2on principale Aider à sélec2onner les bons ou2ls pour le prétraitement ou l analyse U2liser les capacités humaines à reconnaître des paoerns Les personnes peuvent reconnaître des paoerns que les ou2ls d analyse de données ne trouvent pas Lié au domaine de l Exploratory Data Analysis (EDA)

3 Techniques u2lisées dans l explora2on des données À l origine, dans l EDA L accent était mis sur la visualisa2on Le clustering et la détec2on d anomalies étaient vues comme des techniques exploratoires En fouille de données, le clustering et l a détec2on d anomalies sont des domaines majeurs, et ne font pas uniquement par2e de la phase d explora2on Dans ce cours, nous allons nous concentrer sur Les sta2s2ques de résumé La visualisa2on Les techniques de traitement analy2que en ligne (Online Analy2cal Processing, OLAP)

4 L exemple du jeu de données Iris De nombreuses techniques d explora2on des données peuvent être illustrées sur ce jeu de données (disponible en ligne) 3 types de fleurs (classes) Setosa Virginica Versicolour 4 aoributs (non classes) Longueur et largeur des sépales Longueur et largeur des pétales Virginica. Robert H. Mohlenbrock. USDA NRCS Northeast wetland flora: Field office guide to plant species. Northeast National Technical Center, Chester, PA. Courtesy of USDA NRCS Wetland Science Institute.

5 Sta2s2ques de résumé Les sta2s2ques de résumé sont des nombres qui résument les propriétés des données Les résumés de propriétés incluent la fréquence, la localisa2on et l étendue Exemples: localisa2on = moyenne étendue = écart type La majorité des résumés peuvent être calculés en une passe sur les données

6 Fréquence et mode La fréquence d une valeur d aoribut est le pourcentage du temps que ceoe valeur est présente dans le jeu de données Ex: pour l aoribut «sexe» et une popula2on représenta2ve, le sexe «féminin» est présent environ 50% du temps Le mode d un aoribut est la valeur la plus fréquente de cet aoribut Les no2ons de fréquence et de modes sont principalement u2liser avec des catégories

7 Cen2le Pour les données con2nues, la no2on de cen2le est plus u2le Étant donné un aoribut x ordinal ou con2nu et un nombre p entre 0 et 100, le p ième cen2le est la valeur x p de x tel que p% des valeurs observées de x sont inférieures à x p. Par exemple le 50 ième cen2le est la valeur x 50% telle que 50% de toutes les valeurs de x sont inférieures à x 50%

8 Mesures de localisa2on: moyenne et médiane La moyenne est la mesure la plus courante pour déterminer la localisa2on d un ensemble de points Cependant, la moyenne est très sensibles aux anomalies (valeurs aberrantes) Par conséquent, la médiane, ou la moyenne ajustées sont aussi souvent u2lisées

9 Mesures d étendue: amplitude et variance L amplitude est la différence entre le minimum et le maximum La variance, ou écart type, est l écart le plus fréquemment mesuré dans un ensemble de points Cependant, ceoe mesure est également sensible aux valeurs aberrantes, donc d autres mesures sont souvent u2lisées

10 Visualisa2on La visualisa2on est la transforma2on des données en un format visuel ou un tableau de façon à ce que les caractéris2ques des données et les rela2ons entre les objets ou aoributs puissent être analysés ou rapportés La visualisa2on des données est une des techniques les plus efficaces et afrantes pour l explora2on des données Les hommes ont la capacité visuelle d analyser de grandes quan2tés de données Il est possible de détecter des paoerns / tendances On peut détecter les anomalies ou paoerns inhabituels

11 Exemple: Température à la surface de la mer Des dizaines de milliers de points de données résumés en une seule figure

12 Représenta2on C est la traduc2on d une informa2on en un format visuel Les objets de données, leurs aoributs et les rela2ons entre les objets sont traduits en éléments graphiques comme des lignes, des formes et des couleurs Exemple: Les objets sont souvent représentés par des points Les valeurs d aoributs peuvent être représentées comme la posi2on des points, ou leurs caractéris2ques (couleur, forme, taille) Si la posi2on est u2lisée, alors les rela2ons entre les points (clusters? Anomalies?) sont faciles à détecter

13 Arrangement C est le placement des éléments dans la visualisa2on Peut avoir un impact important dans la compréhension des données Exemple:

14 Sélec2on C est l élimina2on ou la désaccentua2on de certains objets ou aoributs La sélec2on peut consister à choisir un sous ensemble d aoributs La réduc2on de dimension est souvent u2lisée pour réduire le nombre de dimensions à 2 ou 3 On peut également travailler sur des pairs d aoributs La sélec2on peut également être le choix d un sous ensemble d objets Une zone de l écran ne peut afficher qu un nombre limité de points On peut faire un échan2llonnage, mais on veut souvent préserver les points des zones à faible densité

15 Techniques de visualisa2on: histogrammes Histogramme Souvent u2liser pour voir la distribu2on des valeurs d une variable Divise les valeurs en classes et affiche une barre indiquant le nombre d objets dans chaque classe La hauteur de la barre indique le nombre d objets La forme de l histogramme dépend du nombre de classes Exemple: largeur des pétales (10 et 20 classes)

16 Histogrammes en 2 dimensions Montre la distribu2on jointe de 2 aoributs Exemple: largeur et longueur de pétales Quelle informa2on ob2ent on de ceoe figure?

17 Techniques de visualisa2on boîte à moustaches (box plot) Boîte à moustaches Une autre façon d afficher la distribu2on des données outlier 10 th percen2le 75 th percen2le 50 th percen2le 25 th percen2le 10 th percen2le

18 Exemple de boîte à moustaches U2lisées pour comparer des aoributs

19 Techniques de visualisa2on nuage de points (scaoer plot) Nuage de points Les valeurs des aoributs déterminent la posi2on Les nuages en 2 dimensions sont les plus courants, mais il est possible d u2liser 3 dimensions Souvent, les autres aoributs peuvent être affichés en u2lisant la taille, la forme ou la couleur du marqueur représentant l objet On peut u2liser plusieurs nuages de points pour résumer de façon compacte les rela2ons entre plusieurs paires d aoributs

20 Nuage de points sur les aoributs d Iris

21 Techniques de visualisa2on isoligne (contour plots) Isoligne U2le quand un aoribut con2nu est mesuré dans un espace spa2al Par22onne le plan en régions de valeurs similaires Les isolignes forment des fron2ères entre les régions en connectant les points de valeur égale L exemple le plus courant est celui des cartes de relief Souvent u2lisé en météo (température, précipita2ons, pression )

22 Isoligne Celsius

23 Techniques de visualisa2on Affichage en matrice affichage en matrice U2le pour afficher une matrice de données U2le quand les objets sont triés par classe En général, les aoributs sont normalisés pour éviter qu un aoribut domine la représenta2on Les affichages de matrices de similarité ou de distance peuvent aussi permeore de voir les rela2ons entre objets

24 Visualisa2on en matrice du jeu de données Iris standard devia2on

25 Visualisa2on en matrice de corréla2on du jeu de données Iris

26 Techniques de visualisa2on Coordonnées parallèles Coordonnées parallèles U2lisé pour afficher les valeurs de données ayant beaucoup de dimensions Au lieu d u2liser des axes perpendiculaires, on u2lise des axes parallèles Les valeurs d aoributs de chaque objet sont affichées en tant que point sur chaque axe d aoribut et les points sont connectés par une ligne Donc chaque objet est une ligne Souvent, les lignes représentant une classe d objets dis2ncte sont groupées ensemble L ordre des aoributs est important pour voir ces groupes

27 Coordonnées parallèles

28 Autres techniques de visualisa2on Affichage en étoile Similaire aux coordonnées parallèles, mais les axes partent d un point central La ligne connectant les valeurs d un objet forme un polygone Figures de Chernoff CeOe approche associe chaque aoribut à une caractéris2que de visage La valeur de chaque aoribut détermine l apparence du visage Chaque objet est un visage séparé CeOe méthode s appuie sur la capacité des hommes à dis2nguer les visages

29 Affichage en étoile pour les données Iris Setosa Versicolour Virginica

30 Figures de Chernoff pour les données Iris Setosa Versicolour Virginica

31 OLAP On- line Analy2cal Processing (OLAP), proposé par E. F. Codd, le créateur des bases de données rela2onnelles Les BDD rela2onnelles placent les données dans des tables, OLAP u2lise un tableau mul2dimensionnel De nombreuses opéra2ons d analyse de données et d explora2on de données sont plus faciles à exécuter avec ce type de représenta2on

32 Créa2on d un tableau mul2dimensionnel 2 étapes pour conver2r un tableau de données en tableau mul2dimensionnel 1. Iden2fier quels aoributs deviendront les dimensions et quels aoributs seront les cibles dont la valeur apparaîtra dans le tableau Les aoributs u2lisés comme dimensions doivent avoir des valeurs discrètes Les aoributs cibles sont souvent con2nues, ou un comptage (ex: nombre d occurrences d un mot) On peut aussi ne pas avoir d aoribut cible, et dans ce cas le tableau con2ent le nombre d objets qui ont les mêmes valeurs d aoributs 2. Trouver la valeur de chaque entrée du tableau mul2dimensionnel en addi2onnant les valeurs (de l aoribut cible) ou en comptant le nombre d objets qui ont les aoributs correspondant à ceoe entrée

33 Exemple: donnée Iris Conversion des aoributs longueur/largeur des pétales et espèce peuvent être conver2s en tableau mul2dimensionnel 1. On discré2se la largeur des pétales et la longueur pour avoir des valeurs de catégorie: pe2t, moyen et grand 2. On ob2ent le tableau suivant

34 Exemple: donnée Iris Chaque combinaison de taille de pétale, largeur de pétale et espèce correspond à une entrée dans le tableau CeOe élément correspond a nombre d objets correspondant

35 Exemple: donnée Iris On peut afficher des par2es du tableau mul2dimensionnel à travers un tableau croisé Que ces tableaux nous indiquent- ils?

36 OLAP: cube de données L opéra2on clé de l OLAP est la forma2on d un cube de données Un cube de données est une représenta2on mul2dimensionnelle des données, avec toutes les possibilités d agréga2on Par toutes les possibilités d agréga2on, on entend les agréga2ons formées d une sélec2on d un sous ensemble de dimensions avec une somme sur les dimensions restantes Par exemple, si on choisit les espèces comme dimension dans les données Iris et qu on somme sur les autres dimensions, le résultat est une entrée unidimensionnelle avec 3 entrées, donnant le nombre de fleurs de chaque race

37 Exemple de cube de données Données enregistrant les ventes de produits dans plusieurs magasin sur plusieurs dates Ces données peuvent être représentées par un tableau à 3 dimensions Il y a 3 agrégats en 2 dimensions, 3 en 1dimension et 1 en 0 dimensions (le total)

38 Exemple de cube de données Le tableau suivant montre 1 des 2 agrégats 2 dimensions, ainsi que 2 des agrégats à 1 dimension et le total global

39 OLAP: slicing & dicing Le slicing est la sélec2on d un groupe de cellules depuis le tableau mul2dimensionnel en spécifiant une valeur pour une des dimensions Le dicing est la sélec2on d un groupe de cellules en spécifiant un intervalle de valeurs d aoributs En pra2que, ces 2 opéra2ons peuvent être combinées avec une agréga2on suivant des dimensions

40 OLAP: roll- up & drill- down Les valeurs d aoributs ont souvent une structure hiérarchique Chaque date est associée à une semaine, un mois, une année Chaque localisa2on a une ville, une région, un pays Les produits peuvent être divisés en catégories comme vêtements, électronique, meubles Ces catégories forment souvent un arbre

41 OLAP: roll- up & drill- down CeOe structure hiérarchique permet les opéra2ons de roll- up et de drill- down Pour les ventes, on peut agréger (roll up) les ventes par mois Inversement, on peut augmenter le niveau de précision (drill down) en passant de catégories de produits au détail des produits