Data Mining Master 2 Informatique UAG Bibliographie (1) U. Fayyad, G. Piatetsky-Shapiro, P. Smyth, R. Uthurusamy, editors, Advances in Knowledge Discovery and Data Mining, AAAI/MIT Press, 1996 Gilbert Saporta, Data mining et statistique décisionnelle, Éditions Technip, 2005. Jiawei Han, Micheline Kamber, Data Mining : Concepts and Techniques, Morgan Kaufmann, David T. Connolly & C. Begg, Systèmes de bases de données, Eyrolles, 2005. Ian Witten and Eibe Frank, Data Mining, Practical Machine Learning Tools and Techniques, 2nd edition, Morgan Kaufman, 2005. David Hand, Heikki Mannila, Padhraic Smith, Principles of Data Mining, MIT Press, 2001. Bibliographie (2) Cynthia Gibas et Per Jambeck, Introduction à la bioinformatique, O'Reilly, 2001. Anna Tramontano, Introduction to Bioinformatics, Chapman & Hall/CRC, 2006. Jason Wang, Mohammed Zaki, Hannu Toivonen and Dennis Shasha, Data Mining in Bioinformatics, series: Advanced Information and Knowledge Processing, Springer, 2005. Marcus A. Maloof, Machine Learning and Data Mining for Computer Security: Methods and Applications (Advanced Information and Knowledge Processing), Springer, 2006. Jaideep Vaidya, Chris Clifton, Michael Zhu, Privacy Preserving Data Mining (Advances in Information Security), Springer, 2006. Sites (1) KD Nuggets http://www.kdnuggets.com/ The Data Mine http://www.andypryke.com/university/thedatamine.html Conférences Journaux ACM SIGKDD - Knowledge Discovery and Data Mining ACM Special Interest Group http://www.acm.org/sigkdd/ DMKD http://www.kluweronline.com/issn/1384-5810 Sites (2) Systèmes SPSS (SPSS Clementine) http://www.spss.com/spssbi/clementine/ SAS (Entreprise Miner) http://www.sas.com/ RapidMiner http://rapid-i.com Plan du cours 1. Principes 2. Exemples d'application 3. Tâches standard 4. Datawarehousing 5. Pré-traitement 6. Classification supervisée Weka http://www.cs.waikato.ac.nz/~ml/ BioConductor http://www.bioconductor.org/ 1
1.1 - Introduction Motivation Fouille de données ou : - Data Mining - Knowledge Discovery in Databases (KDD) - Extraction automatique de connaissances à partir de données (ECD) Explosion du volume des données outils et technologie de stockage performants recueil de données volumineux (transactions de ventes, cartes de crédit, images ) : giga et teraoctets Wal-Mart : 20 millions de transactions, 483 processeurs parallèles nécessité d'en tirer des connaissances utiles Domaine connexe : Data Warehousing "data rich but information poor situation" Data Warehousing : technologies comprenant extraction, pré-traitement, chargement Extract, Transform, Load (ETL) nettoyage intégration/agrégation des données interrogation des données agrégées On Line Analysis Processing (OLAP) Une définition du data mining "un processus non trivial d'extraction de modèles valides, nouveaux, potentiellement utiles et compréhensibles à partir de données " (Fayyad 1996) non pas décrire et vérifier des hypothèses mais, générer une hypothèse en recherchant des modèles 1.2 - Exemples d'application et types de problème (1) Domaine d'application et types de problème (2) Marketing Marketing ciblé, CRM (Customer Relationship Management), Ventes croisées, Segmentation des marchés o o o Quel type de clients achètent quels types de produits? Y-a-t-il des liens de causalité entre l achat d un produit P et d un autre produit P? Quel est le comportement des clients au cours du temps utiliser des données recueillies pour un produit similaire recherche d'associations/correlations entre produits chercher des segments parmi clients Analyse et gestion des risques, Détection de fraudes Assurance, Domaine Bancaire : cartes de crédit, accord de crédit Telecommunications Systèmes informatiques, Réseaux Peut-on caractériser les assurés qui font des déclarations d accident frauduleuses? Détecter l'utilisation de cartes de crédit frauduleuse Quels sont les clients "à risque" pour l'accord de crédit? 2
Domaine d'application et types de problème (3) Santé, Médécine Etude de l'influence de certaines médications sur l évolution d une maladie Recherche des médicaments les plus efficaces Astronomie Domaine d'application et types de problème (4) Sécurité informatique Détection traditionnelle basée sur des signatures connues Détecter automatiquement de nouvelles intrusions Différencier intrusion et mauvaise utilisation : Classifier les intrusions Chercher des modèles prédictifs de mauvaises utilisations Construire des profils normaux, des séquences fréquentes Identifier des déviations dans les comportements Domaine d'application et types de problème (5) Domaine d'application et types de problème (4) Biologie - Génomique Analyse des données d'expression de biopuces (micro-arrays) Identifier des similarités dans des séquences d ADN Rechercher le rôle de certains gènes dans une pathologie Rechercher le rôle de certains gènes dans l'effet de médications Rechercher des gènes qui s'expriment de la même manière Télécommunications Problème du churn Recherche d'anomalies sur un réseau Web Mining Etudier le contenu, la structure ou l usage des pages web Text mining (news group, email, tous documents) E-learning Un exemple en marketing Une compagnie de téléphone mobile doit tester sur le marché un nouveau produit ; le produit ne peut être offert initialement qu'à quelques centaines d'abonnés. Il est exclus d'envoyer un courrier à tous les abonnés Il faudrait pouvoir "prédire" qui va probablement acheter le produit Expérience passée : 2 à 3% des clients sont à même de répondre positivement en achetant le produit Pour 500 réponses positives : sans modèle, il faut entre 17000 et 25000 prospects Un exemple en marketing (suite) apprentissage par l'exemple ensemble d'apprentissage : ensembles des enregistrements obtenus lors du lancement d'un produit similaire préparation des données : choix des données entre 3 bases de données (appels détaillés, marketing, données démographiques) construction de plusieurs champs ajoutés comme les minutes d'utilisation, la fréquence des appels, phase de data mining : extraction d'un modèle qui décrit les clients probables du nouveau produit évaluation et interprétation du modèle mise en œuvre (déploiement) 3
Les étapes du processus (1) Comprendre le problème connaissance du domaine, buts poursuivis, données disponibles, déploiment des résultats Explorer : visualiser, questionner Créer le réservoir de données Nettoyage et Intégration Réduction et Transformation Choisir la(les) fonctionnalité(s) (60% du travail) description, classification, classement, regression, association, Choisir la (les) méthodes (algorithmes) Effectuer l'extraction : recherche des modèles intéressants Evaluation du modèle Présentation des résultats CRISP-DM: Data Mining Process Deployment Business understanding Data Evaluation Data evaluation Data preparation Modeling Les étapes du processus (2) Quelles types de données sont fouillées? Data Mining Evaluation Connaissances BD relationnelles Datawarehouses : relationnel, cube multi-dimension Données de transactions BD orientées objet, spatiales, multimedia, textuelles Données temporelles et séries temporelles Données du Web Nettoyage Entrepôt Intégration Sélection et transformation mais le plus souvent, pré-traitées et intégrées dans une table sur laquelle la recherche d'un modèle est réalisée 1.3 - Les différentes tâches/modèles Objectif : Décrire ou Prédire Description : Caractérisation Discrimination requêtes SQL requêtes OLAP description analytique mesures statistiques Les différentes tâches/modèles (2) Analyse d'association (corrélation et causalité) : découvrir des règles d'association : X Y où X et Y sont des conjonctions de termes attributs-valeurs ou des prédicats pain=1 et café=1 beurre=1 [support = 5%, confiance = 70%] age>20 et age<29 et revenu>1000 achètepc="oui" [support = 2%, confiance = 60%] 4
Les différentes tâches/modèles (3) Classification ou Apprentissage non supervisé (clustering) trouver des groupes ou classes d'objets tels que la similarité intra-classe est élevée et la simlilarité inter-classes est faible (pas de variable identifiant la classe) segmentation des clients cluster de gènes Les différentes tâches/modèles (4) Classement/Prédiction ou Apprentissage supervisé (supervised classification) apprendre une fonction qui associe une donnée à une classe prédéfinie classer les clients "vagabonds" en fonction de leurs caractéristiques prédire un comportement frauduleux Autres fonctionnalités du data mining Recherche de séquences temporelles Analyse de flux Analyse de déviations Recherche de correlations 1.4 - Data Warehousing Qu est-ce qu un data warehouse? Un modèle de données multi-dimensions Opérations OLAP typiques Architecture d un data warehouse Qu est-ce qu un data warehouse? BD opérationnelles vs DW Un réservoir de données maintenu indépendant des BD opérationnelles, permettant d'organiser et de consolider les données disparates d une même organisation et d'en faciliter l'analyse Un DW doit être capable d'incorporer toutes les données disponibles d'une organisation Data warehousing : processus de construction (intégration) et de mise en œuvre d'un DW (outils OLAP) BD opérationnelles : OLTP et gestion des requêtes opération journalières des utilisateurs manipulent des données courantes se réfèrent souvent à un modèle conceptuel EA opèrent par transactions courtes DW : support pour l'analyse de données et l'aide à la décision manipulent des données d'archive peuvent présenter les données selon différentes dimensions permettent l'agrégation et manipulent les données à divers degrés de granularité (OLAP) se réfèrent souvent à un modèle conceptuel en étoile ou flocon 5
1.5 - Préparation des données Nécessité de préparer les données Données réelles endommagées Incomplètes, Bruitées, Incohérentes Nettoyage Intégration et transformation Réduction Discrétisation Tâches principales pour la préparation Nettoyage compléter les valeurs manquantes, lisser les données bruitées, supprimer les déviations, et corriger les incohérences Intégration intégrer des sources de données multiples Transformation normaliser (ex. pour le calcul de distances) Réduction réduire le volume des données (agréger, supprimer une dimension ) Discrétisation pour les attributs numériques, permet de réduire le volume Valeurs manquantes on peut ignorer le tuple compléter la valeur à la main utiliser une constante globale utiliser la valeur moyenne utiliser la valeur moyenne pour les exemples d'une même classe utiliser la valeur la plus probable Données bruitées on peut trier et partitionner (discrétiser) classifier (exceptions) appliquer un modèle de prédiction (ex : une fonction de régression) Données bruitées Partitionnement et Lissage les valeurs triées sont réparties en largeur (distance) la suite triée est partitionnée en N intervalles de même amplitude amplitude de chaque intervalle W = (max -min)/n. solution la plus simple, mais les exceptions peuvent dominer ou en profondeur (fréquence) la suite triée est partitionnée en N intervalles contenant le même nombre d'exemples Données bruitées Tri et Partitionner : un exemple données triées 4, 8, 9, 15, 21, 21, 24, 25, 26, 28, 29, 34 Partition en profondeur : - part 1: 4, 8, 9, 15 - part 2: 21, 21, 24, 25 - part 3: 26, 28, 29, 34 Lissage par les moyennes : chaque valeur de la partition est remplacée par la moyenne - part 1: 9, 9, 9, 9 - part 2: 23, 23, 23, 23 - part 3: 29, 29, 29, 29 Lissage par les extremes : : chaque valeur de la partition est remplacée par la valeur extreme la plus proche - part 1: 4, 4, 4, 15 - part 2: 21, 21, 25, 25 - part 3: 26, 26, 26, 34 6
Données bruitées Regression Intégration Données redondantes Y1 Y1 y y = x + 1 les données sont lissées de manière à approcher une fonction Régression linéaire Détection de données redondantes par analyse de corrélation par exemple : redondance entre attribut X1 x Régression linéaire multiple mesure la corrélation entre les attributs A et B r A,B >0 implique que A et B sont positivement corrélés r A,B <0 implique que A et B sont négativement corrélés Transformation Réduction Les transformations appliquées : Le lissage qui supprime les données bruitées permet d'obtenir une représentation réduite d'ensembles volumineux de données L'agrégation qui calcule des sommes, des moyennes La généralisation qui remonte dans une hiérarchie de concept La normalisation qui ramène les valeurs dans un intervalle stratégies appliquées agrégation réduction compression discrétisation donné La construction d'attributs Réduction de dimension Discrétisation suppression d'attributs : de nombreux attributs non pertinents détériorent les performances des algorithmes par ex, les algorithmes d'induction d'arbres pour assurer de bonnes performances aux algorithmes d'extraction (arbres de décision, classifieurs de bayes, ) supprimer des données non pertinentes permet de réduire le nombre de valeurs d'un attribut continue en divisant le domaine de valeurs en intervalles utile pour la classification et les arbres de décision (algorithmes qui manipulent des variables catégorielles) des techniques de discrétisation peuvent être appliquées récursivement pour fournir un partitionnement hiérarchique de l'attribut supprimer des données redondantes 7
Discrétisation non supervisée Discrétisation supervisée Ou discrétisation aveugle (indépendamment d'une valeur de classe) partitionnement en largeur prend en compte la classification utilise l'entropie pour mesurer l'information et obtenir un critère de "pureté" discrétise en intervalles "purs" partitionnement en profondeur Discretisation basée sur l'entropie 1.6 Classification supervisée A. Principes B. Classement par induction d arbres de décision C. Approche probabiliste - Classifieurs Bayésiens D. KNN E. Approche par rétro-propagation F. Approche évolutionnaire G. Approche par règles d association Classement (en : classification) Apprentissage supervisé tâche de prédiction prédit des variables catégorielles construit un modèle de classement (classifieur) des données en se basant sur un ensemble appelé ensemble d'apprentissage (EA) (training set) utilise le modèle pour classer de nouvelles données 8
Apprentissage non supervisé versus supervisé Classification (en: Clustering) : Apprentissage non-supervisé les classes ne sont pas connues étant donné un ensemble de mesures, observations,... est recherchée l'existence de groupes (classes) regroupant des données similaires Apprentissage non supervisé versus supervisé (2) Classement (en : Classification): Apprentissage supervisé supervision: les données de l'ea (observations, mesures, etc.) sont accompagnées d'étiquettes indiquant la classe de chaque donnée une nouvelle donnée est classifiée selon le modèle appris à partir de l'ea Apprentissage supervisé Modélisation prédictive Apprentissage supervisé Modélisation prédictive (2) Classement prédit des variables catégorielles construit un modèle de classification des données Régression modélise des fonctions à valeurs numériques continues prédit des valeurs inconnues ou manquantes Modèle prédictif ( versus descriptif ) une variable est exprimée comme une fonction des autres Y = f(x1,..., Xn) la valeur de cette variable cible peut être prédite à partir des valeurs des autres variables prédictives Y variable catégorielle Classement Y variable quantitative Régression Classement : Apprentissage supervisé construit un modèle de classement des données en se basant sur un ensemble appelé ensemble d'apprentissage (EA) (training set) teste sa précision sur un ensemble de test (ET) (test set) utilise le modèle pour classifier de nouvelles données Classement et Bases de données Dans une table (relationnelle) les classes sont représentées par les valeurs d'un attribut particulier : attribut-cible ou attribut de classe les autres attributs sont appelés attributs prédictifs tâche d'apprentissage ou de classement : extraire un modèle qui permette d'assigner une classe prédéfinie aux tuples selon une condition sur les attributs prédictifs 9
Classement - Exemple Règles de Classification de la forme IF-THEN une règle prédit une classe à partir des attributs prédictifs si A 1,..., A p sont les attributs prédictifs et G est l'attribut de classe, les règles sont de la forme : A 1 = a 1... A p = a p G= g k si on suppose que A 1,..., A p sont à valeurs discrètes Classement en deux étapes 1. Construction du modèle sur l'ensemble d'apprentissage (EA) Classement (1): Construction du modèle EA Algorithmes de Classement 2. Evaluation de la précision (accuracy) du modèle pour classifier de nouveaux objets Classifieur (Modèle) IF Age= 31..40 AND Revenu = élevé THEN Achète = oui Classement étape 2 Evaluation de la précision du modèle pour classifier de nouveaux objets la valeur de l'attribut-cible connue pour chaque exemple de l'et est comparée à la classe prédite par le modèle ET doit être indépendant de EA, sinon risque de sur-évaluation (over-fitting) la valeur prédictive du modèle est évalué sur les exemples de l'et première mesure de la valeur prédictive souvent utilisée : la précision (accuracy), fréquence des exemples correctement classifiés et aussi, les faux positifs, faux négatifs 10
Méthodes Arbres/Règles de décision Modèles probabilistes : Naïve Bayes, Réseaux de Bayes Lazy approaches : K-Nearest Neighbor Réseaux neuronaux Algorithmes génétiques One R Classement par inférence de règles rudimentaires Règle-1 Inférence d'une ensemble de règles dont chacune teste un attribut particulier Att=val Classe Chaque règle porte sur une seule valeur d'attribut La classe prédite est celle qui apparaît le plus souvent dans l'ea On déduit toute les règles possibles pour un attribut et on choisit celle dont le taux d'erreur est le plus petit Inférence de règles rudimentaires Classification supervisée A. Principes B. Classement par induction d arbres de décision C. Approche probabiliste - Classifieurs Bayésiens D. KNN E. Approche par rétro-propagation F. Approche évolutionnaire G. Approche par règles d association Classement par induction d arbres de décision Apprentissage inductif rechercher dans un espace d'hypothèses implicitement défini par la représentation de l'hypothèse trouver la meilleure hypothèse : celle qui correspond au mieux aux exemples de l'ea conjecture : la meilleure hypothèse pour l'ea est aussi la meilleure pour les exemples non connus Arbres de décision pour variables à valeurs discrètes structure d arbre de type organigramme un noeud représente un test sur un attribut une branche correspond à un résultat de test les feuilles représentent les classes ou les distributions de classe utilisation : classement d une donnée inconnue, en comparant la valeur de ses attributs avec les noeuds de l arbre 11
Quand rechercher un arbre de décision? Génération d un arbre de décision Instances décrites par des attributs à valeurs discrètes Attribut de classe à valeurs discrètes Hypothèses disjointes Exemple : Prédire le risque de crédit Prédire le "churn" Prédire une pathologie En deux étapes construction au début : tous les exemples sont à la racine les exemples sont ensuite répartis selon le résultat du test effectué sur l attribut choisi élagage identifier et supprimer les branches qui contiennent bruit et exceptions Ensemble d apprentissage Résulat : un arbre de décision pour achète_ordinateur age? <=30 30..40 >40 etudiant oui degsolvabilité non oui excellent bon non oui non oui Extraction de règles de classification Extraction de règles de classification à partir des arbres de décision Chaque règle est de la forme IF-THEN Une règle est créée pour chaque chemin de la racine à une feuille Chaque terme attribut-valeur constitue un opérande de la conjonction en partie gauche Chaque feuille correspond à une classe à prédire non age? <=30 30..40 >40 etudiant oui oui degsolvabilité non oui excellent bon non oui IF age = <=30 AND etudiant = non THEN achète_ordinateur = non IF age = <=30 AND etudiant = oui THEN achète_ordinateur = oui IF age = 31 40 THEN achète_ordinateur = oui IF age = >40 AND degsolvabilité = excellent THEN achète_ordinateur = non IF age = >40 AND degsolvabilité = = bon THEN achète_ordinateur = oui 12
Induction d'un arbre de décision ID3 [Quinlan 1986] a évolué jusqu'aux versions C4.5 et C5.0 principe de base : construire récursivement un arbre de la racine aux feuilles à chaque noeud, choisir le meilleur attribut parmi ceux restant quel est le meilleur? ID3 (2) au début, tous les exemples sont à la racine attributs catégoriels, ou continues et discrétisées les exemples sont ensuite répartis sur des branches pour chaque valeur de l'attribut choisi comme test le processus est répété sur l'ea correspondant à chaque nœud descendant ID3 (3) les attributs de test sont choisis selon un critère heuristique ou un critère statistique le processus de partitionnement (split) s arrête lorsque tous les exemples de chaque noeud appartiennent à la même classe. il ne reste aucun exemple à classifier ou il ne reste plus d attribut pour base de partitionnement le scrutin majoritaire est utilisé pour classifier le noeud Algorithmes d induction d un arbre de décision ID3 (Quinlan 1986) CART C4.5 (Quinlan 1993) et C5.0 SLIQ (Mehta et al 1996) SPRINT (Shafer et al 1996) RAINFOREST (Gehrke, Ramakrishnan & Ganti 1998) Critères de sélection d un attribut de test Information gain (ID3/C4.5) critère heuristique mesure la réduction d'entropie Index Gini (CART, SLIQ, SPRINT) critère statistique mesure l'impureté d'un noeud Sélection d un attribut de test (1) Le meilleur attribut intuitivement : celui qui partitionne le mieux les instances en classes, celui qui maximise la distance entre les groupes obtenus après partitionnement celui qui minimise l'information (le nombre de tests) nécessaire pour classifier les exemples selon la partition résultante et qui reflète le désordre minimum dans cette partition donc garantit que l'arbre résultant sera simple plus formellement : déterminer une mesure de séparabilité 13
Approche théorie de l'information - L'entropie Soit S l'ensemble d'exemples Supposons que l'attribut à prédire prenne M valeurs distinctes définissant M classes C 1,, C M Fonction d'entropie Entropie L'entropie E(S) est définie par où p i désigne la proportion d'exemples de S appartenant à Ci p+ Gain d'information Sélection d'un attribut par calcul de la mesure Infogain mesure d'efficacité d'un attribut A : gain d'information réduction de l'entropie obtenue en partitionnant selon A InfoGain(S, A) = E(S) k= M k=1 Sk S E(Sk) Class P: achète_ordinateur = oui Class N: achète_ordinateur = non E(S) =-9/14 log(9/14) - 5/14 log(5/14) =0.94 où A prend les valeurs a 1, a M et S k est le sous-ensemble de S pour lequels l'attribut A prend la valeur a k Inconvénient de InfoGain favorise les éclatements en un grand nombre de partitions, chacune étant pure par exemple : attribut date avec N valeurs, N grand Infogain(date) maximum si on suppose que date suffit à prédire la classe Autre mesure : Gain Ratio (C4.5) introduit une information de partitionnement SplitInfo(S, A) = k= M Sk k=1 S log 2 S GainRatio(S,A) = InfoGain(S,A) SplitInfo(S, A) ajuste InfoGain avec l'entropie du partitionnement pénalise un éclatement dans un grand nombre de petites partitions Sk 14
Sélection d un attribut de test (2) Index Gini Si un ensemble d'exemples S contient M classes, l'index Gini de S est défini par : Gini où p j est la fréquence relative de la classe j dans S (CART, SLIQ, SPRINT) p+ Index Gini Index Gini d'une partition C1 0 C2 6 Gini=0 C1 2 C2 4 Gini=0.444 Si un ensemble S est partitionné en sousensembles S 1 S P de tailles respectives N 1 N P, l'index Gini de la partition est défini par C1 1 C2 5 Gini=0.278 C1 3 C2 3 Gini=0.500 L'attribut qui produit l'index Gini minimum est le meilleur Index Gini d'une partition Principes de recherche dans l'espace d'hypothèses (ID3) A N1 N2 N1 N2 N1 N2 C1 0 4 C2 6 0 C1 4 2 C2 4 0 Gini=0 Gini=0.4 N1 N2 C1 6 2 N1 N2 C1 3 4 C2 2 0 C2 3 0 Gini=0.3 Gini=0.3 15
Principes de recherche dans l'espace d'hypothèses (ID3) Pourquoi rechercher l'arbre le plus court? Une seule hypothèse est solution Pas de backtrack Biais : recherche de l'arbre de plus court + - Règles plus courtes, plus compréhensibles, plus simples Une hypothèse courte a peu de chances d'être une coincidence Une hypothèse longue qui correspond parfaitement aux données a des chances d'être une coincidence Difficile de définir une hypothèse courte Que peut-on dire des ensembles de faible volume basés sur des hypothèses courtes? Divers problèmes Sur-évaluation (Overfitting) Eviter la sur-évaluation Traiter les variables continues Traiter les valeurs manquantes Attribuer des coûts différents pour certains attributs Si on ajoute du bruit au jeu de données Sur-évaluation (Overfitting) age? Sur-évaluation de l'ensemble d'apprentissage : une hypothèse est meilleure qu'un autre sur l'ea, mais moins bonne sur l'ensemble des données <=30 31..40 >40 données bruitées et d'anomalies combinatoire très importante l'arbre de décision etudiant degsolvabilité degsolvabilité arbres trop complexes, incompréhensibles qui peuvent outre-passer les données mauvaise prédiction sur des exemples nouveaux non oui excellent bon excellent bon Solution : Elaguer (pruning) non oui non oui non oui 16
Sur-évaluation (Overfitting) Sur-évaluation (Overfitting) Soit une hypothèse h sur l'ensemble d'apprentissage: error train (h) sur l'ensemble D des données: error D (h) Hypothese h sur-évalue l'ea s'il existe une autre hypothese h H telle que error train (h) < error train (h ) et error D (h) > error D (h ) Elagage Pré-élagage Pour éviter l'over-fitting arrêter le développement vertical de l'arbre (pré-élagage) développer l'arbre puis l'élaguer (post-élagage) Minimum description length (MDL): minimiser size(tree) + size(misclassifications(tree)) appliquer des règles qui limitent la profondeur des branches, par exemple fixer un seuil limite du nombre de noeuds au dessus duquel un chemin ne peut plus être développé fixer un seuil limite du nombre d'enregistrements en dessous duquel un nœud ne peut plus être éclaté Post-élagage Extensions de l'algorithme de base Développer l'arbre à son maximum puis, élaguer des branches jusqu'à leur taille minimum pour ne pas compromettre leur valeur, par exemple utiliser une heuristique ou l'intervention de l'utilisateur, par exemple, utiliser un ensemble de données différent de l'ensemble d'apprentissage pour tester si un sous-arbre améliore suffisamment l'exactitude entière (estimer le taux d'erreur) traiter les variables continues discrétisation en un ensemble d'intervalles gérer les valeurs manquantes les remplacer par la valeur la plus fréquente assigner une probabilité p i à chaque valeur possible, assigner une fraction p i des exemples à chaque sous-nœud 17
Taux d'erreur Estimation du taux d'erreur Taux d'exemples mal classés taux d'erreur apparent : sur l'ensemble d'apprentissage estimation du taux d'erreur réel : sur un ensemble de test ET doit être issu du même ensemble que EA et doit refléter la population à laquelle le classifieur doit être appliqué en termes de distribution diviser l'ensemble des données en ensemble d'apprentissage (2/3) et ensemble de test (1/3) utiliser la validation croisée (cross-validation) utiliser toutes les données dans l'ensemble d'apprentissage Un ET n'est pas toujours disponible Alternative à l'éclatement EA/ET : Validation croisée Validation croisée Différentes erreurs Principe l'ensemble des exemples est partitionné en k parties d'effectifs égaux apprentissage et test en k étapes à chaque étape : utiliser k-1 parties comme EA et 1 comme ET(k-fold cross-validation) calculer le taux d'erreur e k taux d'erreur estimé : moyenne des e k on prend souvent K=10 prédire un exemple dans C alors qu'il appartient à non C prédire un exemple dans non C alors qu'il appartient à C Vrai positif (True Positive) : exemple prédit dans C et appartenant à C Vrai négatif (True Negative) : exemple prédit dans nonc et appartenant à nonc Faux positif (False Positive) : exemple prédit dans C et appartenant à nonc Faux négatif (False Negative) : exemple prédit dans nonc et appartenant à C Matrice de confusion Matrice de confusion C C C TP FN C FP TN FP + FN TP + FP + TN + FN P N P TP FN N FP TN 18
Mesures et objectifs Sensibilité, Recall, Précision, diagnostic médical : classer un sujet dans la classe dans laquelle il a la probabilité la plus grande de se placer on recherche Ci de manière à avoir p(ci/h) maximum test médical : comparer le taux de sujets non malades dont le test est positif au taux des sujets malades dont le test est négatif accord de crédit : identifier la proportion des clients qui deviennent "à risque" alors que le crédit leur a été accordé A C Sensibilité (Se), Recall, Taux de TP, Spécificité (Sp), Taux de TN Taux de FP Précision Différents coûts d'erreur exemples : accord de crédit prévision de consommation électrique diagnostiques... pondérer différemment les erreurs : FN ou FP Mesures standard Correctly Classified Instances 579 84.7731 % Incorrectly Classified Instances 104 15.2269 % Total Number of Instances 683 === Detailed Accuracy By Class === TP Rate FP Rate Precision Recall F-Measure Class 0.85 0.018 0.586 0.85 0.694 diaporthe-stem-canker 1 0 1 1 1 charcoal-rot 0.95 0 1 0.95 0.974 rhizoctonia-root-rot Arbres de décision : Avantages Inconvénients sont peu coûteux à construire : ils font peu de parcours des données et supportent de nombreuses variables prédictives facilement interprétables efficaces dans le cas d'une majorité de variables qualitatives ont une valeur prédictive comparable aux autres méthodes dans la plupart des applications critère naïf pour le choix de l'attribut de partitionnement : ce critère ne tient pas compte des incidences produites sur les partitionnements ultérieurs le choix n'est pas remis en question le processus est séquentiel donc un partitionnement dépend toujours du précédent univarié (il ne s'intéresse qu'à une variable à chaque nœud) donc limitation du nombre de règles explorées et détection difficile des relations entre attributs les algorithmes comme ID3 ou C4.5 nécessitent des données stockées en mémoire 19
C5.0 Adaptation au Data Mining construit l'arbre " en profondeur d'abord" utilise GainRatio nécessite que la base entière réside en mémoire BD : des millions d'exemples et des centaines d'attributs Approches Data Mining: SLIQ (Mehta et al. 1996) construit un index pour chaque attribut ; seules la liste de classes et la liste-attribut courante sont en mémoire SPRINT (J. Shafer et al. 1996) construit une liste-attribut qui contient la classe RainForest (Gehrke, Ramakrishnan & Ganti 1998) s'adapte à l'espace mémoire disponible construit une liste AVC (attribut-valeur, classe) indiquant la distribution dans les classes de chaque attribut Classification supervisée A. Principes B. Classement par induction d arbres de décision C. Approche probabiliste - Classifieurs Bayésiens D. KNN E. Approche par rétro-propagation F. Approche évolutionnaire G. Approche par règles d association Approche probabiliste - Classifieurs Bayésiens Classifieur statistique qui prédit la probabilité pour un exemple d'appartenir à une classe basé sur la Théorie de Bayes (probabilités conditionnelles) approche la plus utilisée pour certains types d apprentissage, car aussi performante que arbres de décision et réseaux de neurones deux formes : Classement naïve, Classement par Réseaux bayésiens Intérêt des méthodes bayésiennes Inconvénients fournissent une perspective utile pour comprendre des algorithmes d apprentissage qui ne manipulent pas explicitement des probabilités sont incrémentales: chaque exemple dans EA peut augmenter ou réduire la probabilité qu une hypothèse soit correcte ; une hypothèse n est pas éliminée car inconsistante avec un seul exemple nécessitent une connaissance initiale de nombreuses probabilités Si elles ne sont pas connues à l avance, elles sont souvent estimées à l aide de la connaissance du contexte, des données disponibles et de suppositions sur la forme des distributions sous-jacentes nécessitent un temps de calcul important pour déterminer l hypothèse optimale 20