Machine Learning avec Weka

Transcription

1 Machine Learning avec Weka Module X8II090 - Cours 1 Florian Boudin Département informatique, Université de Nantes Révision 1 du 4 janvier 2012

2 Plan Préambule Introduction Traitement des données Format d entrée Pré-traitement des données Classification Les algorithmes de classification dans Weka Les méthodes de base Entraînement et sauvegarde des modèles dans Weka Évaluation de l apprentissage Conclusion 04 jan 2012 / Rév. 1 - page 2 sur 53

3 Objectifs et notions abordées Objectif principal : être capable d utiliser le toolkit Weka Interface graphique Outil en ligne de commande Ce cours reprend les exemples ainsi que la méthodologie du livre Data Mining par Witten & Frank Site web du cours 04 jan 2012 / Rév. 1 - page 3 sur 53

4 Motivations La fécondation in vitro (procréation médicalement assistée) Collecte d ovules et de spermatozoïdes Fécondation de plusieurs embryons Comment choisir les "meilleurs" embryons à implanter? Nombre de cellules, régularité, fragmentation,... (± 60 critères) L éleveur de Nouvelle-Zélande Habituellement 20% des vaches sont abattues en fin de saison Comment choisir les vaches pour l abattoir? Reproduction, quantité et qualité du lait, problèmes de santé, âge, amour de l éleveur,... (± 700 critères) Autres exemples : reconnaissance du code postal, filtrage anti-spams, radars automatiques L exploration de données et l apprentissage sont partout! 04 jan 2012 / Rév. 1 - page 4 sur 53

5 Plan Préambule Introduction Traitement des données Classification Évaluation de l apprentissage Conclusion 04 jan 2012 / Rév. 1 - page 5 sur 53

6 D ou vient le nom Weka? Alan Vernon via Wikimedia Commons 04 jan 2012 / Rév. 1 - page 6 sur 53

7 Présentation de Weka (1) Weka (Waikato Environment for Knowledge Analysis) Environnement Waikato pour l analyse de connaissances Suite de logiciels d apprentissage automatique et d exploration de données écrite en Java Développée à l université de Waikato en Nouvelle-Zélande Historique 1993, Développement de la version originale en C 1997, Re-développement à partir de zéro en Java 2005, Weka reçoit le SIG KDD award 2006, Pentaho Corporation acquiert une licence exclusive 04 jan 2012 / Rév. 1 - page 7 sur 53

8 Présentation de Weka (2) downloads sur Sourceforge (2011) Disponible pour toutes les plateformes Windows x86, Windows x64, Mac OS X, Linux etc. Documentation riche et communauté large Le livre Data Mining : Practical Machine Learning Tools and Techniques (troisième édition) API Wiki FAQ Tutoriels, mailing list, etc. 04 jan 2012 / Rév. 1 - page 8 sur 53

9 Que contient le toolkit Weka? Outils de pré-traitement des données (filtering) Sélection, transformation, combinaison d attributs, normalisation, re-échantillonnage, etc. Algorithmes pour l exploration de données Clustering, classification, régression, etc. Analyse de résultats Évaluation de performances, comparaison d algorithmes, etc. Plusieurs interfaces Graphiques (Explorer, Experimenter et Knowledge Flow) En ligne de commande (CLI) 04 jan 2012 / Rév. 1 - page 9 sur 53

10 Aperçu de l interface de Weka 04 jan 2012 / Rév. 1 - page 10 sur 53

11 Utilisation de l outil en ligne de commande L interface graphique est suffisante pour les premières expériences L interface en CLI est recommandée pour une utilisation plus poussée Elle offre des fonctionnalités supplémentaires Elle utilise beaucoup moins de mémoire Penser à : Augmenter le maximum heap size de Java (-Xmx1024M) Ajouter weka.jar dans CLASSPATH 04 jan 2012 / Rév. 1 - page 11 sur 53

12 Plan Préambule Introduction Traitement des données Format d entrée Pré-traitement des données Classification Évaluation de l apprentissage Conclusion 04 jan 2012 / Rév. 1 - page 12 sur 53

13 Format d entrée (1) Le format d entrée par défaut de Weka est le ARFF (Attribute Relation File Format) D autres formats peuvent être importés CSV, binaire, BDD SQL (avec JDBC), à partir d une URL, etc. Caractéristiques du format de fichier ARFF : 1. Les commentaires sont précédés de % % Ceci est un commentaire dans un ensemble % de donnees. 2. Définition du nom de l ensemble de données Le nom doit être aussi compréhensible que temperaturemaison_14jours 04 jan 2012 / Rév. 1 - page 13 sur 53

14 Format d entrée (2) 3. Définition des features Attributs nominaux suivis des valeurs entre outlook {sunny, overcast, rainy} Attributs numériques avec temperature real Attributs chaines avec string, les valeurs doivent être entre doubles guillemets "blah blih untexte string Attributs dates avec date (yyyy-mm-dd-thh :mm unedate date signale le début des instances 04 jan 2012 / Rév. 1 - page 14 sur 53

15 Exemple de fichier ARFF % Ensemble de donnees sur la weather % Definition des outlook {sunny, overcast, temperature humidity windy {TRUE, play {yes, no} % Debut des sunny,85,85,false,no sunny,80,90,true,no overcast,83,86,false,yes rainy,70,96,false,yes jan 2012 / Rév. 1 - page 15 sur 53

16 Format d entrée (3) Par défaut, le dernier attribut est considéré comme la variable de classe / à prédire En CLI, la commande -c permet de choisir la variable à prédire, e.g. -c 1 spécifie le premier attribut Dans le cas de données éparses, il est possible de compresser les données en ne représentant pas explicitement les valeurs 0 Le format est <index><espace><valeur> % Instances contenant beaucoup de 0 0, 6, 0, 0, 0, 0, 3, 0, 0, 0, "class A" 0, 0, 0, 4, 0, 0, 0, 0, 0, 0, "class B" % Instances compressees avec des accolades {1 6, 6 3, 10 "class A"} {3 4, 10 "class B"} 04 jan 2012 / Rév. 1 - page 16 sur 53

17 Format d entrée (4) Les outils de visualisation sont très utiles ARFFviewer : visualisation, modification, tri, etc. Explorer : chargement des données, histogrammes, etc. Apprendre à voir les données Les histogrammes et les courbes montrent les dépendances Trop de données prendre un extrait Démonstration 1 Visualisation et modification du contenu d un fichier ARFF Chargement et visualisation des courbes Conversion ARFF CSV 04 jan 2012 / Rév. 1 - page 17 sur 53

18 Plan Préambule Introduction Traitement des données Format d entrée Pré-traitement des données Classification Évaluation de l apprentissage Conclusion 04 jan 2012 / Rév. 1 - page 18 sur 53

19 Pré-traitement des données (1) Les pré-traitements dans Weka sont effectués grâce aux filtres Les filtres permettent de modifier les ensemble de données : supprimer ou ajouter des attributs, ré-échantillonner, supprimer des exemples, etc. Le package weka.filters dispose de deux types de filtres Filtres non supervisés Filtres supervisés, i.e. tirant parti de l information de la classe Il existe des filtres pour les attributs et pour les exemples Attention à l évaluation des résultats, les filtres supervisés utilisent les valeurs de classes et peuvent biaiser les résultats 04 jan 2012 / Rév. 1 - page 19 sur 53

20 Pré-traitement des données (2) Plusieurs dizaines de filtres Ajout, suppression et copie d attributs (Add, Remove et Copy) Ajout de bruit (AddNoise) Fusion d attributs (Merge) Conversion (NominalToBinary, StringToBinary, etc.) Anonymer (Obfuscate) Méthode de discrétisation (Discretize) Exemple d application d un filtre avec l Exlorer et en CLI 04 jan 2012 / Rév. 1 - page 20 sur 53

21 Application d un filtre : normalisation 04 jan 2012 / Rév. 1 - page 21 sur 53

22 Application d un filtre : normalisation 04 jan 2012 / Rév. 1 - page 21 sur 53

23 Application d un filtre : normalisation 04 jan 2012 / Rév. 1 - page 21 sur 53

24 Application d un filtre : normalisation Avec un clic droit sur le nom du filtre, il est possible d obtenir plus de détails sur son fonctionnement. Il est également possible de modifier certains paramètres. 04 jan 2012 / Rév. 1 - page 21 sur 53

25 Application d un filtre : normalisation Le filtre a normalisé toutes les valeurs numériques de l ensemble de données dans l intervalle [0, 1]. 04 jan 2012 / Rév. 1 - page 21 sur 53

26 Application d un filtre en CLI Tous les filtres disposent des options -i et -o pour spécifier l ensemble de données d entrée et de sortie L option -h permet d obtenir la liste des options disponibles Supprimer les deux premiers attributs d un ensemble de données java weka.filters.unsupervised.attribute.remove -R 1-2 -i data1.arff -o data2.arff Créer un sous ensemble préservant la distribution des classes java weka.filters.supervised.instance.resample -i data1.arff -o data1-5%.arff -c last -Z 5 04 jan 2012 / Rév. 1 - page 22 sur 53

27 Pré-traitement des données (3) Le pré-traitement des données est très important, et il a un impact majeur sur la qualité de l apprentissage Démonstration 2 Chargement des données Application de filtres avec l explorer (ajout de bruit, anonymer) 04 jan 2012 / Rév. 1 - page 23 sur 53

28 Plan Préambule Introduction Traitement des données Classification Les algorithmes de classification dans Weka Les méthodes de base Entraînement et sauvegarde des modèles dans Weka Évaluation de l apprentissage Conclusion 04 jan 2012 / Rév. 1 - page 24 sur 53

29 Les algorithmes de classification Les classifieurs dans Weka sont des modèles pour prédire des valeurs nominales ou numériques Algorithmes de classification inclus Arbres de décision Classification bayésienne naïve Machine à vecteurs de support (SVM) Perceptron multi-couche Réseau bayésien, etc. Des meta-classifieurs Combinaison Bagging Boosting, etc. 04 jan 2012 / Rév. 1 - page 25 sur 53

30 L onglet Classify dans l Explorer 04 jan 2012 / Rév. 1 - page 26 sur 53

31 Plan Préambule Introduction Traitement des données Classification Les algorithmes de classification dans Weka Les méthodes de base Règles de classification Classification Bayésienne probabiliste Les arbres de décision Entraînement et sauvegarde des modèles dans Weka Évaluation de l apprentissage Conclusion 04 jan 2012 / Rév. 1 - page 27 sur 53

32 Déduction de règles de classification Trouver des règles de classification simples (1R pour 1-rule) Idée Une règle pour chaque attribut Une branche pour chacune des valeurs des attributs Pseudocode pour 1R Pour chaque attribut Pour chaque valeur de cet attribut, creer une regle Compter combien de fois chaque classe apparait Trouver la classe la plus frequente Creer une regle : attribut-valeur -> classe Calculer le taux d'erreur de la regle Choisir les regles avec le plus petit taux d'erreur 04 jan 2012 / Rév. 1 - page 28 sur 53

33 Déduction de règles de classification outlook {sunny,overcast,rainy} temperature numeric humidity numeric windy {TRUE,FALSE} play sunny,85,85,false,no sunny,80,90,true,no overcast,83,86,false,yes rainy,70,96,false,yes rainy,68,80,false,yes rainy,65,70,true,no overcast,64,65,true,yes sunny,72,95,false,no sunny,69,70,false,yes rainy,75,80,false,yes sunny,75,70,true,yes overcast,72,90,true,yes overcast,81,75,false,yes rainy,71,91,true,no Attributs Règles Erreurs Total 1 outlook sunny no 2/5 4/14 overcast yes 0/4 rainy yes 2/5 2 temperature 85 no 0/1?/14 83 yes 0/ humidity 96 yes 0/1?/14 95 no 0/ windy false yes 2/8 5/14 true no 3/6 choix aléatoire de la meilleur règle 04 jan 2012 / Rév. 1 - page 29 sur 53

34 Déduction de règles de classification outlook {sunny,overcast,rainy} temperature numeric humidity numeric windy {TRUE,FALSE} play sunny,85,85,false,no sunny,80,90,true,no overcast,83,86,false,yes rainy,70,96,false,yes rainy,68,80,false,yes rainy,65,70,true,no overcast,64,65,true,yes sunny,72,95,false,no sunny,69,70,false,yes rainy,75,80,false,yes sunny,75,70,true,yes overcast,72,90,true,yes overcast,81,75,false,yes rainy,71,91,true,no Attributs Règles Erreurs Total 1 outlook sunny no 2/5 4/14 overcast yes 0/4 rainy yes 2/5 2 temperature 85 no 0/1?/14 83 yes 0/ humidity 96 yes 0/1?/14 95 no 0/ windy false yes 2/8 5/14 true no 3/6 choix aléatoire de la meilleur règle 04 jan 2012 / Rév. 1 - page 29 sur 53

35 Déduction de règles de classification outlook {sunny,overcast,rainy} temperature numeric humidity numeric windy {TRUE,FALSE} play sunny,85,85,false,no sunny,80,90,true,no overcast,83,86,false,yes rainy,70,96,false,yes rainy,68,80,false,yes rainy,65,70,true,no overcast,64,65,true,yes sunny,72,95,false,no sunny,69,70,false,yes rainy,75,80,false,yes sunny,75,70,true,yes overcast,72,90,true,yes overcast,81,75,false,yes rainy,71,91,true,no Attributs Règles Erreurs Total 1 outlook sunny no 2/5 4/14 overcast yes 0/4 rainy yes 2/5 2 temperature 85 no 0/1?/14 83 yes 0/ humidity 96 yes 0/1?/14 95 no 0/ windy false yes 2/8 5/14 true no 3/6 choix aléatoire de la meilleur règle 04 jan 2012 / Rév. 1 - page 29 sur 53

36 Déduction de règles de classification outlook {sunny,overcast,rainy} temperature numeric humidity numeric windy {TRUE,FALSE} play sunny,85,85,false,no sunny,80,90,true,no overcast,83,86,false,yes rainy,70,96,false,yes rainy,68,80,false,yes rainy,65,70,true,no overcast,64,65,true,yes sunny,72,95,false,no sunny,69,70,false,yes rainy,75,80,false,yes sunny,75,70,true,yes overcast,72,90,true,yes overcast,81,75,false,yes rainy,71,91,true,no Attributs Règles Erreurs Total 1 outlook sunny no 2/5 4/14 overcast yes 0/4 rainy yes 2/5 2 temperature 85 no 0/1?/14 83 yes 0/ humidity 96 yes 0/1?/14 95 no 0/ windy false yes 2/8 5/14 true no 3/6 choix aléatoire de la meilleur règle Problème avec les attributs numériques 04 jan 2012 / Rév. 1 - page 29 sur 53

37 Classification 1-R dans Weka 04 jan 2012 / Rév. 1 - page 30 sur 53

38 Discrétisation des données Comment convertir les attributs numériques en attributs nominaux pour pouvoir créer des règles? Il faut discrétiser les attributs numériques yes no yes yes yes no no yes yes yes no yes yes no 04 jan 2012 / Rév. 1 - page 31 sur 53

39 Discrétisation des données Comment convertir les attributs numériques en attributs nominaux pour pouvoir créer des règles? Il faut discrétiser les attributs numériques yes no yes yes yes no no yes yes yes no yes yes no Création (automatique) de 8 catégories en découpant aux points 64.5, 66.5, 70.5, 72, 77.5, 80.5 et 84 1-R n utilise qu un attribut! Utiliser tous les attributs, chacun contribuant à la décision 04 jan 2012 / Rév. 1 - page 31 sur 53

40 Plan Préambule Introduction Traitement des données Classification Les algorithmes de classification dans Weka Les méthodes de base Règles de classification Classification Bayésienne probabiliste Les arbres de décision Entraînement et sauvegarde des modèles dans Weka Évaluation de l apprentissage Conclusion 04 jan 2012 / Rév. 1 - page 32 sur 53

41 Ensemble de données outlook {sunny, overcast, temperature {hot, mild, humidity {high, windy {TRUE, play {yes, sunny,hot,high,false,no sunny,hot,high,true,no overcast,hot,high,false,yes rainy,mild,high,false,yes rainy,cool,normal,false,yes rainy,cool,normal,true,no overcast,cool,normal,true,yes jan 2012 / Rév. 1 - page 33 sur 53

42 Classification Bayésienne probabiliste I Méthode simple et intuitive basée sur le théorème de Bayes P(H E) = P(E H)P(H) P(E) Ou H est l hypothèse à tester et E l évidence associée à H, P(H) est une probabilité a priori Calcul des probabilités conditionnelles à partir des instances P(E H) P(outlook : sunny yes), P(windy : TRUE yes),... P(H) P(yes), P(no) 04 jan 2012 / Rév. 1 - page 34 sur 53

43 Classification Bayésienne probabiliste sunny,hot,high,false,no sunny,hot,high,true,no overcast,hot,high,false,yes rainy,mild,high,false,yes rainy,cool,normal,false,yes rainy,cool,normal,true,no overcast,cool,normal,true,yes sunny,mild,high,false,no sunny,cool,normal,false,yes rainy,mild,normal,false,yes sunny,mild,normal,true,yes overcast,mild,high,true,yes overcast,hot,normal,false,yes rainy,mild,high,true,no P(outlook : sunny yes) = 2/9 P(outlook : sunny no) = 3/5 P(windy : TRUE yes) = 3/9... P(yes) = 9/14 P(no) = 5/14 04 jan 2012 / Rév. 1 - page 35 sur 53

44 Classification Bayésienne probabiliste (2) Outlook Temperature Humidity Windy Play value yes no value yes no value yes no value yes no yes no sunny 2/9 3/5 hot 2/9 2/5 high 3/9 4/5 false 6/9 2/5 9/14 5/14 overcast 4/9 0/5 mild 4/9 2/5 normal 6/9 1/5 true 3/9 3/5 rainy 3/9 2/5 cool 3/9 1/5 Un nouvel exemple arrive : ( sunny ; cool ; high ; true ;? ) 04 jan 2012 / Rév. 1 - page 36 sur 53

45 Classification Bayésienne probabiliste (2) Outlook Temperature Humidity Windy Play value yes no value yes no value yes no value yes no yes no sunny 2/9 3/5 hot 2/9 2/5 high 3/9 4/5 false 6/9 2/5 9/14 5/14 overcast 4/9 0/5 mild 4/9 2/5 normal 6/9 1/5 true 3/9 3/5 rainy 3/9 2/5 cool 3/9 1/5 Un nouvel exemple arrive : ( sunny ; cool ; high ; true ;? ) 04 jan 2012 / Rév. 1 - page 36 sur 53

46 Classification Bayésienne probabiliste (2) Outlook Temperature Humidity Windy Play value yes no value yes no value yes no value yes no yes no sunny 2/9 3/5 hot 2/9 2/5 high 3/9 4/5 false 6/9 2/5 9/14 5/14 overcast 4/9 0/5 mild 4/9 2/5 normal 6/9 1/5 true 3/9 3/5 rainy 3/9 2/5 cool 3/9 1/5 Un nouvel exemple arrive : ( sunny ; cool ; high ; true ;? ) Vraisemblance de yes : 2/9 3/9 3/9 3/9 9/14 = jan 2012 / Rév. 1 - page 36 sur 53

47 Classification Bayésienne probabiliste (2) Outlook Temperature Humidity Windy Play value yes no value yes no value yes no value yes no yes no sunny 2/9 3/5 hot 2/9 2/5 high 3/9 4/5 false 6/9 2/5 9/14 5/14 overcast 4/9 0/5 mild 4/9 2/5 normal 6/9 1/5 true 3/9 3/5 rainy 3/9 2/5 cool 3/9 1/5 Un nouvel exemple arrive : ( sunny ; cool ; high ; true ;? ) Vraisemblance de yes : 2/9 3/9 3/9 3/9 9/14 = Vraisemblance de no : 3/5 1/5 4/5 3/5 5/14 = jan 2012 / Rév. 1 - page 36 sur 53

48 Classification Bayésienne probabiliste (2) Outlook Temperature Humidity Windy Play value yes no value yes no value yes no value yes no yes no sunny 2/9 3/5 hot 2/9 2/5 high 3/9 4/5 false 6/9 2/5 9/14 5/14 overcast 4/9 0/5 mild 4/9 2/5 normal 6/9 1/5 true 3/9 3/5 rainy 3/9 2/5 cool 3/9 1/5 Un nouvel exemple arrive : ( sunny ; cool ; high ; true ;? ) Vraisemblance de yes : 2/9 3/9 3/9 3/9 9/14 = Vraisemblance de no : 3/5 1/5 4/5 3/5 5/14 = Les nombres peuvent être changés en probabilités Probabilité de yes = / ( ) = 20.5% Probabilité de no = / ( ) = 79.5% 04 jan 2012 / Rév. 1 - page 36 sur 53

49 Classification Bayésienne probabiliste (3) Méthode simple et intuitive basée sur le théorème de Bayes P(H E) = P(E H)P(H) P(E) Ou H est l hypothèse à tester et E l évidence associée à H, P(H) est une probabilité a priori Reprise de l exemple précédent outlook : sunny ; temperature : cool ; humidity : high ; windy : true P(yes E) = P(sunny yes) P(cool yes) P(high yes) P(true yes) P(yes) P(E) P(yes E) = 2/9 3/9 3/9 3/9 9/14 P(E) 04 jan 2012 / Rév. 1 - page 37 sur 53

50 Plan Préambule Introduction Traitement des données Classification Les algorithmes de classification dans Weka Les méthodes de base Règles de classification Classification Bayésienne probabiliste Les arbres de décision Entraînement et sauvegarde des modèles dans Weka Évaluation de l apprentissage Conclusion 04 jan 2012 / Rév. 1 - page 38 sur 53

51 Les arbres de décision Processus récursif Sélectionner un attribut en noeud racine et ajouter une branche pour chacune des valeurs possibles Répéter le processus pour chaque branche, utilisant uniquement les attributs qui atteignent la branche Quel attribut choisir? Celui qui divise de la manière la plus pure mesure de pureté 04 jan 2012 / Rév. 1 - page 39 sur 53

52 Les arbres de décision Processus récursif Sélectionner un attribut en noeud racine et ajouter une branche pour chacune des valeurs possibles Répéter le processus pour chaque branche, utilisant uniquement les attributs qui atteignent la branche Quel attribut choisir? Celui qui divise de la manière la plus pure mesure de pureté 04 jan 2012 / Rév. 1 - page 39 sur 53

53 Les arbres de décision Processus récursif Sélectionner un attribut en noeud racine et ajouter une branche pour chacune des valeurs possibles Répéter le processus pour chaque branche, utilisant uniquement les attributs qui atteignent la branche Quel attribut choisir? Celui qui divise de la manière la plus pure mesure de pureté 04 jan 2012 / Rév. 1 - page 39 sur 53

54 Classification J48 dans Weka 04 jan 2012 / Rév. 1 - page 40 sur 53

55 Plan Préambule Introduction Traitement des données Classification Les algorithmes de classification dans Weka Les méthodes de base Entraînement et sauvegarde des modèles dans Weka Évaluation de l apprentissage Conclusion 04 jan 2012 / Rév. 1 - page 41 sur 53

56 Entraînement et sauvegarde des modèles (1) 04 jan 2012 / Rév. 1 - page 42 sur 53

57 Entraînement et sauvegarde des modèles (2) L option -t spécifie l ensemble de données d entraînement et -d permet de sauvegarder le modèle construit java weka.classifiers.trees.j48 -t train.arff -d j48.model L option -l permet de charger un modèle sauvegardé et -T spécifie l ensemble de données de test java weka.classifiers.trees.j48 -l j48.model -T test.arff Chaque classifieur a un format de modèle binaire différent, un modèle ne pourra être lu que par le même classifieur 04 jan 2012 / Rév. 1 - page 43 sur 53

58 Entraînement et sauvegarde des modèles (3) Weka contient de très nombreux algorithmes de classification regroupés en catégories : bayes, functions, rules, trees, etc. Attention : il faut installer LibSVM pour que Weka puisse l utiliser Démonstration 3 Entraînement de modèles simples (Explorer) Sauvegarde/chargement des modèles Présentation d Akinator (arbre de recherche) 04 jan 2012 / Rév. 1 - page 44 sur 53

59 Plan Préambule Introduction Traitement des données Classification Évaluation de l apprentissage Conclusion 04 jan 2012 / Rév. 1 - page 45 sur 53

60 Mesures de performance Matrice de confusion classe réelle oui classe prédite non oui vrai positif (TP) faux negatif (FN) non faux positif (FP) vrai negatif (TN) Calcul des mesures classiques Précision = TP TP + FP Rappel = TP TP + FN f-mesure = 2 P R (P + R) Les erreurs n ont pas toutes le même impact : matrice de coût 04 jan 2012 / Rév. 1 - page 46 sur 53

61 Découpage des données Situation idéale : grand ensemble de données d entraînement et ensemble de données de test distinct Découpage des données en deux sous-ensembles Ensemble d entraînement (e.g. 66%) Ensemble de test (e.g. 33%) Validation croisée en n strates Partitionnement en n sous-ensembles n 1 sous-ensembles utilisé en entraînement et 1 pour le test Processus répété n fois (un par partitionnement) 04 jan 2012 / Rév. 1 - page 47 sur 53

62 Découpage des données avec l Explorer 04 jan 2012 / Rév. 1 - page 48 sur 53

63 Évaluation du modèle avec l Explorer 04 jan 2012 / Rév. 1 - page 49 sur 53

64 Découpage des données en CLI L option -T spécifie l ensemble de données de test et -i permet d afficher les informations de précision/rappel et f-mesure java weka.classifiers.trees.j48 -i -l j48.model -T weather.arff L option -split-percentage détermine le pourcentage de données qui sera utilisé pour le découpage train/test java weka.classifiers.trees.j48 -t train.arff -split-percentage 66 L option -x détermine le nombre de strates pour la validation croisée, fonctionne uniquement si -T est absent java weka.classifiers.trees.j48 -t train.arff -x jan 2012 / Rév. 1 - page 50 sur 53

65 Les différentes options de test de Weka Weka fournit un ensemble d options permettant d évaluer la qualité des modèles appris Être constant dans les paramètres d évaluation afin de pouvoir comparer les différentes méthodes Démonstration 4 Présentation des sorties par défaut Découpage 66/33 et validation croisée 04 jan 2012 / Rév. 1 - page 51 sur 53

66 Plan Préambule Introduction Traitement des données Classification Évaluation de l apprentissage Conclusion 04 jan 2012 / Rév. 1 - page 52 sur 53

67 Conclusion Aperçu des fonctionnalités de classification de Weka Présentation des méthodes de classification de base Toujours essayer la méthode la plus simple Être très rigoureux avec l évaluation des modèles Lecture conseillée de Data Mining par Witten & Frank Site web du cours 04 jan 2012 / Rév. 1 - page 53 sur 53