Expériences sur des données avec une boîte à outils (WEKA)

Transcription

1 Expériences sur des données avec une boîte à outils (WEKA) Projet DATA MANING Réalisé par :IKHIBI Fatima Ezzahra Soutenu par : Mr Antoine Cornuéjols Mr Yves Lechevallier Mr Edwin Diday Master II ISI Année universitaire

2 Plan : Introduction Méthode d apprentissage 1-Réseaux de neurones 2-Les arbres de décision 3-Séparateur à vaste marge 4-Boosting Technique d évaluation 1- Cross-validation 2- Use training Set Boite à outils utilisé Description des de jeux de données : 1- Iris.arf 2- heart-statlog Expérimentation et analyse Conclusion Introduction : Le travail consiste à tester différents systèmes d'apprentissage à savoir les réseaux de neurones(pmc), les SVM (SMO) et les arbres de décision (J48) sur quelques bases de données appropriées sélectionner dans le répertoire UCI et d examiner comment se comporte les performances (taux d'erreur, matrice de confusion,...). On testera dans un deuxième temps l'effet du boosting sur ces systèmes et sur ces bases de données. Tout en cherchant à déterminer quels sont les systèmes et les bases de données qui conduisent, avec boosting, à une amélioration ou à détérioration des performances. Méthode d apprentissage : 1-Réseaux de neurones : L apprentissage à l'aide de réseaux de neurones est bien adapté pour l'apprentissage à partir de données complexes (images sur une rétine, sons,...) mais aussi à partir de données symboliques. Les entrées peuvent être représentées par de nombreux attributs à valeurs réelles ou symboliques, les attributs pouvant être dépendants ou non. La ou les sorties peuvent être réelles ou discrètes. L'apprentissage à l'aide de réseaux de neurones est tolérant au bruit et aux erreurs. Le temps d'apprentissage peut être long, par contre, après apprentissage, le calcul des sorties à partir d'un vecteur d'entrée est rapide. La critique principale est que le résultat de l'apprentissage, c'est-à-dire le réseau de neurones calculé par l'algorithme d'apprentissage, n'est pas interprétable par l'utilisateur : on ne peut pas donner d'explication au calcul d'une sortie sur un vecteur d'entrée. On parle de << boîte noire >>. Ceci est la principale différence entre réseaux de neurones et arbres de décision. Si l'utilisateur a besoin de pouvoir interpréter

3 le résultat de l'apprentissage, il choisira un système basé sur les arbres de décision, sinon les deux méthodes sont concurrentes. On utilisera la méthode perceptron multi-couches (PMC) pour notre analyse, donc on considère une couche d'entrée qui correspond aux variables d'entrée, une couche de sorties, et un certain nombre de couches intermédiaires. Les liens n'existent qu'entre les cellules d'une couche avec les cellules de la couche suivante. 2-Les arbres de décision : Les arbres de décision permettent de produire des procédures de classification compréhensibles par l'utilisateur. C'est en particulier le cas pour l'aide au diagnostic médical où le médecin doit pouvoir interpréter les raisons du diagnostic. Car les arbres de décision représentent graphiquement un ensemble de règles et sont aisément interprétables. Pour les arbres de grande taille, la procédure globale peut être difficile à appréhender, cependant, la classification d'un élément particulier est toujours compréhensible. Les algorithmes d'apprentissage par arbres de décision sont efficaces, disponibles dans la plupart des environnements de fouille de données. On va utiliser J48, qui est une implantation de l'algorithme C Séparateur à vaste marge (SVM) : C'est une méthode de classification qui a donnée de bonnes performances dans la résolution de problèmes variées, elle est adaptée à des ensembles de données de très grandes dimensions. Cette méthode a montré son efficacité dans de nombreux domaines d'applications tels que la reconnaissance des formes (burge, 1998),la reconnaissance du locuteur (Kharroubi, 2002), la catégorisation de textes (Joachims, 1998), le traitement d'images (Zammit, 2008), la prédiction de séries temporelles, la sélection des variables (El ferchichi et al., 2008) et le contrôle qualité (bouillant et al., 2003). Le SVM donne un fort degré de précision, et des bons résultats en généralisation. Le SVM est plus performante que les réseaux de neurones dans la détection des défauts lorsque le nombre des échantillons est réduit. La technique SMO (Sequentiel Minimal Optimisation) est très adaptée grâce a sa rapidité d exécution. 4-Boosting : Une méthode générale pour convertir des règles de prédiction peu performantes en une règle de prédiction (très) performante. L une des premières méthodes mettant en place cette idée est l algorithme AdaBoost qu on va utiliser dans notre analyse. Techniques d évaluation : Cross-validation : pour une valeur K, le jeu est divisé en K partitions. L une constitue le jeu de test, les autres forment le jeu d apprentissage. Ce processus est répété K fois, chaque partition étant utilisée une fois comme jeu de test. Une valeur de 10 pour K en général conseillée. Use training Set : toutes les données servent à la fois à apprendre et à tester les modèles.

4 Boite à outils utilisé : Weka est un logiciel libre qui propose un ensemble d algorithmes d apprentissage automatique. Il possède également toute une palette d outils pour le traitement de données, la sélection d attributs, la visualisation de distributions, de modèles et de résultats. Il permet de faire de la classification, de la régression, du clustering et des règles d associations. Description des de jeux de données : Iris.arf : Il contient 150 exemples ; chacun est une fleur (un iris) d'une des trois variétés suivantes : setosa, versicolor et virginica. La variété représente la classe de la donnée.chaque donnée est d écrite par 4 attributs numériques : longueur et largeur des sépales ; longueur et largeur des pétales. heart-statlog.arff : Une base de données comportant 270 exemples décrits par 14 attributs à valeur continue et appartenant à 2 classes. Analyse et résultat : On va appliquer ces algorithmes d apprentissage avec et sans boosting,sur nos deux bases de données. A)iris.arff : Les réseaux de neurones : On va modifier le nombre des neurones de la couche cachée dans Weka en modifiant l attribut Hiddenlayer qui permet de décrire le nombre et la taille des couches cachées. La description est la suivante: -Soit une suite d entiers (le nombre de neurones par couche) séparés par des virgules. -Soit les valeurs spéciales déterminant une seule couche cachée : a : (nombre d attributs+nombre de classes)/2 i : nombre d attributs o : nombre de classes t : nombre d attributs+nombre de classes a : (nombre d attributs+nombre de classes)/2

5 D après ce tableau, on voit que 97,33% des exemples ont été classés correctement. La matrice de confusion en bas, indique que les erreurs ont concerné la classe «iris-versicolor» pour laquelle 48 exemples sur 50 sont correctement classés, et 48 exemples pour «Irisvrginica» qui sont correctement classé sur 50 exemples. t : nombre d attributs+nombre de classes o : nombre de classes

6 i : nombre d attributs Pour la base de données Iris le meilleur résultat est obtenu si le nombre de neurones de la couche cachée est égal au nombre d attribut avec un taux d erreur de 2% et 3 exemples mal classés. Le tableau suivant résume les résultats obtenu en modifiant le paramètre Hiddenlayer avant et après application du boosting : Base de données a i o t Pourcentage correctement 97,33% 96% 97,33% 98% avant l application de Boosting Pourcentage correctement après l application de Boosting 96% 96,66% 96% 94,66% Apres avoir appliqué le boosting en utilisant le même nombre de neurones pour la couche cachée et les attributs, on obtient le meilleur taux d erreur avec 3,333% et 5 cas mal classés. On remarque dans cet exemple que l effet du boosting, sur l analyse de la base Iris avec les réseaux de neurones, détériore les résultats. SVM(Séparateur à vastes marges) :

7 D après ce tableau, on voit que 96% des exemples ont été classés correctement. La matrice de confusion en bas, indique que les erreurs ont concerné la classe «iris-versicolor» pour laquelle 49 exemples sur 50 sont correctement classés, et 45 exemples pour «Iris-vrginica» qui sont correctement classé sur 50 exemples. Application du boosting : Le taux d erreur a diminué de 4% à 2%. Dans ce cas le boosting a amélioré la classification Arbre de décision : D après ce tableau, on voit que 96% des exemples ont été classés correctement. La matrice de confusion en bas, indique que les erreurs ont concerné la classe «iris-versicolor» pour laquelle 47 exemples sur 50 sont correctement classés, et 48 exemples pour «Iris-vrginica» qui sont correctement classé sur 50 exemples.

8 Application du boosting : Le taux d erreur a augmenté de 4% à 6,66%. Dans ce cas le boosting détériore les résultats. Le tableau suivant résume les résultats obtenus pour la base iris avant et après l application du boosting Pourcentage correctement Pourcentage incorrectement Validation Croisée Réseaux neurones Boosting SVM Boosting Arbre de décision Boosting 98% 96,6667% 96% 98% 96% 93,3333% 2% 3,3333% 4% 2% 4% 6,6667% Tableau 1 : iris (Validation Croisée) D après ce tableau je constate que les réseaux de neurones est l algorithme le plus approprié pour ces données puisqu il y a un taux d erreur de 2% et 3 exemples mal classés. L application de Boosting sur SVM améliore le résultat de tel sorte qu on obtient les même résultats obtenu avec l utilisation des réseaux de neurones (taux d erreur de 2% et 3 exemples mal classés), mais l application du Boosting sur les l arbre de décision et SVM détériore le résultat. Le tableau suivant montre les résultats de l application des méthodes d apprentissage en utilisant la méthode d évaluation Use trainning set :

9 Pourcentage correctement Pourcentage incorrectement Use training set Réseaux neurones boosting SVM boosting Arbre de decision boosting 98,6667% 98,6667% 96, % 98% 100% 1,3333% 1,3333% 3,3333% 2% 2 0% Tableau 2 : iris ( Use training set) Nous remarquons dans le tableau ci-dessus que les résultats de l utilisation de l ensemble complet de données est beaucoup plus meilleur que le résultat de la validation croisée (10 folds). Le J48 et réseaux de neurones sont les deux algorithmes les plus appropriés pour ce jeu de données. L application de Boosting sur J48 améliore les résultats de tel sorte que tous les signaux sont correctement classés (0%), il améliore aussi légèrement le résultat de SVM (SMO)( 3,33% 2%).alors que pour le réseau de neurones il n ya aucune amélioration. Dans la figure suivante, l arbre de décision résultant du jeu de données «iris» où le nombre de feuilles est égal à 5 et la taille de l arbre est égal à 9. Figure1 Arbre de décision (iris)

10 Avec ces 150 exemples, J48 construit l arbre décrit dans la figure 1, 3 exemples sont mal classés, 2 versicolor et 1 virginica. Cet arbre incite à penser que la longueur et la largeur des sépales ne sont pas des attributs pertinents pour la détermination de la classe des données. C'est effectivement une caractéristique bien connue de ce jeu de données. L application de l algorithme des arbres de décision est la plus rapide en comparant avec l application des deux autres algorithmes. B)heart-statlog.arff : Les Réseaux de neurones a : (nombre d attributs+nombre de classes)/2 t : nombre d attributs+nombre de classes

11 o : nombre de classes i : nombre d attributs Pour la base de données heart-statlog le meilleur résultat est obtenu si le nombre de neurones de la couche cachée est égal au nombre de classes avec un taux d erreur de 23,33% et 63 exemples mal classés. Le tableau suivant résume les résultats obtenus en modifiant le paramètre Hiddenlayer avant et après application du boosting : Base de données a i o t Pourcentage correctement 78,14% 78,88% 84,44% 76,66% avant l application de Boosting Pourcentage correctement après l application de Boosting 80,74% 79,25% 80% 80,74%

12 SVM : SVM : boosting Arbre de decision :

13 arbre de decision :Boosting Le tableau suivant résume les résultats obtenus pour la base iris avant et après l application du boosting Pourcentage correctement Pourcentage incorrectement Validation croisé Réseaux de neurones boosting SVM boosting Arbre de décision boosting 84,4444% 80% 84,0741% 84,0741% 76,6667% 80,3704% 19,6296% 20% 15,9259% 15,9259% 23,3333% 19,6296% Tableau 2 : heart-statlog (Validation croisé) L analyse de taux d erreur de chaque algorithme montre selon la méthode validation croisée que réseaux de neurones est l algorithme les plus approprié pour ce jeu de données. L application du boosting sur les réseaux de neurones détériore les résultats, alors que son application sur le les arbres de décision améliore légèrement les résultats pour le SVM les résultats ne changent pas Le tableau suivant montre les résultats de l application des méthodes d apprentissage en utilisant la méthode d évaluation Use trainning set :

14 Use training Pourcentage correctement Pourcentage incorrectement Réseaux neurones boosting SVM boosting Arbre de décision boosting 98,8889% 100% 85,1852% 85,1852% 91,4815% 100% 1,1111% 0% 14,8148% 14,8148% 8,5185% 0% Tableau 2 : heart-statlog (Use training set) Dans le tableau ci-dessus, les résultats de l apprentissage sur l ensemble complet de données sont nettement plus meilleurs que ceux obtenus avec la validation croisée. L analyse de taux d erreur de chaque algorithme montre que les réseaux de neurones et J48 sont les deux algorithmes les plus appropriés pour ce jeu de données. L application de Boosting sur réseaux de neurones et J48 améliore les résultats de tel sorte que tous les signaux sont correctement classés (0%). La figure ci-dessous (figure 2) montre les 7 instances incorrectement : Figure 2 : heart-statlog Multi layer perceptron

15 Conclusions : Apres avoir réalisé plusieurs expériences avec des données différentes et trois algorithmes de classifications (les réseaux de neurones, SVM, les arbres de décision J48), et l évaluation l apprentissage par l intermédiaire de la méthode cross-validation(10) qui coupe l ensemble d apprentissage en dix parties et la méthode use training set qui utilise la totalité des exemples pour l apprentissage. En examinant les matrices de confusions et les taux d erreurs, selon les deux méthodes d évaluation, on remarque que les meilleurs classificateurs pour les deux bases sont l arbre de décision (J48) et les réseaux de neurones. L application de Boosting sur les SVM (SMO), arbre de décision (J48) et les réseaux de neurones peut donner des effets différents : Améliorer les résultats des algorithmes. Détériorer les résultats des algorithmes. N entrainer aucune influence sur le résultat des algorithmes. C est effets dépendent de la taille de la bases l application du Boosting sur des jeux de données de petites taille améliore efficacement les résultats, si non le Boosting n a pas d influence ou a une faible influence sur les résultats. Les résultats expérimentaux semblent prouver les faits suivants : Les arbres de décision fonctionnent bien si : -le nombre de valeurs possibles pour chaque attribut est faible. -la classe est à valeur qualitative. L application de Boosting sur l arbre de décision (J48) est plus performante et efficace que sur les autres algorithmes (SVM et réseaux de neurones). Le temps de calcul pour les réseaux de neurones est en général supérieur au temps de calcul pour les systèmes basés sur les arbres de décision.