TP1 - Découverte du logiciel Knime

Transcription

1 TP1 - Découverte du logiciel Knime 1 Introduction et objectifs du TP Les données sont devenues une matière première qu il faut indispensablement maîtriser pour mieux comprendre le monde dans lequel nous vivons et ainsi devenir plus compétitifs. La fouille de données prétend répondre à ce besoin et se décline dans de nombreux secteurs comme nous le verrons dans ce module. Seulement, l analyse de données, souvent très volumineuses, ne peut être accomplie manuellement. L existence d outils informatiques adaptés est donc nécessaires. Dans ce module, nous utiliserons un logiciel bien connu dans le monde de la fouille de données : Knime. Ce logiciel opensource utilisé par plus de utilisateurs dans le monde provenant de différents milieux (universitaires, recherche, petites et grandes entreprises) dans différents secteurs (banque, pharmacie, tourisme,...) possède de solides atouts : Sa facilité d utilisation et son interface graphique le rendent accessible aux non-initiés en fouille de données ; Il peut lire de très nombreux formats de données ; Il comporte de très nombreuses solutions pour pré-traiter, analyser et visualiser des données et des résultats d analyses ; La communauté des utilisateurs est très active et peut contribuer à ajouter de nouvelles fonctionnalités au logiciel. Ce premier TP a pour objectif de vous familiariser avec ce logiciel et notamment avec le concept principal qui sera manipulé tout au long des différents TPs : le workflow. Un workflow peut être vu comme une succession de briques (s élémentaires). Chaque brique possède une fonctionnalité bien précise, e.g., lire un fichier, visualiser des données. En enchainant ces s, il est alors possible de réaliser des analyses de données très sophistiquées de manière intuitive. Ce TP permettra d aborder ces concepts. En particulier, nous aborderons les points suivants : Comment lancer le logiciel, ouvrir et enregistrer un workflow ; 1

2 Comment ajouter des s à un workflow et les configurer ; Comment les relier ; Comment exécuter un premier workflow ; Comment appliquer quelques pré-traitements sur des données ; Comment visualiser des données et calculer quelques statistiques sur celles-ci. 2 Présentation de l interface L interface principale par défaut du logiciel est présentée dans la Figure 1. Celle-ci est principalement composée de 6 parties : 1. La liste des workflows disponibles (accessibles via Internet ou stockés localement) est disponible dans le coin supérieur gauche de la fenêtre. C est ici que vous retrouverez vos workflows une fois que vous les aurez enregistré ; 2. La liste des s classés thématiquement est disponible dans le coin inférieur gauche ; 3. Une vue générale du workflow est présentée en bas ; 4. A sa droite, il est possible de voir la console, qui permet de voir les traces d exécution d un workflow. 5. Vu le grand nombre de s disponibles dans Knime, les connaître tous n est pas aisé. Aussi, la partie droite de la fenêtre propose une documentation sur le sélectionné. 6. Enfin, la fenêtre princpale, au milieu de l écran, permet de composer un workflow et d interagir avec celui-ci (configurer les s, les repositionner, les relier,...) Instructions 1. Démarrez le logiciel. S il n est pas présent sur votre machine, téléchargez le à l adresse en choisissant KNIME for Windows (self-extracting archive) et installezle. Pour cela, il suffit de décompresser l archive dans un répertoire local. Attention, si le logiciel n est pas installé sur votre machine, vous devrez reproduire cette étape à chaque TP. 2. Ouvrez le logiciel en double cliquant sur l icône Knime dans le répertoire où le logiciel est installé. 2

3 Documentation associée au sélectionné Répertoire de workspaces Fenêtre principale de composition de workspace Liste des s disponibles Vue générale du workspace courant Console Figure 1 Interface par défaut du logiciel Knime 3. Au démarrage, le logiciel vous demande de sélectionner votre Workspace. Il s agit d un répertoire dans lequel seront stockés les workflows que vous créerez dans ce module. Afin de ne pas voir votre travail effacé d une séance à l autre, créez un répertoire Fouille- Workspace dans votre répertoire personnel partagé. 4. Nous allons créer un workflow vierge qui contiendra le travail de ce TP. Pour ce faire, cliquez sur File puis sur New... puis New KNIME Workflow. Donnez un nom explicite à ce workflow et laissez le champ Destination... inchangé. Cliquez ensuite sur Finish pour basculer vers la fenêtre principale et disposer de votre workflow vierge. 3 Mon premier workflow 3.1 Mise en place du premier Pour créer un workflow, il faut des s. Nous allons donc débuter par créer et configurer un qui aura pour rôle de lire un fichier texte. Les s qui ont pour fonction la lecture ou l écriture de fichier sont regroupés dans la catégorie IO. 3

4 1. Double-cliquez sur le FileReader (dans la sous-catégorie Read). Le apparaît au milieu de la fenêtre principale. D un point de vue graphique, plusieurs éléments doivent être notés concernant un. Ceux-ci sont récapitulés dans la Figure Nous allons maintenant configurer le. Pour cela, doublecliquez (ou faites un clic droit puis Configure) sur le. Une boîte de dialogue s ouvre alors. Elle contient 3 onglets : Settings, Flow Variables et Policy. Seul le premier onglet sera utilisé au cours des TPs. Vous pouvez y spécifier le fichier que vous voulez considérer ainsi que quelques options relatives à ce fichier. Nous allons utiliser un jeu de données exemple bien connu dans le monde de la fouille de données : le jeu de données adult. Ce jeu de données décrit quelques individus selon une dizaine de caractéristiques et est classiquement utilisé dans un contexte prédictif, i.e., l individu a-t-il des revenus faibles ou élevés 1. Vous pouvez télécharger ce jeu de données à l adresse TP1/adult.data. 3. Si vous avez bien configuré votre, le fichier devrait s afficher dans la boîte de dialogue. Type de Entrée(s) du Etat du : - Rouge = pb de config - Orange = config OK mais non exécuté - Vert = confie OK et correctement exécuté Sortie(s) du Avertissement indiquant un champ de configuration vide Nom du (peut être modifié) Figure 2 Un s et ses informations associées 1. De plus amples informations sur ce jeu de données sont disponibles à l adresse https: //archive.ics.uci.edu/ml/machine-learning-databases/adult/adult.names 4

5 3.2 Enchaînons deux s Nous allons réaliser un premier workflow très simple dont l objectif est de discrétiser un des attributs numériques du jeu de données utilisé précédemment, l attribut Age. Pour cela, nous allons utiliser un des s de la catégories Data Manipulation. Cette catégorie est extrêmement utile pour pré-traiter des données et nous l utiliserons abondemment dans ce TP (et les autres qui suivront). Dans la mesure où la discrétisation est une méthode qui agit sur une colonne, cliquez sur Column. Ici aussi les outils de manipulation des colonnes sont catégorisés. La catégorie associée à la discrétisation est Binning. A l intérieur de celle-ci, choisissez le Auto-Binner. Configurez le pour discréditer la colonne Age en 5 classes de même taille et dont le nom sera donné par les extrémités des intervalles. Reliez ces deux s entre eux (la sortie du fichier vers ce nouveau ) à l aide de la souris. Voilà, vous avez créer votre premier workflow. Nous allons maintenant l exécuter. Pour cela, vous devez repérer en haut de l interface un bouton vert, avec deux triangles orientés vers la droite. Ce bouton permet de lancer tous les nœuds exécutables présents dans le workflow. Il est également possible de n exécuter qu un sous-ensemble de nœuds (ceux sélectionnés) à l aide du bouton situé à gauche (un rond vert et un seul triangle) 2. Une fois que ce workflow a été exécuté avec succès (l indicateur d état est en vert), il est possible de visualiser la sortie de ce. Pour cela, faites un clic droit sur ce. Vous vous trouvez devant un menu contextuel. Les deux derniers items de ce menu correspondent aux deux sorties du. La sortie nous intéressant est Binned Data. En cliquant dessus, vous pouvez visualiser le résultat de la discrétisation. Pour aller plus loin, nous nous proposons d ajouter deux s supplémentaires : Filtrer les lignes pour ne conserver que les individus dont l âge est compris entre 18 et 60 ans (inclus). Pour cela, vous devrez utiliser un manipulant les lignes. Ce est Row Filter dans Data Manipulation > Row > Filter. Ce traitement devra être effectué avant l étape de discrétisation. Excluez les lignes dont la colonne Education matche avec l expression régulière.*th.*. Dans la mesure où on modifie l ensemble des valeurs possibles pour cet attribut, il est nécessaire de connecter ce filtre à un 2. En réalité, l exécution d un ensemble de nœuds déclenche en cascade les nœuds qui précèdent ceux sélectionnés. Ceci est logique puisque un ne pourra fonctionner que si son/ses (s) le précédent a/ont été correctement configurés et exécutés. 5

6 autre : Domain Calculator. Cette étape est indispensable lorsque vous aurez à visualiser cet attribut (sans cela, les valeurs que vous venez de filtrer seraient tout de même apparues). Recherchez ce dans la liste des s (en utilisant la fonction de recherche de s) et connectez le au de filtre que vous venez de créer. Supprimer la colonne Age une fois qu elle aura été discrétisée à l aide du Column Filter dans Data Manipulation > Column > Filter. Réalisez ces traitements et exécutez le workflow. 4 Premières visualisations Nous allons maintenant aborder un point important lorsque l on manipule et analyse des données : la visualisation. En effet, si l utilisation de techniques complexes de fouille de données s avère souvent pertinente, il n en reste pas moins qu une première observation des données permet de se forger quelques intuitions sur les données à analyse et la connaissance que l on pourrait en extraire. Au préalable, réarrangez le workflow pour que la discrétisation se trouve entre l étape de filtre sur les âges et la suppression de la colonne Age. Dans la suite de ce TP, vous serez moins guidé que précédemment. L objectif est de vous laissez libre du choix de visualisation qui vous semble le plus pertinent afin que vous vous familiarisez avec les s de visualisation à votre disposition 3. La catégorie de s permettant la visualisation des données est Data Views. Ne considérez pour l instant que les s situés au premier niveau de cette catégorie. Connectez les s de visualisations au jeu de données pré-traité précédemment pour : Visualiser la répartition en âge des individus Visualiser la répartition du salaire en fonction de l âge ou du niveau d étude Une fois le workflow exécuté, la visualisation peut être observée par un clic droit sur le que l on souhaite visualiser et en sélectionnant l item auquel est associé une loupe. 3. N oubliez pas que vous avez une aide sur chaque disponible à droite de l écran quand vous sélectionnez un document. 6

7 4.1 Ajoutons un peu de couleur pour enrichir la visualisation Vous avez pu le remarquer, les visualisations que vous avez produites ne sont pas très colorées. Au delà de l aspect esthétique, l ajout de la couleur permet d ajouter une nouvelle dimension à un graphique. Illustrons ce point. A travers la manipulation suivante : 1. Reliez un Color Manager (dans Data Views > Property au jeu de données pré-traité. 2. Lors de la configuration de ce,vous pouvez choisir un attribut et les couleurs qui seront associées aux valeurs de cet attribut. Sélectionnez l attribut Income et donnez affectez des couleurs différentes de votre choix aux deux valeurs de cette dimension. 3. Connectez maintenant un de visualisation d un nuage de point (scatter plot) et visualisez l âge par rapport au secteur professionnel. Les points s affichent désormais d une couleur différente en fonction de leur appartenance à la classe Income. Qu en déduisezvous? Plusieurs points sont à noter concernant la visualisation : Un définit les couleurs pour un seul attribut. Ainsi si pour deux visualisation différentes vous avez besoin de colorer deux attributs différents, deux choix s offrent à vous : reconfigurer le ou en créer un second. Pour éviter toute confusion dans les s (cela est un conseil très général) il peut être utile de renommer chaque, i.e., double cliquer sur son nom (node xxx) pour lui donner un nom plus explicite. On peut ajouter une quatrième dimension à une visualisation en enchaînant un Shape Manager à un Color Manager sur deux attributs différents. 5 Premières statistiques Pour terminer ce TP de découverte de Knime, vous allez effectuez des statistiques basiques sur ce jeu de données. Pour cela, nous allons utiliser le Statistics. Connectez ce au jeu de données pré-traité. Exécutez ensuite le workflow En ouvrant les 3 tables de données créées ainsi que la visualisation de ce, dressez la liste des fonctionnalités offertes par ce. 7