Plan Data mining (partie 2) Introduction 1. Les tâches du data mining 2. Le processus de data mining Master MIAGE - ENITE Spécialité ACSI 3. Les bases de l'analyse de données 4. Les modèles du data mining Année universitaire 2013-2014 5. Critères pour le choix d un logiciel Conclusion et perspectives 2 Data Mining : Cocktail de techniques Évolution des techniques de statistique + apports des SGBD, de l IA et de l apprentissage automatique Mélange de plusieurs disciplines implication de l utilisateur dans le processus Machine Learning Data Mining : Utilisateur ou Statisticien? Logiciel presse-bouton (apprentissage automatique non supervisé) Interaction avec l utilisateur au niveau de l apprentissage (paramètres) ou pendant la recherche du modèle performance et lisibilité du modèle Représentation de la Connaissance degré de transformation des données SGBD 3 Logiciel basé sur des techniques statistiques : experts requis les outils de DM intègrent des tests statistiques et des algorithmes de choix des meilleures techniques de modélisation en fonction des caractéristiques du cas 4
+ Pouvoir de prédiction - Data Mining : Lisibilité ou Puissance Quelques techniques Compromis entre clarté du modèle et pouvoir prédictif - Compétences + réseaux neuronaux algorithmes génétiques réseaux bayésiens scores régression cluster arbres de décision analyse d association raisonnement à base de cas a) Associations b) Raisonnement à base de cas c) K-means, agglomération d) Arbres de décision e) Algorithmes génétiques f) Réseaux neuronaux g) Réseaux Bayésiens - Lisibilités des résultats + 5 6 a) Recherche d'associations ou analyse du panier de la ménagère Processus de découverte de connaissances non dirigée Étudier quels articles ont tendance à être achetés ensemble Issue du secteur de la distribution applicable dès que plusieurs actions faites par un même individu Utilisée pour découvrir des règles d'association but principal descriptif prédictive car résultats éventuellement situés dans le temps souvent départ d'une analyse règles claires et explicites pour l'utilisateur métier ensuite mise en œuvre d'un processus de test d'hypothèses ou de découverte dirigée Construire un modèle basé sur des règles conditionnelles à partir d un fichier de données Le modèle : Règles de la forme : Les Associations Si prédicat(x) et prédicat(y) alors prédicat(z) Pondération par une probabilité ou par une métrique de confiance Éventuellement situées dans le temps : Si action 1 ou condition à l'instant t 1 alors action 2 à l'instant t 2 Exemples de règles : Si achat de riz et de vin blanc, alors achat de poisson (84%) Si achat de téléviseur alors achat d'un enregistreur dans les 3 ans (45%) Si présence et travail alors réussite à l'examen (99,9%) 7 8
Les Associations Les Associations Les domaines : Analyse des tickets de caisse (mise en relation entre n produits, relation de comportement de produits) Analyse des séquences d achats détection d association de ventes pour un même client dimension temporelle et notion d antériorité Les enjeux : Optimisation des stocks, merchandising, ventes croisées (bon de réduction, promotion) Principes de construction d une association Transaction ticket de caisse une transaction T contient le détail des articles ou de leur famille chaque article est une variable binaire Une association est une implication de la forme X Y avec : X et Y T et X Y = Deux indicateurs pour apprécier une association : niveau de confiance : Card(X Y) / Card(X) niveau de support : Card(X Y) / Card(X ou Y) Extraire les associations pertinentes 9 10 Ticket 1 Ticket 2 Ticket 3 Ticket 4 farine œufs farine œufs sucre sucre œufs chocolat lait chocolat sucre thé chocolat Les Associations Ticket 1 Ticket 2 Ticket 3 Ticket 4 farine œufs farine œufs sucre sucre œufs chocolat lait chocolat sucre thé chocolat Les Associations Article Fréquence Support farine sucre lait œufs chocolat thé Article Fréquence Support farine 2 50% sucre 3 75% lait 1 25% œufs 3 75% chocolat 3 75% thé 1 25% 11 12
Les Associations Assoc. Niv. 2 Fréquence Confiance Support farine sucre 2 sucre farine 2 sucre œufs 2 œufs sucre 2 sucre chocolat 2 chocolat sucre 2 œufs chocolat 3 chocolat œufs 3 Assoc. Niv. 3 Fréquence Confiance Support œufs, chocolat sucre 2 sucre, œufs chocolat 2 chocolat, sucre œufs 2 Ticket 1 Ticket 2 Ticket 3 Ticket 4 farine œufs farine œufs sucre sucre œufs chocolat lait chocolat sucre thé chocolat 13 Les Associations Assoc. Niv. 2 Fréquence Confiance Support farine sucre 2 100% 67% sucre farine 2 67% 67% sucre œufs 2 67% 50% œufs sucre 2 67% 50% sucre chocolat 2 67% 50% chocolat sucre 2 67% 50% œufs chocolat 3 100% 100% chocolat œufs 3 100% 100% Assoc. Niv. 3 Fréquence Confiance Support œufs, chocolat sucre 2 67% 50% sucre, œufs chocolat 2 100% 67% chocolat, sucre œufs 2 100% 67% Ticket 1 Ticket 2 Ticket 3 Ticket 4 farine œufs farine œufs sucre sucre œufs chocolat lait chocolat sucre thé chocolat 14 Les Associations Exemple : Analyse d achats dans la grande distribution Limites de l approche : Article = code-barres Famille d articles = 100 références Volume de données : 100 000 réf. élémentaires hiérarchie de concepts Niveau élémentaire pour confirmer l impact de la marque X sur les ventes de Y vérifier les associations sur des concepts de haut niveau 15 Mise en œuvre : taxinomie Un supermarché gère environ 100 000 références différentes Analyse sur tous les articles : tableau de 10 milliards de cellules pour des associations de deux articles! des espaces disques importants (en téra-octets) des temps de traitements en conséquence pas très raisonnable! Solution : la taxinomie Regrouper les articles, les généraliser sous un même terme générique, une même rubrique Exemple : le terme chocolat regroupe les chocolats noirs, au lait, de différentes marques, aux noisettes, allégés, 16
Mise en œuvre : articles virtuels Mise en œuvre : règles de dissociation Ajout fréquent d articles virtuels pour améliorer la performance du système pour représenter des informations transversales pour regrouper les articles d'une autre manière que la taxinomie Exemple : produits allégés, marque que l'on trouve dans plusieurs rubriques pour donner des indications supplémentaires sur la transaction donnée temporelle (jour de la semaine, heure, mois, saison, ), mode de paiement, météo, si possible, données sur le client (satisfaction, type d'habitat, catégorie socioprofessionnelle, âge, statut matrimonial, ) pour fournir des règles du type : «si printemps et jardin alors achat de gants de jardinage» Analogue à une règle d'association mais fait apparaître la notion de «non» Exemple : Dans une entreprise, 5 produits (A,B,C,D,E) Si un client prend les produits A, B et D, alors il engendrera la transaction {A, B, non C, D, non E} Ce procédé engendre des règles comme : «si achat produit A et produit C alors non achat produit E» Inconvénient majeur : fournit des règles où tout est nié «si non A et non B alors non C» connaissances engendrées peu exploitables 17 18 Mise en œuvre : séries temporelles L'analyse du panier de la ménagère Objectif : faire de la description et non de la prévision Outil non optimal pour étudier les séries temporelles Contrainte : avoir une information de temps et une clé d'identification de l'objet (principalement le client) Difficulté : transformer les données en transactions Plusieurs possibilités offertes : Ajouter à chaque article la notion de temps : avant, après, en même temps Créer des fenêtres temporelles : regrouper toutes les transactions effectuées dans un même intervalle de temps par un même individu permet de dégager des profils, surtout associée à des articles virtuels 19 Mise en œuvre Plusieurs indicateurs complémentaires pour évaluer La fréquence Règle vraie pour deux clients sur cinq : fréquence = 40% Le niveau (ou taux) de confiance Mesure de la probabilité dans la sous-population concernée par la condition de la règle (fréquence sur une sous-population) Ex : règle «si achat de jus d'orange, alors achat d'eau minérale» La population ayant acheté du jus d'orange (ex : 4 individus) Le nombre de fois où la règle est respectée (ex : 2) La proportion obtenue (ici 2 sur 4, soit 50 %) : niveau de confiance Permet de mesurer la force de l'association Prudence : n'intègre pas la notion d'effectif Ex : «si achat de lait, alors achat de nettoyant vitres» effectif 1 individu : très relatif malgré un très bon taux de confiance! 20
Le niveau de support Nombre de fois où l'association est respectée, ramenée au nombre de fois où l'un des articles est présent. Permet de mesurer la fréquence de l'association. Le taux d'amélioration Permet de mesurer la pertinence de l'association Que vaut une règle si son taux de confiance est inférieur à la fréquence du résultat sans condition? Ex : règle «si achat d'eau minérale, alors achat de jus d'orange» Règle vraie pour 2 clients sur 3 qui ont acheté de l'eau Taux de confiance pour l'achat du jus d'orange dans ces conditions : 67% Or, 4 clients sur 5 achètent du jus d'orange, soit 80%! Règle inintéressante à exploiter car ajout de condition pour taux moins bon Pour mesurer l'amélioration apportée par la règle, on divise le taux de confiance par la fréquence de l'événement Ici : 0.67 / 0.80 = 83 % Si résultat supérieur à 1, la règle apporte une amélioration sur le résultat Conclusion Points forts de l'analyse du panier de la ménagère : Résultats clairs et explicites Adaptée à l'exploitation non dirigée des données Traite des données de taille variable Technique et calculs simples à comprendre Points faibles de l'analyse du panier de la ménagère : Le volume de calculs croît au carré ou au cube du volume de données Prend mal en compte les articles rares Difficile de déterminer le bon nombre d'articles Attributs des articles (détails et quantités) souvent ignorés Sinon renoncer à l'exploiter 21 22 Conclusion Technique s'appliquant aux problèmes : d'exploitation non dirigée des données contenant des articles bien définis, qui se regroupent entre eux de manière intéressante Souvent utilisé comme analyse préalable : car elle génère des règles susceptibles de soulever des interrogations ou des idées débouchera sur d'autres analyses plus fines : test d'hypothèse ou découverte de connaissance dirigée pour expliquer un phénomène révélé Quelques techniques a) Associations b) Raisonnement à base de cas c) K-means, agglomération d) Arbres de décision e) Algorithmes génétiques f) Réseaux neuronaux g) Réseaux Bayésiens 23 24
b) Le raisonnement à base de cas Technique de découverte de connaissances dirigée Utilisée dans un but de classification et de prédiction Bien adapté aux bases de données relationnelles Mise en œuvre simple Équivalence de l'expérience chez l'homme Processus : identification des cas similaires puis application de l'information provenant de ces cas au problème actuel Principe : on présente un nouvel enregistrement, il trouve les voisins les plus proches et positionne ce nouvel élément s'applique à tous les types de données. Utilisé pour estimer des éléments manquants, détecter des fraudes, prédire l'intérêt d'un client pour une offre, classifier les réponses en texte libre 25 Exemple : Ventes de voitures Renault ventilées en fonction de l'âge et du nombre d'enfants de l'acheteur Véhicule Âge Enfants Twingo 25 0 Espace 32 4 Twingo 28 1 Scénic 30 2 Latitude 50 1 Laguna 35 2 Espace 40 3 Twingo 30 1 Scénic 34 2 Latitude 52 2 Laguna 38 1 Espace 34 5 Véhicule Âge Enfants Twingo 27 1 Scénic 30 2 Laguna 39 0 Latitude 55 0 Twingo 24 1 Scénic 33 2 Laguna 38 2 Twingo 22 0 Scénic 35 1 Laguna 39 2 Latitude 54 1 26 60 Ventes de voitures Renault 55 50 Âge 45 40 35 Espace Laguna Latitude Scénic Twingo 30 25 20 0 0,5 1 1,5 2 2,5 3 3,5 4 4,5 5 Nbre d'enfants 27
Fonction de distance Pour les données numériques La valeur absolue de la différence : A-B Le carré de la différence : (A-B)² La valeur absolue normalisée : A-B / (différence maximale) avantage : toujours entre 0 et 1, supprime les problèmes d'échelles Libre de créer sa propre fonction Pour les autres types de données A l'utilisateur de définir sa propre fonction de distance Exemple : pour comparer le genre de deux individus, valeur 1 s'ils sont différents ou valeur 0 s'ils sont identiques pour des communes, prendre la distance entre elles ou une codification en fonction du type (urbaine, péri-urbaine, rurale) ou de la région Mais, toujours préférable d'avoir le résultat entre 0 et 1 Fonction de combinaison Consiste à combiner les n voisins les plus proches pour obtenir le résultat de la prédiction souhaitée Exemple : Soit une liste de clients ayant déjà répondu à une offre commerciale (par oui ou non). L'utilisateur métier estime que les critères les plus déterminants sont le genre, l'âge et le salaire net du dernier semestre. 29 30 Numéro Age Genre Salaire Acheteur A 27 F 3000 Non B 51 M 10000 Oui C 52 M 16000 Non D 33 F 8500 Oui E 45 M 7000 Oui 31 Soit un nouveau client : une femme de 45 ans ayant un revenu de 15500 euros Cette cliente sera-t-elle intéressée par l'offre? La fonction de distance est définie ainsi : Il s'agit d'une femme, donc distance de 1 avec les hommes et de 0 avec les femmes Et ajout de la distance normalisée du salaire et de l'âge Tableau des distances : Client Age Genre Salaire Distance totale A 1.000 0 1.000 2.000 B 0.333 1 0.440 1.773 C 0.388 1 0.004 1.393 D 0.666 0 0.560 1.227 E 0.000 1 0.680 1.680 Les voisins les plus proches sont dans l'ordre : D C E B A 32
Utilisons maintenant la fonction de combinaison nombre de voisins retenus? Nombre de voisins 1 2 3 4 5 retenus Numéro des voisins D DC DCE DCEB DCEBA Réponses des voisins O O,N O,N,O O,N,O,O O,N,O,O,N Décompte des Oui 1 Oui 1 Oui 2 Oui 3 Oui 3 réponses Non 0 Non 1 Non 1 Non 1 Non 2 Valeur retenue Oui? Oui Oui Oui Evaluation 100 % 50 % 66 % 75 % 60 % Si 3 voisins, réponse favorable avec une probabilité (plutôt espérance) de 66% Possible également de donner un poids à chaque contribution Ex: 1 er voisin a un poids de 3, 2 ème poids de 2, 3 ème un poids de 1 Possible de pondérer chaque variable utilisée dans la fonction de Quelques remarques Complexité en fonction de la taille de la base de cas Technique d optimisation Ajout d expertise pour guider la recherche vers les critères les plus pertinents Exemple : utilisation d un arbre de décision D où, principes suivants : Collecte des données Nombre d exemples lié au nombre de variables et de valeurs par variable Recherche des facteurs pertinents Par mots clés (mc) dist(x,y) = 1 - (nombre_mc_commun(x,y) / nombre_mc(x ou y)) Hiérarchisation de concepts Indexation des données (plus proche voisin) distance 33 34 Conclusion Quelques techniques Les points forts : produit des résultats explicites s'applique à tout type de données capable de travailler sur de nombreux champs facile à mettre en œuvre et à comprendre Les points faibles : nécessite un grand volume de données pour être performant très dépendant des fonctions de distance et de combinaison 35 a) Associations b) Raisonnement à base de cas c) K-means, agglomération d) Arbres de décision e) Algorithmes génétiques f) Réseaux neuronaux g) Réseaux Bayésiens 36
c) Détection automatique de clusters Méthode de découverte de connaissances non dirigée (apprentissage sans supervision) Ne nécessite aucun apprentissage Principe : regrouper les éléments par similarités successives Deux grandes catégories : la méthode des K-moyennes et les méthodes par agglomération Objectif : procéder à une classification du type regroupement par similitude Un groupe est appelé cluster Utilisation classique : clusteriser une population avant une étude Prévoir une fonction de distance qui mesure l'écart entre deux enregistrements 37 K-means Permet de découper une population en K clusters K défini par l'utilisateur Principe de fonctionnement : On positionne les K premiers points (ou noyaux) au hasard Chaque enregistrement est affecté au noyau le plus proche A la fin de la première affectation, calcul de la valeur moyenne de chaque cluster Le noyau prend cette nouvelle valeur Répétition jusqu'à stabilisation des clusters 38 Exemple Personnes d'âge 27, 51, 52, 33, 45, 22, 28, 44, 40, 38, 20, 57 Exemple : K=3 Les 3 noyaux initiaux = les trois premières valeurs Distance = différence / (amplitude maximum) = différence / 37 27 51 52 33 45 22 28 44 40 38 20 57 Noyau 27 0.00 0.65 0.68 0.16 0.49 0.14 0.03 0.46 0.35 0.30 0.19 0.81 Noyau 51 0.65 0.00 0.03 0.49 0.16 0.78 0.62 0.19 0.30 0.35 0.84 0.16 Noyau 52 0.68 0.03 0.00 0.51 0.19 0.81 0.65 0.22 0.32 0.38 0.86 0.14 Minimum 0 0 0 0.16 0.16 0.14 0.03 0.19 0.3 0.3 0.19 0.14 Affectation 1 2 3 1 2 1 1 2 2 1 1 3 noyau 1 (27) : 27-33 - 22-28 - 38-20 noyau 2 (51) : 51-45 - 44-40 Calcul des centroïdes : moyenne arithmétique du cluster soit 28 pour noyau 1, 45 pour noyau 2 et 54.5 pour noyau 3 Ces valeurs = positions des nouveaux noyaux Recommençons le processus par rapport à ces valeurs 27 51 52 33 45 22 28 44 40 38 20 57 Noyau 28 0.03 0.62 0.65 0.14 0.46 0.16 0 0.43 0.32 0.27 0.22 0.78 Noyau 45 0.49 0.16 0.19 0.32 0 0.62 0.46 0.03 0.14 0.19 0.68 0.32 Noyau 54.5 0.74 0.09 0.07 0.58 0.26 0.88 0.72 0.28 0.39 0.45 0.93 0.07 Minimum 0.03 0.09 0.07 0.14 0 0.16 0 0.03 0.14 0.19 0.22 0.07 Affectation 1 3 3 1 2 1 1 2 2 2 1 3 L'affectation donne la répartition suivante : noyau 1 (28) : 27-33 - 22-28 - 20 Moyenne = 26 noyau 2 (45) : 45-44 - 40-38 Moyenne = 41.75 noyau 3 (54.5) : 51-52 - 57 Moyenne = 53.33 En réitérant le processus, aucune modification des affectations. Les clusters sont finalisés : Cluster 1: 27-33 - 22-28 - 20 Jeunes majeurs - Centroïde = 26 Cluster 2: 45-44 - 40-38 Quadragénaires - Centroïde = 41.75 Cluster 3: 51-52 - 57 Quinquagénaires - Centroïde = 53.33 noyau 3 (52) : 52-57 39 40
Classification hiérarchique ascendante Exemple Calcul des distances 2 à 2 Agglomération des plus proches voisins (inférieurs à un seuil) Calcul des centroïdes On itère... 27 51 52 33 45 22 28 44 40 38 20 57 27 0.00 0.65 0.68 0.16 0.49 0.14 0.03 0.46 0.35 0.30 0.19 0.81 51 0.65 0.00 0.03 0.49 0.16 0.78 0.62 0.19 0.30 0.35 0.84 0.16 52 0.68 0.03 0.00 0.51 0.19 0.81 0.65 0.22 0.32 0.38 0.86 0.14 33 0.16 0.49 0.51 0.00 0.32 0.30 0.14 0.30 0.19 0.14 0.35 0.65 45 0.49 0.16 0.19 0.32 0.00 0.62 0.46 0.03 0.14 0.19 0.68 0.32 22 0.14 0.78 0.81 0.30 0.62 0.00 0.16 0.59 0.49 0.43 0.05 0.95 28 0.03 0.62 0.65 0.14 0.46 0.16 0.00 0.43 0.32 0.27 0.22 0.78 44 0.46 0.19 0.22 0.30 0.03 0.59 0.43 0.00 0.11 0.16 0.65 0.35 40 0.35 0.30 0.32 0.19 0.14 0.49 0.32 0.11 0.00 0.05 0.54 0.46 38 0.30 0.35 0.38 0.14 0.19 0.43 0.27 0.16 0.05 0.00 0.49 0.51 20 0.19 0.84 0.86 0.35 0.68 0.05 0.22 0.65 0.54 0.49 0.00 1.00 57 0.81 0.16 0.14 0.65 0.32 0.95 0.78 0.35 0.46 0.51 1.00 0.00 41 42 Seuil = 7,5% (0.075) à chaque itération fixé aléatoirement en fonction du niveau de regroupement souhaité par l'utilisateur. Ensemble des valeurs ordonné en ordre croissant Valeurs ayant un seuil inférieur à 7,5%, soit : 0.03 (52-51), 0.03 (27-28), 0.03 (44-45), 0.05 (38-40), 0.05 (20-22) On recommence avec un seuil de 15% 27.5 51.5 33 44.5 21 39 57 27.5 0.00 0.67 0.15 0.47 0.18 0.32 0.82 51.5 0.67 0.00 0.51 0.19 0.85 0.35 0.15 33 0.15 0.51 0.00 0.32 0.33 0.17 0.67 44.5 0.47 0.19 0.32 0.00 0.65 0.15 0.35 21 0.18 0.85 0.33 0.65 0.00 0.50 1.00 27 28 51 52 33 44 45 20 22 38 40 57 39 0.32 0.35 0.17 0.15 0.50 0.00 0.50 Chaque cluster est représenté par son centroïde (ici moyenne) 27.5-51.5-33 - 44.5-21 - 39-57 57 0.82 0.15 0.67 0.35 1.00 0.50 0.00 43 44
On obtient alors 20 22 27 28 33 38 40 44 45 51 52 57 Soit 4 clusters : {20,22}, {27,28,33}, {38,40,44,45}, {51,52,57} Puis avec un seuil de 22,5%, regroupement des deux premiers clusters Remarque : si le seuil à chaque itération était de 10%, dès le 2 ème niveau, il n y aurait eu qu un seul cluster. 45 Conclusion Les points forts : Les résultats sont clairs Plutôt facile à mettre en œuvre Pas grosse consommatrice de ressources Application facile. Les points faibles : Difficile de trouver une bonne fonction de distance Certains clusters résultants peuvent être difficiles à expliquer 46 Quelques techniques a) Associations b) Raisonnement à base de cas c) K-means, agglomération d) Arbres de décision e) Algorithmes génétiques f) Réseaux neuronaux g) Réseaux Bayésiens d) Les arbres de décision Objectif : classification et prédiction Fonctionnement basé sur un enchaînement hiérarchique de règles en langage courant Composé : d un nœud racine 5 4 Noeuds feuilles de questions de réponses qui conditionnent la question suivante de nœuds feuilles correspondant à un classement Jeu de questions-réponses itératif jusqu à arriver à un nœud feuille Pour déterminer quelle variable affecter à chaque nœud, application d'un algorithme sur chaque paramètre et conservation du plus représentatif pour un découpage 1 Noeud racine 2 Noeud fils 3 Noeud feuille 47 48
Les arbres de décisions Le modèle Utiliser la valeur des attributs pour subdiviser l ensemble d exemples en sous-ensembles de plus en plus fins Réitérer la démarche jusqu à obtenir un sous-ensemble avec un nombre majoritaire de n-uplets appartenant à la même classe Les arbres de décisions Traitement des informations bruitées ou corrompues 2 classes mais plus d attributs pour subdiviser : étiquetage par la classe majoritaire ou probabilité test statistique : pour mesurer l indépendance entre attribut et classe Arbre : nœud racine = ensemble des exemples Découpage successif par une séquence de décisions Résultat : un ensemble de règles Règle : Si X=a et Y=b et alors Classe 1 Parcours de l arbre (liste d attributs dont la valeur détermine une classe d appartenance) Traitement des valeurs manquantes Valeur majoritaire (renforce l entropie) Ignorer l exemple Probabilité sur chacune des branches 49 50 Les arbres de décisions Principes de calculs Algorithme de détermination de la variable significative Diminution du désordre apparent dans les données Cas de descripteur qualitatif Probabilité d appartenance ex : grand-moyen-petit - sur 100 observations 20 ont la valeur «grand» - 20% Mesure de l incertitude (désordre) : théorème de Shannon = - Σ P i log 2 (P i ) avec P i : probabilité d appartenance à la catégorie Algorithme issus du Khi 2 qui permet de vérifier la conformité d un phénomène aléatoire à une loi de probabilité posée en hypothèse (algorithme de CHAID) 51 Principes de calculs Les arbres de décisions Cas des attributs à valeur (oui, non) métrique de Hamming Hd = nombre de non coïncidences entre deux attributs pseudo-métrique de Hamming (facteur de la mesure du désordre) Pm = Min ((nbre ex - Hd), Hd) 52
Les arbres de décisions Exemple d application de la distance de Hamming Question E1 E2 E3 E4 E5 E6 Hd Pm Q1 Connaît l école? Oui Oui Non Oui Non Non 2 2 Q2 A eu un stagiaire? Oui Non Non Non Non Non 2 2 Q3 A embauché un étudiant? Non Oui Non Oui Non Oui 4 2 Q4 Verse la taxe? Non Oui Oui Non Non Non 1 1 Q5 Participation à un événement? Oui Oui Oui Oui Oui Oui 3 3 R Rendez-vous Oui Oui Oui Non Non Non Principes de calculs Les arbres de décisions Cas de descripteur quantitatif Méthode de grappe : partition sur la médiane pour deux classes, en déciles pour plusieurs classes ; pas de garantie pour obtenir un seuil optimal de découpage mais la méthode est rapide. Oui RDV accepté Arbre obtenu après 2 itérations verse la taxe à l école Oui RDV accepté Non A eu un stagiaire Non RDV refusé 53 Méthode exhaustive : méthode qui détermine le seuil optimal de découpage de la variable ; parcours de toutes les valeurs numériques prises par l attribut ; calcul du pouvoir discriminant pour chaque valeur, la valeur ayant le plus grand pouvoir discriminant devient seuil. 54 Enjeux La détection de variables importantes (structuration du phénomène étudié et mise en place de solutions correctrices) La construction d'un système d'information (repérage des variables déterminantes, amélioration des règles d'alimentation d'un datawarehouse, affinement d'un processus d'historisation) Les arbres de décisions Data mining de masse (formalisme très simple) Résoudre 2 types de problèmes : Segmentation d une population Affectation d une classe à un individu Domaines d application Étude de marketing (critères prépondérants dans l achat) Marketing direct (isoler les meilleurs critères explicatifs) Ventes (analyse des performances) SAV (détecter les causes de réclamation, les défauts) Contrôle de qualité (identifier les éléments du processus) Domaine médical... Les arbres de décisions 55 56
Les arbres de décisions Quelques techniques Avantages et limites Simplicité d utilisation Lisibilité du modèle : règles si... alors... sinon... Pas adapté à un apprentissage incrémental (base de test) Taille de l arbre : un arbre «touffu» perd son pouvoir de généralisation et de prédiction importance de l utilisateur métier a) Associations b) Raisonnement à base de cas c) K-means, agglomération d) Arbres de décision e) Algorithmes génétiques f) Réseaux neuronaux g) Réseaux Bayésiens 57 58 e) Les algorithmes génétiques Principe Définition Travaux «récents» : 1975 (J. Holland) Système artificiel qui s appuie sur le principe de sélection de Darwin et les méthodes de combinaison de gènes de Mendel Description de l évolution d une population d individus en réponse à leur environnement Sélection : survie du plus adapté Reproduction Individus codés comme un ensemble de chromosomes Chaque chromosome a sa vie propre Travail sur une population nombreuse de solutions potentielles, toutes différentes Élimination des plus faibles pour reproduire les mieux adaptés Individus les plus adaptés ont une plus forte chance d'être sélectionnés et d exister à la génération suivante Reproduction par hybridation génétique des plus forts Mutation 59 Donne des individus encore plus forts (a priori) La mutation d un gène permet de conserver une certaine diversité dans la population 60
Remarque La population initiale cherche à peupler l'espace des solutions Succès dans les problèmes d'optimisation (proche des techniques de recherche opérationnelle) L'application successive du processus de sélection et mutation permet d'atteindre une solution optimale Codage Codage sous forme de 0 et 1 (codage du chromosome) Exemples : Ancienneté de la cmde : 1 si < 6 mois, et 0 sinon CA annuel : 1 si < 100 000, et 0 sinon Variable numérique transformée en entier puis en binaire 61 62 Dépendante du problème Fonction d'évaluation Ex : taux d'impayés constatés Permet de sélectionner le taux de reproduction à la génération suivante Taille de la population constante Tirage au hasard des candidats à la survie Biaisé : ceux qui ont une fonction d'évaluation importante Manipulation génétique Hybridation échange d'un «morceau» entre 2 chromosomes Mutation changement de parité Inversion inversion de 2 caractères successifs 63 64
Les algorithmes génétiques Les algorithmes génétiques Principe Tri des solutions sur la fonction d évaluation Sélection des individus à conserver Hybridation Mutation Non Population Initiale Solution acceptable? Nouvelle génération Oui Solution retenue Domaines d application Domaine industriel problème d optimisation ou de contrôle de processus complexes (ex : optimisation de la température d un four, de la pression d un cylindre) Domaine spatial et géomarketing (ex : optimisation de l emplacement d automates bancaires, optimisation d une campagne d affichage) Utiliser d autres techniques en complément (RN modifier le poids des liaisons, arbre de décision en isolant les variables qui expliquent un comportement) 65 66 Les algorithmes génétiques Avantages et limites Capacité à découvrir l espace : N N 3 Limite du codage (formé de 0 et 1) complexe à mettre en place problème pour représenter la proximité de valeurs numériques Dosage des mutations : problème des sous-optimums locaux Réglage subtil entre le mouvement et la stabilité taux d hybridation recombinaison des chaînes mais risque de détruire de bonnes solutions taux de mutation espace de solutions avec des risques d altération Quelques techniques a) Associations b) Raisonnement à base de cas c) K-means, agglomération d) Arbres de décision e) Algorithmes génétiques f) Réseaux neuronaux g) Réseaux Bayésiens 67 68
f) Les réseaux neuronaux Structure Définition 1943 McCulloch et Pitts - Perceptron, Connexionisme Analogie avec le fonctionnement du cerveau 2 catégories : supervisé : réponse connue (apprentissage à partir d'exemples) non supervisé : le réseau ne connaît pas le type de résultat Découvrir la structure sous-jacente des données par une recherche des corrélations des entrées pour les organiser en catégories Réseau non supervisé techniques statistiques (analyse de données) Les composants : Le neurone formel Une règle d activation Une organisation en couches Une règle d apprentissage 69 70 Neurone formel Calcule la somme pondérée des entrées transmises par le reste du réseau Σ(X i * W i ) X 1 X 2 W 1 W 2 Σ Règle d'activation Associée à chaque neurone formel Définie avec une fréquence T une fonction généralement sigmoïde, dont le résultat est d activer ou non le neurone de sortie (selon un seuil) X 1 W 1 X 3 X 4 Variables en entrée W 3 W 4 Poids associés à chaque connexion 71 X 2 X 3 X 4 W 2 W 3 W 4 Σ Fonction Sortie 72
Les réseaux neuronaux Définition Organisation en couches pour résoudre des problèmes de toute complexité La couche d entrée transmet ses résultats à la couche supérieure qui, ayant de nouvelles données et de nouveaux poids retransmet ses données résultantes à la couche suivante et ainsi de suite jusqu à la couche de sortie qui fournit le neurone de sortie Couches intermédiaires = couches cachées. X 1 X 2 X 3 X 4 X 5 W 1 W 15 Les réseaux neuronaux Auto-apprentissage Capacité du réseau à changer son comportement en fonction de son expérience passée variation des poids de connexion Règle d apprentissage : minimiser l erreur entre la donnée fournie par le réseau et la donnée réelle Renforcement des connexions les plus actives (règle de Hebb) convergence rapide du réseau Possibilité d intégrer des relations complexes entre les données Matrice des poids pour chaque couche Activation du nœud en sortie U 1 73 74 Les réseaux neuronaux Construction d un réseau de neurones Phase 1 : préparation des données Données en entrée / sortie Constitution de la base d exemples Représentativité de toutes les classes en sortie => Augmentation du pouvoir de prédiction ex : même si 3% refus, proportion de 50% refus et 50% accepté Codage des entrées Variable discrète = un neurone par type de valeur Certaines variables continues traitées comme des variables discrètes Optimisation du jeu de données Construction d un réseau de neurones Phase 2 : création des fichiers Base d exemples (80%) et base de test (20%) Répartition aléatoire Les réseaux neuronaux Phase 3 : paramètres du réseau Matrice : poids entre les connexions Logiciels : modes par défaut (mode novice ou expert) Nombreux paramètres : architecture, fonction de sommation, fonction de transformation (fonction sigmoïde), normalisation de la sortie, transmission de la sortie (sorties actives, rétro-propagation), calcul de l erreur (erreur quadratique, absolue, moyenne ) 75 76
Construction d un réseau de neurones Phase 4 : apprentissage (mise à jour itérative des poids) Calcul de la rétro-propagation 1. Initialisation de la matrice des poids au hasard 2. Choix d un exemple en entrée 3. Propagation du calcul de cette entrée dans le réseau 4. Calcul de la sortie de cette entrée 5. Mesure de l erreur de prédiction ( sortie réelle et sortie prévue) 6. Calcul de la sensibilité d un neurone (contribution à l erreur) 7. Détermination du gradient 8. Correction des poids des neurones 9. Retour à l étape 2 Phase 5 : performance du réseau Matrice de confusion Les réseaux neuronaux Nombreux domaines d application Reconnaissance des formes Traitement du signal domaine médical, risque cardiovasculaire domaine bancaire, risque de défaillance ou d utilisation frauduleuse Classification marketing (identification de segments de clients) industrie (détection de défauts et de pannes) Prévision Les réseaux neuronaux prévision de valeurs boursières, des ventes en marketing Contrôle adaptatif (robotique) 77 78 Avantages et limites Les réseaux neuronaux Auto-apprentissage Technologie éprouvée (des réponses aux limites) Faux mythe de la boite noire Risque de trop apprendre Taille de la base d exemple ex : 256 entrées, une couche intermédiaire à 10 neurones et 3 neurones en sortie = 2590 connexions soit 25 900 exemples Risque de non optimalité présence de minima locaux apprentissage sur plusieurs réseaux à partir de plusieurs matrices de poids ou variation du delta au cours de la construction du réseau Temps de calcul Quelques techniques a) Associations b) Raisonnement à base de cas c) K-means, agglomération d) Arbres de décision e) Algorithmes génétiques f) Réseaux neuronaux g) Réseaux Bayésiens 79 80