Plan. Data mining (partie 2) Data Mining : Utilisateur ou Statisticien? Data Mining : Cocktail de techniques. Master MIAGE - ENITE.

Dimension: px
Commencer à balayer dès la page:

Download "Plan. Data mining (partie 2) Data Mining : Utilisateur ou Statisticien? Data Mining : Cocktail de techniques. Master MIAGE - ENITE."

Transcription

1 Plan Data mining (partie 2) Introduction 1. Les tâches du data mining 2. Le processus de data mining Master MIAGE - ENITE Spécialité ACSI 3. Les bases de l'analyse de données 4. Les modèles du data mining Année universitaire Critères pour le choix d un logiciel Conclusion et perspectives 2 Data Mining : Cocktail de techniques Évolution des techniques de statistique + apports des SGBD, de l IA et de l apprentissage automatique Mélange de plusieurs disciplines implication de l utilisateur dans le processus Machine Learning Data Mining : Utilisateur ou Statisticien? Logiciel presse-bouton (apprentissage automatique non supervisé) Interaction avec l utilisateur au niveau de l apprentissage (paramètres) ou pendant la recherche du modèle performance et lisibilité du modèle Représentation de la Connaissance degré de transformation des données SGBD 3 Logiciel basé sur des techniques statistiques : experts requis les outils de DM intègrent des tests statistiques et des algorithmes de choix des meilleures techniques de modélisation en fonction des caractéristiques du cas 4

2 + Pouvoir de prédiction - Data Mining : Lisibilité ou Puissance Quelques techniques Compromis entre clarté du modèle et pouvoir prédictif - Compétences + réseaux neuronaux algorithmes génétiques réseaux bayésiens scores régression cluster arbres de décision analyse d association raisonnement à base de cas a) Associations b) Raisonnement à base de cas c) K-means, agglomération d) Arbres de décision e) Algorithmes génétiques f) Réseaux neuronaux g) Réseaux Bayésiens - Lisibilités des résultats a) Recherche d'associations ou analyse du panier de la ménagère Processus de découverte de connaissances non dirigée Étudier quels articles ont tendance à être achetés ensemble Issue du secteur de la distribution applicable dès que plusieurs actions faites par un même individu Utilisée pour découvrir des règles d'association but principal descriptif prédictive car résultats éventuellement situés dans le temps souvent départ d'une analyse règles claires et explicites pour l'utilisateur métier ensuite mise en œuvre d'un processus de test d'hypothèses ou de découverte dirigée Construire un modèle basé sur des règles conditionnelles à partir d un fichier de données Le modèle : Règles de la forme : Les Associations Si prédicat(x) et prédicat(y) alors prédicat(z) Pondération par une probabilité ou par une métrique de confiance Éventuellement situées dans le temps : Si action 1 ou condition à l'instant t 1 alors action 2 à l'instant t 2 Exemples de règles : Si achat de riz et de vin blanc, alors achat de poisson (84%) Si achat de téléviseur alors achat d'un enregistreur dans les 3 ans (45%) Si présence et travail alors réussite à l'examen (99,9%) 7 8

3 Les Associations Les Associations Les domaines : Analyse des tickets de caisse (mise en relation entre n produits, relation de comportement de produits) Analyse des séquences d achats détection d association de ventes pour un même client dimension temporelle et notion d antériorité Les enjeux : Optimisation des stocks, merchandising, ventes croisées (bon de réduction, promotion) Principes de construction d une association Transaction ticket de caisse une transaction T contient le détail des articles ou de leur famille chaque article est une variable binaire Une association est une implication de la forme X Y avec : X et Y T et X Y = Deux indicateurs pour apprécier une association : niveau de confiance : Card(X Y) / Card(X) niveau de support : Card(X Y) / Card(X ou Y) Extraire les associations pertinentes 9 10 Ticket 1 Ticket 2 Ticket 3 Ticket 4 farine œufs farine œufs sucre sucre œufs chocolat lait chocolat sucre thé chocolat Les Associations Ticket 1 Ticket 2 Ticket 3 Ticket 4 farine œufs farine œufs sucre sucre œufs chocolat lait chocolat sucre thé chocolat Les Associations Article Fréquence Support farine sucre lait œufs chocolat thé Article Fréquence Support farine 2 50% sucre 3 75% lait 1 25% œufs 3 75% chocolat 3 75% thé 1 25% 11 12

4 Les Associations Assoc. Niv. 2 Fréquence Confiance Support farine sucre 2 sucre farine 2 sucre œufs 2 œufs sucre 2 sucre chocolat 2 chocolat sucre 2 œufs chocolat 3 chocolat œufs 3 Assoc. Niv. 3 Fréquence Confiance Support œufs, chocolat sucre 2 sucre, œufs chocolat 2 chocolat, sucre œufs 2 Ticket 1 Ticket 2 Ticket 3 Ticket 4 farine œufs farine œufs sucre sucre œufs chocolat lait chocolat sucre thé chocolat 13 Les Associations Assoc. Niv. 2 Fréquence Confiance Support farine sucre 2 100% 67% sucre farine 2 67% 67% sucre œufs 2 67% 50% œufs sucre 2 67% 50% sucre chocolat 2 67% 50% chocolat sucre 2 67% 50% œufs chocolat 3 100% 100% chocolat œufs 3 100% 100% Assoc. Niv. 3 Fréquence Confiance Support œufs, chocolat sucre 2 67% 50% sucre, œufs chocolat 2 100% 67% chocolat, sucre œufs 2 100% 67% Ticket 1 Ticket 2 Ticket 3 Ticket 4 farine œufs farine œufs sucre sucre œufs chocolat lait chocolat sucre thé chocolat 14 Les Associations Exemple : Analyse d achats dans la grande distribution Limites de l approche : Article = code-barres Famille d articles = 100 références Volume de données : réf. élémentaires hiérarchie de concepts Niveau élémentaire pour confirmer l impact de la marque X sur les ventes de Y vérifier les associations sur des concepts de haut niveau 15 Mise en œuvre : taxinomie Un supermarché gère environ références différentes Analyse sur tous les articles : tableau de 10 milliards de cellules pour des associations de deux articles! des espaces disques importants (en téra-octets) des temps de traitements en conséquence pas très raisonnable! Solution : la taxinomie Regrouper les articles, les généraliser sous un même terme générique, une même rubrique Exemple : le terme chocolat regroupe les chocolats noirs, au lait, de différentes marques, aux noisettes, allégés, 16

5 Mise en œuvre : articles virtuels Mise en œuvre : règles de dissociation Ajout fréquent d articles virtuels pour améliorer la performance du système pour représenter des informations transversales pour regrouper les articles d'une autre manière que la taxinomie Exemple : produits allégés, marque que l'on trouve dans plusieurs rubriques pour donner des indications supplémentaires sur la transaction donnée temporelle (jour de la semaine, heure, mois, saison, ), mode de paiement, météo, si possible, données sur le client (satisfaction, type d'habitat, catégorie socioprofessionnelle, âge, statut matrimonial, ) pour fournir des règles du type : «si printemps et jardin alors achat de gants de jardinage» Analogue à une règle d'association mais fait apparaître la notion de «non» Exemple : Dans une entreprise, 5 produits (A,B,C,D,E) Si un client prend les produits A, B et D, alors il engendrera la transaction {A, B, non C, D, non E} Ce procédé engendre des règles comme : «si achat produit A et produit C alors non achat produit E» Inconvénient majeur : fournit des règles où tout est nié «si non A et non B alors non C» connaissances engendrées peu exploitables Mise en œuvre : séries temporelles L'analyse du panier de la ménagère Objectif : faire de la description et non de la prévision Outil non optimal pour étudier les séries temporelles Contrainte : avoir une information de temps et une clé d'identification de l'objet (principalement le client) Difficulté : transformer les données en transactions Plusieurs possibilités offertes : Ajouter à chaque article la notion de temps : avant, après, en même temps Créer des fenêtres temporelles : regrouper toutes les transactions effectuées dans un même intervalle de temps par un même individu permet de dégager des profils, surtout associée à des articles virtuels 19 Mise en œuvre Plusieurs indicateurs complémentaires pour évaluer La fréquence Règle vraie pour deux clients sur cinq : fréquence = 40% Le niveau (ou taux) de confiance Mesure de la probabilité dans la sous-population concernée par la condition de la règle (fréquence sur une sous-population) Ex : règle «si achat de jus d'orange, alors achat d'eau minérale» La population ayant acheté du jus d'orange (ex : 4 individus) Le nombre de fois où la règle est respectée (ex : 2) La proportion obtenue (ici 2 sur 4, soit 50 %) : niveau de confiance Permet de mesurer la force de l'association Prudence : n'intègre pas la notion d'effectif Ex : «si achat de lait, alors achat de nettoyant vitres» effectif 1 individu : très relatif malgré un très bon taux de confiance! 20

6 Le niveau de support Nombre de fois où l'association est respectée, ramenée au nombre de fois où l'un des articles est présent. Permet de mesurer la fréquence de l'association. Le taux d'amélioration Permet de mesurer la pertinence de l'association Que vaut une règle si son taux de confiance est inférieur à la fréquence du résultat sans condition? Ex : règle «si achat d'eau minérale, alors achat de jus d'orange» Règle vraie pour 2 clients sur 3 qui ont acheté de l'eau Taux de confiance pour l'achat du jus d'orange dans ces conditions : 67% Or, 4 clients sur 5 achètent du jus d'orange, soit 80%! Règle inintéressante à exploiter car ajout de condition pour taux moins bon Pour mesurer l'amélioration apportée par la règle, on divise le taux de confiance par la fréquence de l'événement Ici : 0.67 / 0.80 = 83 % Si résultat supérieur à 1, la règle apporte une amélioration sur le résultat Conclusion Points forts de l'analyse du panier de la ménagère : Résultats clairs et explicites Adaptée à l'exploitation non dirigée des données Traite des données de taille variable Technique et calculs simples à comprendre Points faibles de l'analyse du panier de la ménagère : Le volume de calculs croît au carré ou au cube du volume de données Prend mal en compte les articles rares Difficile de déterminer le bon nombre d'articles Attributs des articles (détails et quantités) souvent ignorés Sinon renoncer à l'exploiter Conclusion Technique s'appliquant aux problèmes : d'exploitation non dirigée des données contenant des articles bien définis, qui se regroupent entre eux de manière intéressante Souvent utilisé comme analyse préalable : car elle génère des règles susceptibles de soulever des interrogations ou des idées débouchera sur d'autres analyses plus fines : test d'hypothèse ou découverte de connaissance dirigée pour expliquer un phénomène révélé Quelques techniques a) Associations b) Raisonnement à base de cas c) K-means, agglomération d) Arbres de décision e) Algorithmes génétiques f) Réseaux neuronaux g) Réseaux Bayésiens 23 24

7 b) Le raisonnement à base de cas Technique de découverte de connaissances dirigée Utilisée dans un but de classification et de prédiction Bien adapté aux bases de données relationnelles Mise en œuvre simple Équivalence de l'expérience chez l'homme Processus : identification des cas similaires puis application de l'information provenant de ces cas au problème actuel Principe : on présente un nouvel enregistrement, il trouve les voisins les plus proches et positionne ce nouvel élément s'applique à tous les types de données. Utilisé pour estimer des éléments manquants, détecter des fraudes, prédire l'intérêt d'un client pour une offre, classifier les réponses en texte libre 25 Exemple : Ventes de voitures Renault ventilées en fonction de l'âge et du nombre d'enfants de l'acheteur Véhicule Âge Enfants Twingo 25 0 Espace 32 4 Twingo 28 1 Scénic 30 2 Latitude 50 1 Laguna 35 2 Espace 40 3 Twingo 30 1 Scénic 34 2 Latitude 52 2 Laguna 38 1 Espace 34 5 Véhicule Âge Enfants Twingo 27 1 Scénic 30 2 Laguna 39 0 Latitude 55 0 Twingo 24 1 Scénic 33 2 Laguna 38 2 Twingo 22 0 Scénic 35 1 Laguna 39 2 Latitude Ventes de voitures Renault Âge Espace Laguna Latitude Scénic Twingo ,5 1 1,5 2 2,5 3 3,5 4 4,5 5 Nbre d'enfants 27

8 Fonction de distance Pour les données numériques La valeur absolue de la différence : A-B Le carré de la différence : (A-B)² La valeur absolue normalisée : A-B / (différence maximale) avantage : toujours entre 0 et 1, supprime les problèmes d'échelles Libre de créer sa propre fonction Pour les autres types de données A l'utilisateur de définir sa propre fonction de distance Exemple : pour comparer le genre de deux individus, valeur 1 s'ils sont différents ou valeur 0 s'ils sont identiques pour des communes, prendre la distance entre elles ou une codification en fonction du type (urbaine, péri-urbaine, rurale) ou de la région Mais, toujours préférable d'avoir le résultat entre 0 et 1 Fonction de combinaison Consiste à combiner les n voisins les plus proches pour obtenir le résultat de la prédiction souhaitée Exemple : Soit une liste de clients ayant déjà répondu à une offre commerciale (par oui ou non). L'utilisateur métier estime que les critères les plus déterminants sont le genre, l'âge et le salaire net du dernier semestre Numéro Age Genre Salaire Acheteur A 27 F 3000 Non B 51 M Oui C 52 M Non D 33 F 8500 Oui E 45 M 7000 Oui 31 Soit un nouveau client : une femme de 45 ans ayant un revenu de euros Cette cliente sera-t-elle intéressée par l'offre? La fonction de distance est définie ainsi : Il s'agit d'une femme, donc distance de 1 avec les hommes et de 0 avec les femmes Et ajout de la distance normalisée du salaire et de l'âge Tableau des distances : Client Age Genre Salaire Distance totale A B C D E Les voisins les plus proches sont dans l'ordre : D C E B A 32

9 Utilisons maintenant la fonction de combinaison nombre de voisins retenus? Nombre de voisins retenus Numéro des voisins D DC DCE DCEB DCEBA Réponses des voisins O O,N O,N,O O,N,O,O O,N,O,O,N Décompte des Oui 1 Oui 1 Oui 2 Oui 3 Oui 3 réponses Non 0 Non 1 Non 1 Non 1 Non 2 Valeur retenue Oui? Oui Oui Oui Evaluation 100 % 50 % 66 % 75 % 60 % Si 3 voisins, réponse favorable avec une probabilité (plutôt espérance) de 66% Possible également de donner un poids à chaque contribution Ex: 1 er voisin a un poids de 3, 2 ème poids de 2, 3 ème un poids de 1 Possible de pondérer chaque variable utilisée dans la fonction de Quelques remarques Complexité en fonction de la taille de la base de cas Technique d optimisation Ajout d expertise pour guider la recherche vers les critères les plus pertinents Exemple : utilisation d un arbre de décision D où, principes suivants : Collecte des données Nombre d exemples lié au nombre de variables et de valeurs par variable Recherche des facteurs pertinents Par mots clés (mc) dist(x,y) = 1 - (nombre_mc_commun(x,y) / nombre_mc(x ou y)) Hiérarchisation de concepts Indexation des données (plus proche voisin) distance Conclusion Quelques techniques Les points forts : produit des résultats explicites s'applique à tout type de données capable de travailler sur de nombreux champs facile à mettre en œuvre et à comprendre Les points faibles : nécessite un grand volume de données pour être performant très dépendant des fonctions de distance et de combinaison 35 a) Associations b) Raisonnement à base de cas c) K-means, agglomération d) Arbres de décision e) Algorithmes génétiques f) Réseaux neuronaux g) Réseaux Bayésiens 36

10 c) Détection automatique de clusters Méthode de découverte de connaissances non dirigée (apprentissage sans supervision) Ne nécessite aucun apprentissage Principe : regrouper les éléments par similarités successives Deux grandes catégories : la méthode des K-moyennes et les méthodes par agglomération Objectif : procéder à une classification du type regroupement par similitude Un groupe est appelé cluster Utilisation classique : clusteriser une population avant une étude Prévoir une fonction de distance qui mesure l'écart entre deux enregistrements 37 K-means Permet de découper une population en K clusters K défini par l'utilisateur Principe de fonctionnement : On positionne les K premiers points (ou noyaux) au hasard Chaque enregistrement est affecté au noyau le plus proche A la fin de la première affectation, calcul de la valeur moyenne de chaque cluster Le noyau prend cette nouvelle valeur Répétition jusqu'à stabilisation des clusters 38 Exemple Personnes d'âge 27, 51, 52, 33, 45, 22, 28, 44, 40, 38, 20, 57 Exemple : K=3 Les 3 noyaux initiaux = les trois premières valeurs Distance = différence / (amplitude maximum) = différence / Noyau Noyau Noyau Minimum Affectation noyau 1 (27) : noyau 2 (51) : Calcul des centroïdes : moyenne arithmétique du cluster soit 28 pour noyau 1, 45 pour noyau 2 et 54.5 pour noyau 3 Ces valeurs = positions des nouveaux noyaux Recommençons le processus par rapport à ces valeurs Noyau Noyau Noyau Minimum Affectation L'affectation donne la répartition suivante : noyau 1 (28) : Moyenne = 26 noyau 2 (45) : Moyenne = noyau 3 (54.5) : Moyenne = En réitérant le processus, aucune modification des affectations. Les clusters sont finalisés : Cluster 1: Jeunes majeurs - Centroïde = 26 Cluster 2: Quadragénaires - Centroïde = Cluster 3: Quinquagénaires - Centroïde = noyau 3 (52) :

11 Classification hiérarchique ascendante Exemple Calcul des distances 2 à 2 Agglomération des plus proches voisins (inférieurs à un seuil) Calcul des centroïdes On itère Seuil = 7,5% (0.075) à chaque itération fixé aléatoirement en fonction du niveau de regroupement souhaité par l'utilisateur. Ensemble des valeurs ordonné en ordre croissant Valeurs ayant un seuil inférieur à 7,5%, soit : 0.03 (52-51), 0.03 (27-28), 0.03 (44-45), 0.05 (38-40), 0.05 (20-22) On recommence avec un seuil de 15% Chaque cluster est représenté par son centroïde (ici moyenne)

12 On obtient alors Soit 4 clusters : {20,22}, {27,28,33}, {38,40,44,45}, {51,52,57} Puis avec un seuil de 22,5%, regroupement des deux premiers clusters Remarque : si le seuil à chaque itération était de 10%, dès le 2 ème niveau, il n y aurait eu qu un seul cluster. 45 Conclusion Les points forts : Les résultats sont clairs Plutôt facile à mettre en œuvre Pas grosse consommatrice de ressources Application facile. Les points faibles : Difficile de trouver une bonne fonction de distance Certains clusters résultants peuvent être difficiles à expliquer 46 Quelques techniques a) Associations b) Raisonnement à base de cas c) K-means, agglomération d) Arbres de décision e) Algorithmes génétiques f) Réseaux neuronaux g) Réseaux Bayésiens d) Les arbres de décision Objectif : classification et prédiction Fonctionnement basé sur un enchaînement hiérarchique de règles en langage courant Composé : d un nœud racine 5 4 Noeuds feuilles de questions de réponses qui conditionnent la question suivante de nœuds feuilles correspondant à un classement Jeu de questions-réponses itératif jusqu à arriver à un nœud feuille Pour déterminer quelle variable affecter à chaque nœud, application d'un algorithme sur chaque paramètre et conservation du plus représentatif pour un découpage 1 Noeud racine 2 Noeud fils 3 Noeud feuille 47 48

13 Les arbres de décisions Le modèle Utiliser la valeur des attributs pour subdiviser l ensemble d exemples en sous-ensembles de plus en plus fins Réitérer la démarche jusqu à obtenir un sous-ensemble avec un nombre majoritaire de n-uplets appartenant à la même classe Les arbres de décisions Traitement des informations bruitées ou corrompues 2 classes mais plus d attributs pour subdiviser : étiquetage par la classe majoritaire ou probabilité test statistique : pour mesurer l indépendance entre attribut et classe Arbre : nœud racine = ensemble des exemples Découpage successif par une séquence de décisions Résultat : un ensemble de règles Règle : Si X=a et Y=b et alors Classe 1 Parcours de l arbre (liste d attributs dont la valeur détermine une classe d appartenance) Traitement des valeurs manquantes Valeur majoritaire (renforce l entropie) Ignorer l exemple Probabilité sur chacune des branches Les arbres de décisions Principes de calculs Algorithme de détermination de la variable significative Diminution du désordre apparent dans les données Cas de descripteur qualitatif Probabilité d appartenance ex : grand-moyen-petit - sur 100 observations 20 ont la valeur «grand» - 20% Mesure de l incertitude (désordre) : théorème de Shannon = - Σ P i log 2 (P i ) avec P i : probabilité d appartenance à la catégorie Algorithme issus du Khi 2 qui permet de vérifier la conformité d un phénomène aléatoire à une loi de probabilité posée en hypothèse (algorithme de CHAID) 51 Principes de calculs Les arbres de décisions Cas des attributs à valeur (oui, non) métrique de Hamming Hd = nombre de non coïncidences entre deux attributs pseudo-métrique de Hamming (facteur de la mesure du désordre) Pm = Min ((nbre ex - Hd), Hd) 52

14 Les arbres de décisions Exemple d application de la distance de Hamming Question E1 E2 E3 E4 E5 E6 Hd Pm Q1 Connaît l école? Oui Oui Non Oui Non Non 2 2 Q2 A eu un stagiaire? Oui Non Non Non Non Non 2 2 Q3 A embauché un étudiant? Non Oui Non Oui Non Oui 4 2 Q4 Verse la taxe? Non Oui Oui Non Non Non 1 1 Q5 Participation à un événement? Oui Oui Oui Oui Oui Oui 3 3 R Rendez-vous Oui Oui Oui Non Non Non Principes de calculs Les arbres de décisions Cas de descripteur quantitatif Méthode de grappe : partition sur la médiane pour deux classes, en déciles pour plusieurs classes ; pas de garantie pour obtenir un seuil optimal de découpage mais la méthode est rapide. Oui RDV accepté Arbre obtenu après 2 itérations verse la taxe à l école Oui RDV accepté Non A eu un stagiaire Non RDV refusé 53 Méthode exhaustive : méthode qui détermine le seuil optimal de découpage de la variable ; parcours de toutes les valeurs numériques prises par l attribut ; calcul du pouvoir discriminant pour chaque valeur, la valeur ayant le plus grand pouvoir discriminant devient seuil. 54 Enjeux La détection de variables importantes (structuration du phénomène étudié et mise en place de solutions correctrices) La construction d'un système d'information (repérage des variables déterminantes, amélioration des règles d'alimentation d'un datawarehouse, affinement d'un processus d'historisation) Les arbres de décisions Data mining de masse (formalisme très simple) Résoudre 2 types de problèmes : Segmentation d une population Affectation d une classe à un individu Domaines d application Étude de marketing (critères prépondérants dans l achat) Marketing direct (isoler les meilleurs critères explicatifs) Ventes (analyse des performances) SAV (détecter les causes de réclamation, les défauts) Contrôle de qualité (identifier les éléments du processus) Domaine médical... Les arbres de décisions 55 56

15 Les arbres de décisions Quelques techniques Avantages et limites Simplicité d utilisation Lisibilité du modèle : règles si... alors... sinon... Pas adapté à un apprentissage incrémental (base de test) Taille de l arbre : un arbre «touffu» perd son pouvoir de généralisation et de prédiction importance de l utilisateur métier a) Associations b) Raisonnement à base de cas c) K-means, agglomération d) Arbres de décision e) Algorithmes génétiques f) Réseaux neuronaux g) Réseaux Bayésiens e) Les algorithmes génétiques Principe Définition Travaux «récents» : 1975 (J. Holland) Système artificiel qui s appuie sur le principe de sélection de Darwin et les méthodes de combinaison de gènes de Mendel Description de l évolution d une population d individus en réponse à leur environnement Sélection : survie du plus adapté Reproduction Individus codés comme un ensemble de chromosomes Chaque chromosome a sa vie propre Travail sur une population nombreuse de solutions potentielles, toutes différentes Élimination des plus faibles pour reproduire les mieux adaptés Individus les plus adaptés ont une plus forte chance d'être sélectionnés et d exister à la génération suivante Reproduction par hybridation génétique des plus forts Mutation 59 Donne des individus encore plus forts (a priori) La mutation d un gène permet de conserver une certaine diversité dans la population 60

16 Remarque La population initiale cherche à peupler l'espace des solutions Succès dans les problèmes d'optimisation (proche des techniques de recherche opérationnelle) L'application successive du processus de sélection et mutation permet d'atteindre une solution optimale Codage Codage sous forme de 0 et 1 (codage du chromosome) Exemples : Ancienneté de la cmde : 1 si < 6 mois, et 0 sinon CA annuel : 1 si < , et 0 sinon Variable numérique transformée en entier puis en binaire Dépendante du problème Fonction d'évaluation Ex : taux d'impayés constatés Permet de sélectionner le taux de reproduction à la génération suivante Taille de la population constante Tirage au hasard des candidats à la survie Biaisé : ceux qui ont une fonction d'évaluation importante Manipulation génétique Hybridation échange d'un «morceau» entre 2 chromosomes Mutation changement de parité Inversion inversion de 2 caractères successifs 63 64

17 Les algorithmes génétiques Les algorithmes génétiques Principe Tri des solutions sur la fonction d évaluation Sélection des individus à conserver Hybridation Mutation Non Population Initiale Solution acceptable? Nouvelle génération Oui Solution retenue Domaines d application Domaine industriel problème d optimisation ou de contrôle de processus complexes (ex : optimisation de la température d un four, de la pression d un cylindre) Domaine spatial et géomarketing (ex : optimisation de l emplacement d automates bancaires, optimisation d une campagne d affichage) Utiliser d autres techniques en complément (RN modifier le poids des liaisons, arbre de décision en isolant les variables qui expliquent un comportement) Les algorithmes génétiques Avantages et limites Capacité à découvrir l espace : N N 3 Limite du codage (formé de 0 et 1) complexe à mettre en place problème pour représenter la proximité de valeurs numériques Dosage des mutations : problème des sous-optimums locaux Réglage subtil entre le mouvement et la stabilité taux d hybridation recombinaison des chaînes mais risque de détruire de bonnes solutions taux de mutation espace de solutions avec des risques d altération Quelques techniques a) Associations b) Raisonnement à base de cas c) K-means, agglomération d) Arbres de décision e) Algorithmes génétiques f) Réseaux neuronaux g) Réseaux Bayésiens 67 68

18 f) Les réseaux neuronaux Structure Définition 1943 McCulloch et Pitts - Perceptron, Connexionisme Analogie avec le fonctionnement du cerveau 2 catégories : supervisé : réponse connue (apprentissage à partir d'exemples) non supervisé : le réseau ne connaît pas le type de résultat Découvrir la structure sous-jacente des données par une recherche des corrélations des entrées pour les organiser en catégories Réseau non supervisé techniques statistiques (analyse de données) Les composants : Le neurone formel Une règle d activation Une organisation en couches Une règle d apprentissage Neurone formel Calcule la somme pondérée des entrées transmises par le reste du réseau Σ(X i * W i ) X 1 X 2 W 1 W 2 Σ Règle d'activation Associée à chaque neurone formel Définie avec une fréquence T une fonction généralement sigmoïde, dont le résultat est d activer ou non le neurone de sortie (selon un seuil) X 1 W 1 X 3 X 4 Variables en entrée W 3 W 4 Poids associés à chaque connexion 71 X 2 X 3 X 4 W 2 W 3 W 4 Σ Fonction Sortie 72

19 Les réseaux neuronaux Définition Organisation en couches pour résoudre des problèmes de toute complexité La couche d entrée transmet ses résultats à la couche supérieure qui, ayant de nouvelles données et de nouveaux poids retransmet ses données résultantes à la couche suivante et ainsi de suite jusqu à la couche de sortie qui fournit le neurone de sortie Couches intermédiaires = couches cachées. X 1 X 2 X 3 X 4 X 5 W 1 W 15 Les réseaux neuronaux Auto-apprentissage Capacité du réseau à changer son comportement en fonction de son expérience passée variation des poids de connexion Règle d apprentissage : minimiser l erreur entre la donnée fournie par le réseau et la donnée réelle Renforcement des connexions les plus actives (règle de Hebb) convergence rapide du réseau Possibilité d intégrer des relations complexes entre les données Matrice des poids pour chaque couche Activation du nœud en sortie U Les réseaux neuronaux Construction d un réseau de neurones Phase 1 : préparation des données Données en entrée / sortie Constitution de la base d exemples Représentativité de toutes les classes en sortie => Augmentation du pouvoir de prédiction ex : même si 3% refus, proportion de 50% refus et 50% accepté Codage des entrées Variable discrète = un neurone par type de valeur Certaines variables continues traitées comme des variables discrètes Optimisation du jeu de données Construction d un réseau de neurones Phase 2 : création des fichiers Base d exemples (80%) et base de test (20%) Répartition aléatoire Les réseaux neuronaux Phase 3 : paramètres du réseau Matrice : poids entre les connexions Logiciels : modes par défaut (mode novice ou expert) Nombreux paramètres : architecture, fonction de sommation, fonction de transformation (fonction sigmoïde), normalisation de la sortie, transmission de la sortie (sorties actives, rétro-propagation), calcul de l erreur (erreur quadratique, absolue, moyenne ) 75 76

20 Construction d un réseau de neurones Phase 4 : apprentissage (mise à jour itérative des poids) Calcul de la rétro-propagation 1. Initialisation de la matrice des poids au hasard 2. Choix d un exemple en entrée 3. Propagation du calcul de cette entrée dans le réseau 4. Calcul de la sortie de cette entrée 5. Mesure de l erreur de prédiction ( sortie réelle et sortie prévue) 6. Calcul de la sensibilité d un neurone (contribution à l erreur) 7. Détermination du gradient 8. Correction des poids des neurones 9. Retour à l étape 2 Phase 5 : performance du réseau Matrice de confusion Les réseaux neuronaux Nombreux domaines d application Reconnaissance des formes Traitement du signal domaine médical, risque cardiovasculaire domaine bancaire, risque de défaillance ou d utilisation frauduleuse Classification marketing (identification de segments de clients) industrie (détection de défauts et de pannes) Prévision Les réseaux neuronaux prévision de valeurs boursières, des ventes en marketing Contrôle adaptatif (robotique) Avantages et limites Les réseaux neuronaux Auto-apprentissage Technologie éprouvée (des réponses aux limites) Faux mythe de la boite noire Risque de trop apprendre Taille de la base d exemple ex : 256 entrées, une couche intermédiaire à 10 neurones et 3 neurones en sortie = 2590 connexions soit exemples Risque de non optimalité présence de minima locaux apprentissage sur plusieurs réseaux à partir de plusieurs matrices de poids ou variation du delta au cours de la construction du réseau Temps de calcul Quelques techniques a) Associations b) Raisonnement à base de cas c) K-means, agglomération d) Arbres de décision e) Algorithmes génétiques f) Réseaux neuronaux g) Réseaux Bayésiens 79 80

Introduction au datamining

Introduction au datamining Introduction au datamining Patrick Naïm janvier 2005 Définition Définition Historique Mot utilisé au départ par les statisticiens Le mot indiquait une utilisation intensive des données conduisant à des

Plus en détail

Techniques de DM pour la GRC dans les banques Page 11

Techniques de DM pour la GRC dans les banques Page 11 Techniques de DM pour la GRC dans les banques Page 11 II.1 Introduction Les techniques de data mining sont utilisé de façon augmentaté dans le domaine économique. Tels que la prédiction de certains indicateurs

Plus en détail

FOUILLE DE DONNEES. Anne LAURENT ECD. laurent@lirmm.fr

FOUILLE DE DONNEES. Anne LAURENT ECD. laurent@lirmm.fr FOUILLE DE DONNEES Anne LAURENT laurent@lirmm.fr ECD Pourquoi la fouille de données? Données disponibles Limites de l approche humaine Nombreux besoins : Industriels, Médicaux, Marketing, Qu est-ce que

Plus en détail

Christophe CANDILLIER Cours de DataMining mars 2004 Page 1

Christophe CANDILLIER Cours de DataMining mars 2004 Page 1 Christophe CANDILLIER Cours de DataMining mars 2004 age 1 1. Introduction 2. rocessus du DataMining 3. Analyse des données en DataMining 4. Analyse en Ligne OLA 5. Logiciels 6. Bibliographie Christophe

Plus en détail

Introduction au Data-Mining

Introduction au Data-Mining Introduction au Data-Mining Alain Rakotomamonjy - Gilles Gasso. INSA Rouen -Département ASI Laboratoire PSI Introduction au Data-Mining p. 1/25 Data-Mining : Kèkecé? Traduction : Fouille de données. Terme

Plus en détail

données en connaissance et en actions?

données en connaissance et en actions? 1 Partie 2 : Présentation de la plateforme SPSS Modeler : Comment transformer vos données en connaissance et en actions? SPSS Modeler : l atelier de data mining Large gamme de techniques d analyse (algorithmes)

Plus en détail

Master ISI 2010-2011. Data Mining Recherche des sous-ensembles fréquents

Master ISI 2010-2011. Data Mining Recherche des sous-ensembles fréquents Master ISI 2010-2011 Data Mining Recherche des sous-ensembles fréquents Yves Lechevallier INRIA-Rocquencourt E_mail : Yves.Lechevallier@inria.fr 1 Processus Data Mining Phase A : Entrepôt de données Entrepôt

Plus en détail

Statistique et analyse de données pour l assureur : des outils pour la gestion des risques et le marketing

Statistique et analyse de données pour l assureur : des outils pour la gestion des risques et le marketing Statistique et analyse de données pour l assureur : des outils pour la gestion des risques et le marketing Gilbert Saporta Chaire de Statistique Appliquée, CNAM ActuariaCnam, 31 mai 2012 1 L approche statistique

Plus en détail

Introduction au Data-Mining

Introduction au Data-Mining Introduction au Data-Mining Gilles Gasso, Stéphane Canu INSA Rouen -Département ASI Laboratoire LITIS 8 septembre 205. Ce cours est librement inspiré du cours DM de Alain Rakotomamonjy Gilles Gasso, Stéphane

Plus en détail

Les algorithmes de fouille de données

Les algorithmes de fouille de données Février 2005 Les algorithmes de fouille de données DATAMINING Techniques appliquées à la vente, aux services client, interdictions. Cycle C Informatique Remerciements Je remercie les personnes, les universités

Plus en détail

Programme des épreuves des concours externes de recrutement des personnels techniques et administratifs de recherche et de formation

Programme des épreuves des concours externes de recrutement des personnels techniques et administratifs de recherche et de formation Programme des épreuves des concours externes de recrutement des personnels E1 RECRUTEMENT DES ASSISTANTS INGENIEURS DE RECHERCHE ET DE FORMATION...2 E1.1 Gestionnaire de base de données...2 E1.2 Développeur

Plus en détail

Le Data Mining au service du Scoring ou notation statistique des emprunteurs!

Le Data Mining au service du Scoring ou notation statistique des emprunteurs! France Le Data Mining au service du Scoring ou notation statistique des emprunteurs! Comme le rappelle la CNIL dans sa délibération n 88-083 du 5 Juillet 1988 portant adoption d une recommandation relative

Plus en détail

Pourquoi l apprentissage?

Pourquoi l apprentissage? Pourquoi l apprentissage? Les SE sont basés sur la possibilité d extraire la connaissance d un expert sous forme de règles. Dépend fortement de la capacité à extraire et formaliser ces connaissances. Apprentissage

Plus en détail

Coup de Projecteur sur les Réseaux de Neurones

Coup de Projecteur sur les Réseaux de Neurones Coup de Projecteur sur les Réseaux de Neurones Les réseaux de neurones peuvent être utilisés pour des problèmes de prévision ou de classification. La représentation la plus populaire est le réseau multicouche

Plus en détail

Data Mining. Vincent Augusto 2012-2013. École Nationale Supérieure des Mines de Saint-Étienne. Data Mining. V. Augusto.

Data Mining. Vincent Augusto 2012-2013. École Nationale Supérieure des Mines de Saint-Étienne. Data Mining. V. Augusto. des des Data Mining Vincent Augusto École Nationale Supérieure des Mines de Saint-Étienne 2012-2013 1/65 des des 1 2 des des 3 4 Post-traitement 5 représentation : 6 2/65 des des Définition générale Le

Plus en détail

Fouille de données orientée motifs, méthodes et usages.

Fouille de données orientée motifs, méthodes et usages. Fouille de données orientée motifs, méthodes et usages. François RIOULT GREYC - Équipe Données-Documents-Langues CNRS UMR 6072 Université de Caen Basse-Normandie France Résumé La fouille de données orientée

Plus en détail

L apprentissage automatique

L apprentissage automatique L apprentissage automatique L apprentissage automatique L'apprentissage automatique fait référence au développement, à l analyse et à l implémentation de méthodes qui permettent à une machine d évoluer

Plus en détail

Le "tout fichier" Le besoin de centraliser les traitements des fichiers. Maitriser les bases de données. Historique

Le tout fichier Le besoin de centraliser les traitements des fichiers. Maitriser les bases de données. Historique Introduction à l informatique : Information automatisée Le premier ordinateur Définition disque dure, mémoire, carte mémoire, carte mère etc Architecture d un ordinateur Les constructeurs leader du marché

Plus en détail

Déroulement d un projet en DATA MINING, préparation et analyse des données. Walid AYADI

Déroulement d un projet en DATA MINING, préparation et analyse des données. Walid AYADI 1 Déroulement d un projet en DATA MINING, préparation et analyse des données Walid AYADI 2 Les étapes d un projet Choix du sujet - Définition des objectifs Inventaire des données existantes Collecte, nettoyage

Plus en détail

Introduction. I Étude rapide du réseau - Apprentissage. II Application à la reconnaissance des notes.

Introduction. I Étude rapide du réseau - Apprentissage. II Application à la reconnaissance des notes. Introduction L'objectif de mon TIPE est la reconnaissance de sons ou de notes de musique à l'aide d'un réseau de neurones. Ce réseau doit être capable d'apprendre à distinguer les exemples présentés puis

Plus en détail

INTRODUCTION AU DATA MINING

INTRODUCTION AU DATA MINING INTRODUCTION AU DATA MINING 6 séances de 3 heures mai-juin 2006 EPF - 4 ème année - Option Ingénierie d Affaires et de Projets Bertrand LIAUDET Phase 4 : Modélisation non-supervisée - 5 : Règles d association

Plus en détail

Projet SINF2275 «Data mining and decision making» Projet classification et credit scoring

Projet SINF2275 «Data mining and decision making» Projet classification et credit scoring Projet SINF2275 «Data mining and decision making» Projet classification et credit scoring Année académique 2006-2007 Professeurs : Marco Saerens Adresse : Université catholique de Louvain Information Systems

Plus en détail

Plan. Data mining (partie 1) Intelligence économique. Intelligence économique. Master MIAGE - ENITE

Plan. Data mining (partie 1) Intelligence économique. Intelligence économique. Master MIAGE - ENITE Plan Data mining (partie 1) Introduction Master MIAGE - ENITE Spécialité ACSI laurent.vigneron@univ-lorraine.fr http://www.loria.fr/~vigneron/cours/enite/ Année universitaire 2013-2014 1. Les tâches du

Plus en détail

Julien MATHEVET Alexandre BOISSY GSID 4. Rapport RE09. Load Balancing et migration

Julien MATHEVET Alexandre BOISSY GSID 4. Rapport RE09. Load Balancing et migration Julien MATHEVET Alexandre BOISSY GSID 4 Rapport Load Balancing et migration Printemps 2001 SOMMAIRE INTRODUCTION... 3 SYNTHESE CONCERNANT LE LOAD BALANCING ET LA MIGRATION... 4 POURQUOI FAIRE DU LOAD BALANCING?...

Plus en détail

Apprentissage Statistique. Bureau d étude :

Apprentissage Statistique. Bureau d étude : Apprentissage Statistique Bureau d étude : Score d appétence en GRC Hélène Milhem IUP SID M2 2011/2012 Institut de Mathématiques de Toulouse UMR CNRS C5219 Equipe de Statistique et Probabilités Université

Plus en détail

4.2 Unités d enseignement du M1

4.2 Unités d enseignement du M1 88 CHAPITRE 4. DESCRIPTION DES UNITÉS D ENSEIGNEMENT 4.2 Unités d enseignement du M1 Tous les cours sont de 6 ECTS. Modélisation, optimisation et complexité des algorithmes (code RCP106) Objectif : Présenter

Plus en détail

Chapitre 9 : Informatique décisionnelle

Chapitre 9 : Informatique décisionnelle Chapitre 9 : Informatique décisionnelle Sommaire Introduction... 3 Définition... 3 Les domaines d application de l informatique décisionnelle... 4 Architecture d un système décisionnel... 5 L outil Oracle

Plus en détail

LA NOTATION STATISTIQUE DES EMPRUNTEURS OU «SCORING»

LA NOTATION STATISTIQUE DES EMPRUNTEURS OU «SCORING» LA NOTATION STATISTIQUE DES EMPRUNTEURS OU «SCORING» Gilbert Saporta Professeur de Statistique Appliquée Conservatoire National des Arts et Métiers Dans leur quasi totalité, les banques et organismes financiers

Plus en détail

Arbres de décision. Intelligence Artificielle et Systèmes Formels Master 1 I2L

Arbres de décision. Intelligence Artificielle et Systèmes Formels Master 1 I2L Arbres de décision Intelligence Artificielle et Systèmes Formels Master 1 I2L Sébastien Verel verel@lisic.univ-littoral.fr http://www-lisic.univ-littoral.fr/ verel Université du Littoral Côte d Opale Laboratoire

Plus en détail

THÉORIE DE L'INFORMATION : RAPPELS

THÉORIE DE L'INFORMATION : RAPPELS THÉORIE DE L'INFORMATION : RAPPELS 1920 : premières tentatives de définition de mesure de l'information à partir de 1948 : travaux de Shannon Théorie de l'information discipline fondamentale qui s'applique

Plus en détail

Algorithmes d'apprentissage

Algorithmes d'apprentissage Algorithmes d'apprentissage 1 Agents qui apprennent à partir d'exemples La problématique : prise de décision automatisée à partir d'un ensemble d'exemples Diagnostic médical Réponse à une demande de prêt

Plus en détail

Stéphane Tufféry DATA MINING & STATISTIQUE DÉCISIONNELLE. 18/12/2006 Stéphane Tufféry - Data Mining - http://data.mining.free.fr

Stéphane Tufféry DATA MINING & STATISTIQUE DÉCISIONNELLE. 18/12/2006 Stéphane Tufféry - Data Mining - http://data.mining.free.fr 1 Stéphane Tufféry DATA MINING & STATISTIQUE DÉCISIONNELLE 2 Plan du cours Qu est-ce que le data mining? A quoi sert le data mining? Les 2 grandes familles de techniques Le déroulement d un projet de data

Plus en détail

PROGRAMME DU CONCOURS DE RÉDACTEUR INFORMATICIEN

PROGRAMME DU CONCOURS DE RÉDACTEUR INFORMATICIEN PROGRAMME DU CONCOURS DE RÉDACTEUR INFORMATICIEN 1. DÉVELOPPEMENT D'APPLICATION (CONCEPTEUR ANALYSTE) 1.1 ARCHITECTURE MATÉRIELLE DU SYSTÈME INFORMATIQUE 1.1.1 Architecture d'un ordinateur Processeur,

Plus en détail

BI = Business Intelligence Master Data-ScienceCours 7 - Data

BI = Business Intelligence Master Data-ScienceCours 7 - Data BI = Business Intelligence Master Data-Science Cours 7 - Data Mining Ludovic DENOYER - UPMC 30 mars 2015 Ludovic DENOYER - Typologie des méthodes de Data Mining Différents types de méthodes : Méthodes

Plus en détail

Apprentissage Automatique

Apprentissage Automatique Apprentissage Automatique Introduction-I jean-francois.bonastre@univ-avignon.fr www.lia.univ-avignon.fr Définition? (Wikipedia) L'apprentissage automatique (machine-learning en anglais) est un des champs

Plus en détail

Entrepôt de données 1. Introduction

Entrepôt de données 1. Introduction Entrepôt de données 1 (data warehouse) Introduction 1 Présentation Le concept d entrepôt de données a été formalisé pour la première fois en 1990 par Bill Inmon. Il s agissait de constituer une base de

Plus en détail

Généralités sur les bases de données

Généralités sur les bases de données Généralités sur les bases de données Qu est-ce donc qu une base de données? Que peut-on attendre d un système de gestion de bases de données? Que peut-on faire avec une base de données? 1 Des données?

Plus en détail

Première STMG1 2014-2015 progression. - 1. Séquence : Proportion d une sous population dans une population.

Première STMG1 2014-2015 progression. - 1. Séquence : Proportion d une sous population dans une population. Première STMG1 2014-2015 progression. - 1 Table des matières Fil rouge. 3 Axes du programme. 3 Séquence : Proportion d une sous population dans une population. 3 Information chiffrée : connaître et exploiter

Plus en détail

Dans ce qui suit nous présenterons les concepts de base du data mining

Dans ce qui suit nous présenterons les concepts de base du data mining V - V Dans ce qui suit nous présenterons les concepts de base du data mining A. Concepts de base Définition Le data mining est un procédé d'exploration et d'analyse de grands volumes de données en vue

Plus en détail

Spécificités, Applications et Outils

Spécificités, Applications et Outils Spécificités, Applications et Outils Ricco Rakotomalala Université Lumière Lyon 2 Laboratoire ERIC Laboratoire ERIC 1 Ricco Rakotomalala ricco.rakotomalala@univ-lyon2.fr http://chirouble.univ-lyon2.fr/~ricco/data-mining

Plus en détail

Les arbres de décision

Les arbres de décision Les arbres de décision 25 Septembre 2007 Datamining 1 2007-2008 Plan 1 Le partitionnement récursif 2 C4.5 3 CART 4 Evaluation de performances 5 Bilan Datamining 2 2007-2008 Les données du Titanic Le partitionnement

Plus en détail

La classification automatique de données quantitatives

La classification automatique de données quantitatives La classification automatique de données quantitatives 1 Introduction Parmi les méthodes de statistique exploratoire multidimensionnelle, dont l objectif est d extraire d une masse de données des informations

Plus en détail

Comment ne pas construire un score-titanic

Comment ne pas construire un score-titanic Comment ne pas construire un score-titanic Mon mailing Olivier Decourt ABS Technologies / Educasoft Formations 1- Les principes 2- Un premier exemple : les vins de France 3- Mise en œuvre sous SAS 4- Un

Plus en détail

Arbres binaires de décision

Arbres binaires de décision 1 Arbres binaires de décision Résumé Arbres binaires de décision Méthodes de construction d arbres binaires de décision, modélisant une discrimination (classification trees) ou une régression (regression

Plus en détail

Rapport du Jury du Concours 2010 Épreuve Pratique d Algorithmique et de Programmation (EPAP)

Rapport du Jury du Concours 2010 Épreuve Pratique d Algorithmique et de Programmation (EPAP) Rapport du Jury du Concours 2010 Épreuve Pratique d Algorithmique et de Programmation (EPAP) Loris Marchal, Guillaume Melquion, Frédéric Tronel 21 juin 2011 Remarques générales à propos de l épreuve Organisation

Plus en détail

Objectifs. Clustering. Principe. Applications. Applications. Cartes de crédits. Remarques. Biologie, Génomique

Objectifs. Clustering. Principe. Applications. Applications. Cartes de crédits. Remarques. Biologie, Génomique Objectifs Clustering On ne sait pas ce qu on veut trouver : on laisse l algorithme nous proposer un modèle. On pense qu il existe des similarités entre les exemples. Qui se ressemble s assemble p. /55

Plus en détail

Table des matières. PREMIÈRE PARTIE Étapes initiales des études marketing 7

Table des matières. PREMIÈRE PARTIE Étapes initiales des études marketing 7 Table des matières Préface Public 1 Structure de l ouvrage 1 Caractéristiques de l ouvrage 3 Contenu 3 Pédagogie 4 Remarques sur l adaptation française 4 Ressources numériques 5 Biographie 6 PREMIÈRE PARTIE

Plus en détail

Discrétisation et génération de hiérarchies de concepts

Discrétisation et génération de hiérarchies de concepts Prétraitement des données 1 Pourquoi prétraiter les données? Nettoyage des données Intégration et transformation Réduction des données Discrétisation et génération de hiérarchies de g concepts Pourquoi

Plus en détail

IBM Cognos TM1. Fiche Produit. Aperçu

IBM Cognos TM1. Fiche Produit. Aperçu Fiche Produit IBM Cognos TM1 Aperçu Cycles de planification raccourcis de 75 % et reporting ramené à quelques minutes au lieu de plusieurs jours Solution entièrement prise en charge et gérée par le département

Plus en détail

Introduction. Informatique décisionnelle et data mining. Data mining (fouille de données) Cours/TP partagés. Information du cours

Introduction. Informatique décisionnelle et data mining. Data mining (fouille de données) Cours/TP partagés. Information du cours Information du cours Informatique décisionnelle et data mining www.lia.univ-avignon.fr/chercheurs/torres/cours/dm Juan-Manuel Torres juan-manuel.torres@univ-avignon.fr LIA/Université d Avignon Cours/TP

Plus en détail

Licence Professionnelle en Statistique et Informatique Décisionnelle (S.I.D.)

Licence Professionnelle en Statistique et Informatique Décisionnelle (S.I.D.) Université de Lille 2 - Droit et Santé Ecole Supérieure des Affaires & Institut Universitaire de Technologie (IUT-C) Département Statistique et Traitement Informatique des Données Licence Professionnelle

Plus en détail

Travailler avec les télécommunications

Travailler avec les télécommunications Travailler avec les télécommunications Minimiser l attrition dans le secteur des télécommunications Table des matières : 1 Analyse de l attrition à l aide du data mining 2 Analyse de l attrition de la

Plus en détail

Structure du cours : Il existe de nombreuses méthodes intéressantes qui couvrent l Analyse des Données

Structure du cours : Il existe de nombreuses méthodes intéressantes qui couvrent l Analyse des Données Structure du cours : Il existe de nombreuses méthodes intéressantes qui couvrent l Analyse des Données et le Data Mining Nous suivons le plan suivant : Fonctionnement de Spad Catalogue des méthodes (statistiques

Plus en détail

connaissances «intéressantes» ou des motifs (patterns) à partir d une grande quantité de données.

connaissances «intéressantes» ou des motifs (patterns) à partir d une grande quantité de données. Data Mining = Knowledge Discovery in Databases (KDD) = Fouille de données 1 Définition : Processus ou méthode qui extrait des connaissances «intéressantes» ou des motifs (patterns) à partir d une grande

Plus en détail

INF6304 Interfaces Intelligentes

INF6304 Interfaces Intelligentes INF6304 Interfaces Intelligentes filtres collaboratifs 1/42 INF6304 Interfaces Intelligentes Systèmes de recommandations, Approches filtres collaboratifs Michel C. Desmarais Génie informatique et génie

Plus en détail

QU EST-CE QUE LE DECISIONNEL?

QU EST-CE QUE LE DECISIONNEL? La plupart des entreprises disposent d une masse considérable d informations sur leurs clients, leurs produits, leurs ventes Toutefois ces données sont cloisonnées par les applications utilisées ou parce

Plus en détail

Didier MOUNIEN Samantha MOINEAUX

Didier MOUNIEN Samantha MOINEAUX Didier MOUNIEN Samantha MOINEAUX 08/01/2008 1 Généralisation des ERP ERP génère une importante masse de données Comment mesurer l impact réel d une décision? Comment choisir entre plusieurs décisions?

Plus en détail

Agenda de la présentation

Agenda de la présentation Le Data Mining Techniques pour exploiter l information Dan Noël 1 Agenda de la présentation Concept de Data Mining ou qu est-ce que le Data Mining Déroulement d un projet de Data Mining Place du Data Mining

Plus en détail

Les solutions SAS pour les Petites et Moyennes Entreprises

Les solutions SAS pour les Petites et Moyennes Entreprises BROCHURE SOLUTION Les solutions SAS pour les Petites et Moyennes Entreprises Sur un marché aussi compétitif que celui des Petites et Moyennes Entreprises, le temps et l efficacité sont deux valeurs prioritaires

Plus en détail

Business Intelligence

Business Intelligence avec Excel, Power BI et Office 365 Téléchargement www.editions-eni.fr.fr Jean-Pierre GIRARDOT Table des matières 1 Avant-propos A. À qui s adresse ce livre?..................................................

Plus en détail

Les 10 grands principes de l utilisation du data mining pour une gestion de la relation client réussie

Les 10 grands principes de l utilisation du data mining pour une gestion de la relation client réussie Les 10 grands principes de l utilisation du data mining pour une gestion de la relation client réussie Découvrir les stratégies ayant fait leurs preuves et les meilleures pratiques Points clés : Planifier

Plus en détail

LES OUTILS D ALIMENTATION DU REFERENTIEL DE DB-MAIN

LES OUTILS D ALIMENTATION DU REFERENTIEL DE DB-MAIN LES OUTILS D ALIMENTATION DU REFERENTIEL DE DB-MAIN Les contenues de ce document sont la propriété exclusive de la société REVER. Ils ne sont transmis qu à titre d information et ne peuvent en aucun cas

Plus en détail

Logiciel XLSTAT version 7.0. 40 rue Damrémont 75018 PARIS

Logiciel XLSTAT version 7.0. 40 rue Damrémont 75018 PARIS Logiciel XLSTAT version 7.0 Contact : Addinsoft 40 rue Damrémont 75018 PARIS 2005-2006 Plan Présentation générale du logiciel Statistiques descriptives Histogramme Discrétisation Tableau de contingence

Plus en détail

IBM Content Analytics Libérer l Information

IBM Content Analytics Libérer l Information IBM Content Analytics Libérer l Information Patrick HOFLEITNER patrick_hofleitner@fr.ibm.com Août 2011 TABLE DES MATIERES RESUME...3 INTRODUCTION...4 LA PROBLEMATIQUE...5 1 L EXPLOSION DU CONTENU NON-STRUCTURE...5

Plus en détail

Organisé par StatSoft France et animé par Dr Diego Kuonen, expert en techniques de data mining.

Organisé par StatSoft France et animé par Dr Diego Kuonen, expert en techniques de data mining. 2 jours : Mardi 15 et mercredi 16 novembre 2005 de 9 heures 30 à 17 heures 30 Organisé par StatSoft France et animé par Dr Diego Kuonen, expert en techniques de data mining. Madame, Monsieur, On parle

Plus en détail

Magasins et entrepôts de données (Datamart, data warehouse) Approche relationnelle pour l'analyse des données en ligne (ROLAP)

Magasins et entrepôts de données (Datamart, data warehouse) Approche relationnelle pour l'analyse des données en ligne (ROLAP) Magasins et entrepôts de données (Datamart, data warehouse) Approche relationnelle pour l'analyse des données en ligne (ROLAP) Définition (G. Gardarin) Entrepôt : ensemble de données historisées variant

Plus en détail

Présentation du module Base de données spatio-temporelles

Présentation du module Base de données spatio-temporelles Présentation du module Base de données spatio-temporelles S. Lèbre slebre@unistra.fr Université de Strasbourg, département d informatique. Partie 1 : Notion de bases de données (12,5h ) Enjeux et principes

Plus en détail

Quels usages des données massives pour les statistiques publiques? Enjeux, méthodes et perspectives

Quels usages des données massives pour les statistiques publiques? Enjeux, méthodes et perspectives Quels usages des données massives pour les statistiques publiques? Enjeux, méthodes et perspectives Stéphanie Combes et Pauline Givord (DMCSI) INSEE-DMSCI 02/04/2015 Plan Qu'est-ce que le Big Data? Les

Plus en détail

Segmentation et data mining pour l industrie.

Segmentation et data mining pour l industrie. Une solution industrielle complète de data mining Segmentation et data mining pour l industrie. Johan Baltié Franck Coppola Tristan Robet Promotion 2002 Specialisation S.C.I.A. Responsable M. Adjaoute

Plus en détail

Sciences de Gestion Spécialité : SYSTÈMES D INFORMATION DE GESTION

Sciences de Gestion Spécialité : SYSTÈMES D INFORMATION DE GESTION Sciences de Gestion Spécialité : SYSTÈMES D INFORMATION DE GESTION Classe de terminale de la série Sciences et Technologie du Management et de la Gestion Préambule Présentation Les technologies de l information

Plus en détail

Business Intelligence avec Excel, Power BI et Office 365

Business Intelligence avec Excel, Power BI et Office 365 Avant-propos A. À qui s adresse ce livre? 9 1. Pourquoi à chaque manager? 9 2. Pourquoi à tout informaticien impliqué dans des projets «BI» 9 B. Obtention des données sources 10 C. Objectif du livre 10

Plus en détail

L informatique des entrepôts de données

L informatique des entrepôts de données L informatique des entrepôts de données Daniel Lemire SEMAINE 13 L exploration des données 13.1. Présentation de la semaine L exploration de données (ou data mining) est souvent associée à l intelligence

Plus en détail

Le Workflow comme moteur des projets de conformité

Le Workflow comme moteur des projets de conformité White Paper Le Workflow comme moteur des projets de conformité Présentation Les entreprises sont aujourd'hui soumises aux nouvelles régulations, lois et standards de gouvernance les obligeant à mettre

Plus en détail

4. Utilisation d un SGBD : le langage SQL. 5. Normalisation

4. Utilisation d un SGBD : le langage SQL. 5. Normalisation Base de données S. Lèbre slebre@unistra.fr Université de Strasbourg, département d informatique. Présentation du module Contenu général Notion de bases de données Fondements / Conception Utilisation :

Plus en détail

Business Intelligence avec SQL Server 2012

Business Intelligence avec SQL Server 2012 Editions ENI Business Intelligence avec SQL Server 2012 Maîtrisez les concepts et réalisez un système décisionnel Collection Solutions Informatiques Table des matières Les éléments à télécharger sont disponibles

Plus en détail

IBM SPSS Modeler Social Network Analysis 15 Guide de l utilisateur

IBM SPSS Modeler Social Network Analysis 15 Guide de l utilisateur IBM SPSS Modeler Social Network Analysis 15 Guide de l utilisateur Remarque : Avant d utiliser ces informations et le produit qu elles concernent, lisez les informations générales sous Avis sur p. 24.

Plus en détail

INTRODUCTION AU DATA MINING

INTRODUCTION AU DATA MINING INTRODUCTION AU DATA MINING 6 séances de 3 heures mai-juin 2006 EPF - 4 ème année - Option Ingénierie d Affaires et de Projets Bertrand LIAUDET TP DE DATA MINING Le TP et le projet consisteront à mettre

Plus en détail

Cours Base de données relationnelles. M. Boughanem, IUP STRI

Cours Base de données relationnelles. M. Boughanem, IUP STRI Cours Base de données relationnelles 1 Plan 1. Notions de base 2. Modèle relationnel 3. SQL 2 Notions de base (1) Définition intuitive : une base de données est un ensemble d informations, (fichiers),

Plus en détail

Introduction à l Informatique Décisionnelle - Business Intelligence (7)

Introduction à l Informatique Décisionnelle - Business Intelligence (7) Introduction à l Informatique Décisionnelle - Business Intelligence (7) Bernard ESPINASSE Professeur à Aix-Marseille Université (AMU) Ecole Polytechnique Universitaire de Marseille Septembre 2013 Emergence

Plus en détail

GENIE STATISTIQUE GESTION DES RISQUES ET INGENIERIE FINANCIERE MARKETING QUANTITATIF ET REVENUE MANAGEMENT

GENIE STATISTIQUE GESTION DES RISQUES ET INGENIERIE FINANCIERE MARKETING QUANTITATIF ET REVENUE MANAGEMENT Remarque : Tous les cours sont en français, sauf contre-indication. Pour des traductions anglaises des titres, des descriptifs, et plus de renseignements, consultez l intégralité du Programme des enseignements

Plus en détail

L'intelligence d'affaires: la statistique dans nos vies de consommateurs

L'intelligence d'affaires: la statistique dans nos vies de consommateurs L'intelligence d'affaires: la statistique dans nos vies de consommateurs Jean-François Plante, HEC Montréal Marc Fredette, HEC Montréal Congrès de l ACFAS, Université Laval, 6 mai 2013 Intelligence d affaires

Plus en détail

Systèmes d information et bases de données (niveau 1)

Systèmes d information et bases de données (niveau 1) Systèmes d information et bases de données (niveau 1) Cours N 1 Violaine Prince Plan du cours 1. Bibliographie 2. Introduction aux bases de données 3. Les modèles 1. Hiérarchique 2. Réseau 3. Relationnel

Plus en détail

Chapitre 1 : Introduction aux bases de données

Chapitre 1 : Introduction aux bases de données Chapitre 1 : Introduction aux bases de données Les Bases de Données occupent aujourd'hui une place de plus en plus importante dans les systèmes informatiques. Les Systèmes de Gestion de Bases de Données

Plus en détail

CATALOGUE DE FORMATIONS BUSINESS INTELLIGENCE. Edition 2012

CATALOGUE DE FORMATIONS BUSINESS INTELLIGENCE. Edition 2012 CATALOGUE DE FORMATIONS BUSINESS INTELLIGENCE Edition 2012 AGENDA Qui sommes nous? Présentation de Keyrus Keyrus : Expert en formations BI Nos propositions de formation 3 modes de formations Liste des

Plus en détail

Créer le schéma relationnel d une base de données ACCESS

Créer le schéma relationnel d une base de données ACCESS Utilisation du SGBD ACCESS Polycopié réalisé par Chihab Hanachi et Jean-Marc Thévenin Créer le schéma relationnel d une base de données ACCESS GENERALITES SUR ACCESS... 1 A PROPOS DE L UTILISATION D ACCESS...

Plus en détail

Introduction à la B.I. Avec SQL Server 2008

Introduction à la B.I. Avec SQL Server 2008 Introduction à la B.I. Avec SQL Server 2008 Version 1.0 VALENTIN Pauline 2 Introduction à la B.I. avec SQL Server 2008 Sommaire 1 Présentation de la B.I. et SQL Server 2008... 3 1.1 Présentation rapide

Plus en détail

IBM Software Big Data. Plateforme IBM Big Data

IBM Software Big Data. Plateforme IBM Big Data IBM Software Big Data 2 Points clés Aide les utilisateurs à explorer de grands volumes de données complexes Permet de rationaliser le processus de développement d'applications impliquant de grands volumes

Plus en détail

Intelligence Artificielle et Systèmes Multi-Agents. Badr Benmammar bbm@badr-benmammar.com

Intelligence Artificielle et Systèmes Multi-Agents. Badr Benmammar bbm@badr-benmammar.com Intelligence Artificielle et Systèmes Multi-Agents Badr Benmammar bbm@badr-benmammar.com Plan La première partie : L intelligence artificielle (IA) Définition de l intelligence artificielle (IA) Domaines

Plus en détail

Les technologies du Big Data

Les technologies du Big Data Les technologies du Big Data PRÉSENTÉ AU 40 E CONGRÈS DE L ASSOCIATION DES ÉCONOMISTES QUÉBÉCOIS PAR TOM LANDRY, CONSEILLER SENIOR LE 20 MAI 2015 WWW.CRIM.CA TECHNOLOGIES: DES DONNÉES JUSQU'À L UTILISATEUR

Plus en détail

L utilisation d un réseau de neurones pour optimiser la gestion d un firewall

L utilisation d un réseau de neurones pour optimiser la gestion d un firewall L utilisation d un réseau de neurones pour optimiser la gestion d un firewall Réza Assadi et Karim Khattar École Polytechnique de Montréal Le 1 mai 2002 Résumé Les réseaux de neurones sont utilisés dans

Plus en détail

Des données à la connaissance client. A la découverte de la plateforme de connaissance client knowlbox

Des données à la connaissance client. A la découverte de la plateforme de connaissance client knowlbox Des données à la connaissance client A la découverte de la plateforme de connaissance client knowlbox Livre blanc mai 2013 A l heure du Big Data, les entreprises s interrogent davantage sur leurs données.

Plus en détail

La segmentation à l aide de EG-SAS. A.Bouhia Analyste principal à la Banque Nationale du Canada. Chargé de cours à l UQAM

La segmentation à l aide de EG-SAS. A.Bouhia Analyste principal à la Banque Nationale du Canada. Chargé de cours à l UQAM La segmentation à l aide de EG-SAS A.Bouhia Analyste principal à la Banque Nationale du Canada. Chargé de cours à l UQAM Définition de la segmentation - Au lieu de considérer une population dans son ensemble,

Plus en détail

Communiqué de Lancement

Communiqué de Lancement Direction du Marketing Produits Sage - Division Mid Market Communiqué de Lancement Rapprochement Bancaire 1000 Produit : Rapprochement Bancaire 1000 Bases de Données : Oracle - MS/SQL Server Microsoft

Plus en détail

Ecole des Hautes Etudes Commerciales HEC Alger. par Amina GACEM. Module Informatique 1ière Année Master Sciences Commerciales

Ecole des Hautes Etudes Commerciales HEC Alger. par Amina GACEM. Module Informatique 1ière Année Master Sciences Commerciales Ecole des Hautes Etudes Commerciales HEC Alger Évolution des SGBDs par Amina GACEM Module Informatique 1ière Année Master Sciences Commerciales Evolution des SGBDs Pour toute remarque, question, commentaire

Plus en détail

Analyse de grandes bases de données en santé

Analyse de grandes bases de données en santé .. Analyse de grandes bases de données en santé Alain Duhamel Michaël Genin Mohamed Lemdani EA 2694 / CERIM Master 2 Recherche Biologie et Santé Journée Thématique Fouille de Données Plan. 1 Problématique.

Plus en détail

Spécifications, Développement et Promotion. Ricco RAKOTOMALALA Université Lumière Lyon 2 Laboratoire ERIC

Spécifications, Développement et Promotion. Ricco RAKOTOMALALA Université Lumière Lyon 2 Laboratoire ERIC Spécifications, Développement et Promotion Ricco RAKOTOMALALA Université Lumière Lyon 2 Laboratoire ERIC Ricco? Enseignant chercheur (CNU.27) En poste à l Université Lyon 2 Faculté de Sciences Eco. Recherche

Plus en détail

GUIDE DU DATA MINER. Scoring - Modélisation. Data Management, Data Mining, Text Mining

GUIDE DU DATA MINER. Scoring - Modélisation. Data Management, Data Mining, Text Mining GUIDE DU DATA MINER Scoring - Modélisation Data Management, Data Mining, Text Mining 1 Guide du Data Miner Scoring - Modélisation Le logiciel décrit dans le manuel est diffusé dans le cadre d un accord

Plus en détail

Les Entrepôts de Données

Les Entrepôts de Données Les Entrepôts de Données Grégory Bonnet Abdel-Illah Mouaddib GREYC Dépt Dépt informatique :: GREYC Dépt Dépt informatique :: Cours Cours SIR SIR Systèmes d information décisionnels Nouvelles générations

Plus en détail

Jade. Projet Intelligence Artificielle «Devine à quoi je pense»

Jade. Projet Intelligence Artificielle «Devine à quoi je pense» Jade Projet Intelligence Artificielle «Devine à quoi je pense» Réalisé par Djénéba Djikiné, Alexandre Bernard et Julien Lafont EPSI CSII2-2011 TABLE DES MATIÈRES 1. Analyse du besoin a. Cahier des charges

Plus en détail

Améliorer les performances du site par l'utilisation de techniques de Web Mining

Améliorer les performances du site par l'utilisation de techniques de Web Mining Améliorer les performances du site par l'utilisation de techniques de Web Mining CLUB SAS 2001 17/18 octobre 2001 Stéfan Galissie LINCOLN stefan.galissie@lincoln.fr contact@web-datamining.net 2001 Sommaire

Plus en détail