Plan. Data mining (partie 1) Intelligence économique. Intelligence économique. Master MIAGE - ENITE

Transcription

1 Plan Data mining (partie 1) Introduction Master MIAGE - ENITE Spécialité ACSI laurent.vigneron@univ-lorraine.fr Année universitaire Les tâches du data mining 2. Le processus de data mining 3. Les bases de l'analyse de données 4. Les modèles du data mining 5. Critères pour le choix d un logiciel Conclusion et perspectives 2 Intelligence économique Définition : (théorique) Ensemble de méthodes et techniques de gestion de l information et d utilisation des flux d information pour l anticipation des évolutions, l action d apprentissage organisationnel, l activité stratégique d adaptation de l entreprise à l environnement et aux besoins du client. (adaptation au sens offensif!) Intelligence économique Définition : (fonctionnelle) Pour une entreprise particulière, c est sa capacité à combiner efficacement des savoir-faire et des compétences internes et externes, pour résoudre un problème productif inédit. Anticiper le problème productif Identifier de manière permanente les compétences internes et externes 3 4

2 Intelligence économique Environnement de l'entreprise Objectifs : Accroissement des performances des processus Meilleure satisfaction du client Modification des conventions Moyens : Forte circulation de l information dans l entreprise Développement de la capacité interprétative, de l apprentissage, de la capitalisation des connaissances et du développement des compétences Accroissement de la concurrence Individualisation des consommateurs Brièveté du cycle de vie des produits Anticiper le marché et pas seulement réagir Cibler au mieux la clientèle pour répondre à ses attentes Connaître le métier, les schémas de comportement des clients et des fournisseurs 5 6 Importance de la connaissance La grande distribution a besoin d'apprendre à connaître ses clients Créer des relations privilégiées sur le modèle du commerce de quartier Idéal du «un à un» Apprendre à évaluer un client dans la durée Déterminer lequel fidéliser par des attentions particulières et lequel laisser partir à la concurrence Déplacement des centres d'intérêt des segments de marché vers les individus 7 Importance de la connaissance Petit commerce : Observe un client, se souvient de ses préférences Apprend des contacts passés comment améliorer le service futur Objectif : faire la même chose avec une entreprise de grande taille Client difficilement en contact avec un employé Client voyant chaque fois un employé différent Exploitation des nombreuses traces enregistrées lors de l'observation du client (enregistrements transactionnels) 8

3 Potentiel Intérêt du data mining Masse importante de données à disposition Explorer ses réservoirs de connaissances Extraire des connaissances Données provenant de nombreuses sources À rassembler et à organiser selon un plan cohérent et exploitable À analyser, comprendre et transformer en informations exploitables Une solution : le data mining «Trop de données tue l information» seuls 15% des données stockées sont analysées + 150% d infos disponibles chaque année Objectif : favoriser la prise de décision en exploitant les giga/tera-octets d information disponibles modéliser pour prédire faciliter la décision (mais ne prend pas de décision) améliorer la réactivité d une entreprise / marché Défi : améliorer la productivité / volume exponentiel de données Extrapoler le passé pour prédire l avenir 9 10 Découverte de connaissances dans les bases de données Intérêt scientifique Processus d aide à la décision où les utilisateurs cherchent des modèles d interprétation dans les données Extraction d informations auparavant inconnues et potentiellement utiles à partir des données disponibles Intérêt économique Amélioration de la qualité des produits et des services Passage d un marketing de masse à un marketing individualisé Fidélisation des clients Différenciation stratégique de l entreprise favorisée Fouille de données / Data mining Ensemble des outils permettant d accéder et d analyser les données de l entreprise Moyens destinés à détecter les associations entre des données contenues dans d importantes bases de données Outil qui facilite la mise en évidence de modèles ou de règles à partir de l observation des données Démarche ayant pour objet de découvrir des relations et des faits à la fois nouveaux et significatifs sur de grands ensembles de données Un élément de la transformation de données en connaissances 11 12

4 Fouille de données / Data mining Donnée versus Connaissance Restriction aux outils permettant d engendrer des infos riches, de découvrir des modèles implicites à partir de données historiques Idées et techniques provenant des statistiques, de la RO, de l'ia, de l'administration de bases de données, du marketing Pertinence et intérêt conditionnés par les enjeux de l entreprise 13 Données Connaissances Donnée : description d un exemple ou d un événement spécifique dont l exactitude peut être vérifiée par rapport au monde réel Ex : les achats d un client sur son ticket de caisse Connaissance : ensemble de relations entre les données Règles, tendances, associations, exceptions, Décrit une catégorie abstraite pouvant couvrir plusieurs exemples Ex : les bons et les mauvais clients Connaissances synthèse des informations (DM) 14 Data mining et Décisionnel : une solution L'archivage de données crée la mémoire d'entreprise Le data mining crée l'intelligence de l'entreprise Analyse prédictive de comportement Généralisation prédictive : communauté Automatisation de certaines phases de l analyse Rendre les utilisateurs moins dépendants des spécialistes de l analyse de données Intégrer les résultats du DM dans l informatique ou les procédures de l entreprise 15 Champs de l'opérationnel Données externes Données internes «Rappel» : SI décisionnel Traitement Champs du décisionnel Informations de qualité, pertinentes mises en forme, Utilisateurs 16

5 État des lieux Les algorithmes existent (depuis des décennies) Les données sont produites Nécessité de grands volumes pour l'apprentissage Les données sont archivées La puissance de calcul nécessaire est disponible et financièrement abordable Le contexte est ultra concurrentiel Motivation commerciale Des produits commerciaux pour le DM existent 18 Contexte ultra concurrentiel Renforcement du rôle des informations dans la concurrence Économie de plus en plus tournée vers les services Vente de voitures ou de solutions de transports? Compagnies aériennes en concurrence par les services offerts Apparition de la personnalisation massive Levi-Strauss et ses jeans personnalisés Peugeot et sa voiture à la demande Individual.com et sa revue de presse qui s'améliore avec le temps Importance croissante de l'information comme produit Courtiers en information (ex : IMS, Information Management Service) 19 Domaines d'application Grande distribution, Vente par correspondance, Commerce électronique Banques, Assurances Transports, Voyagistes Télécommunications, Eau, Énergie Aéronautique, Automobile, Industrie Laboratoires pharmaceutiques Retours sur investissement 20

6 Exemples La police américaine Poseur de bombe d'oklahoma City DM pour filtrer les milliers de rapports soumis par les agents du FBI Le département du Trésor américain pour traquer les formes suspectes dans les transferts de fonds internationaux Les supermarchés Collecte d'infos par le biais de la carte de fidélité Utilisation de la carte pour payer ou obtenir des "points" Détermination de l'agencement des rayons, Vente aux marques pour les bons de réduction à adresser à un client Exemples La banque (les premiers) Les cartes de crédit Aux USA, prédire les changements de ville (et de banque?) La vente croisée Assurance USAA Compagnie d'investissement Fidelity Marketing direct guidé par l'analyse de comportement Portrait robot du client fidèle Routage des réclamations en période de garantie Fabricant de moteurs diesel Fidélisation des bons clients Compagnie du gaz de Californie du sud à la fin du monopole Élimination des mauvais clients Introduction Plan 1. Les tâches du data mining 2. Le processus de data mining 3. Les bases de l'analyse de données 4. Les modèles du data mining Les tâches du DM a) Classification (affectation à une classe prédéfinie) b) Estimation c) Prédiction d) Association (groupement par similitudes) e) Clusterisation (classes non prédéfinies) f) Description 5. Critères pour le choix d un logiciel Conclusion et perspectives 23 24

7 a) Classification b) Estimation «La classification consiste à examiner des caractéristiques d un élément nouvellement présenté afin de l affecter à une classe d un ensemble prédéfini.» [BERRY97] Objectif : affecter des individus à des classes prédéfinies classes discrètes : homme / femme, oui / non,... Exemple de technique appropriée : les arbres de décision 25 Permet d obtenir une variable continue en combinant les données en entrée de procéder aux classifications grâce à un «barème» exemple : estimer le revenu d un ménage selon divers critères pour ensuite définir des tranches de revenus pour classifier les individus Intérêt pouvoir ordonner les résultats pour ne retenir (si on le désire) que les n meilleures valeurs facile de mesurer la position d un élément estimé dans sa classe particulièrement important pour les cas limitrophes Exemple de technique appropriée : les réseaux de neurones 26 c) Prédiction Ressemble à la classification et à l estimation mais dans une échelle temporelle différente S appuie sur le passé et le présent mais son résultat se situe dans un futur généralement précisé Meilleure méthode pour mesurer la qualité de la prédiction : attendre! Exemples de techniques appropriées : l analyse du panier de la ménagère les arbres de décision les réseaux de neurones d) Association Consiste à grouper des variables qui «vont ensemble». Règles d association «si antécédent alors conséquence» avec mesures de support et de seuil de confiance. Exemple de technique appropriée : l analyse du panier de la ménagère 27 28

8 e) Clusterisation / catégorisation f) Description Segmenter une population hétérogène en souspopulations homogènes Contrairement à la classification, les souspopulations ne sont pas préétablies Décrire des phénomènes ou des tendances au sein des données d une base complexe Engendre souvent une exploitation supplémentaire en vue de fournir des explications Exemple de technique appropriée : les K means Exemple de technique appropriée : l analyse du panier de la ménagère Exemple La classification Déterminer le grade en fonction du sexe, de l'âge, l'ancienneté, le salaire et les affectations Déterminer le sexe en fonction de l'âge, l'ancienneté, le salaire et les affectations L estimation se fait sur des variables continues Estimer l'âge en fonction du grade, sexe, ancienneté et affectations Le salaire en fonction de âge, sexe, ancienneté et affectations La prédiction Quelle sera la prochaine affectation d'un militaire? 31 32

9 Deux démarches L association Déterminer des règles du type : le militaire qui est sergent entre 25 et 30 ans sera lieutenant colonel entre 45 et 50 ans (fiabilité de n %) La clusterisation Segmenter les militaires en fonction du suivi de leur carrière et de leurs affectations La description Indicateurs statistiques traditionnels : âge moyen, % femmes, salaire moyen 33 Test d hypothèses Engendrer une idée Déterminer les données permettant de la tester Localiser les données Préparer les données pour l'analyse Construire les modèles informatiques sur la base de données Évaluer les modèles informatiques La découverte de connaissances Dirigée (expliquer une relation) ou non (reconnaître une relation) 34 Fausses idées Fausses idées Il existe des outils de DM que nous pouvons faire tourner sur nos bases de données pour trouver des réponses à nos problèmes. Pas d outils automatiques de DM pouvant résoudre des problèmes automatiquement. DM : processus. Besoin d une méthode pour intégrer le DM dans le plan d action commercial ou le plan d études global de l entreprise. Le processus de DM est autonome, nécessitant peu ou pas de supervision humaine. Besoin significatif d interaction humaine à chaque étape. Même après déploiement, l introduction de nouvelles données nécessite souvent la mise-à-jour du modèle. Pilotage continu de la qualité et d autres mesures d évaluation mené par un analyste humain

10 Fausses idées Fausses idées Le DM s amortit assez rapidement. Taux de retour variant selon les coûts de lancement, les coûts du personnel d analyse, les coûts de préparation de l entrepôt de données, etc. Les logiciels de DM sont intuitifs et faciles à utiliser. Facilité d usage très variable. L analyste des données doit maîtriser le sujet, le modèle global métier. Le DM va identifier les causes de vos problèmes métiers. Processus de découverte de connaissances pour aider à découvrir des phénomènes ou des comportements inconnus. C est à l homme d identifier les causes. Le DM va nettoyer une base de données erronées automatiquement. Pas automatique : souvent besoin de mise-à-jour lors d une phase préliminaire, car utilisation de données anciennes Plan Gestion des connaissances Introduction 1. Les tâches du data mining 2. Le processus de data mining 3. Les bases de l'analyse de données 4. Les modèles du data mining Compréhension du domaine Sélection des données Qualification des données Statistiques et data mining? Identification de relations Enrichissement des variables Utilisation de la connaissance 5. Critères pour le choix d un logiciel Conclusion et perspectives Données sources Données cibles Données validées Données transformées Information découverte Information exploitée 39 40

11 Le processus de data mining (1) Définition du problème 1. Définition du problème 6. Déploiement 2. Définition des données 5. Évaluation Données Données Données 3. Préparation des données 4. Modélisation Définir les objectifs et les critères d évaluation métier et du projet de data mining Déterminer les objectifs métier Background : grand éditeur de journaux, service marketing très intéressé par le projet, Objectifs : réduire les coûts avec un mailing promotionnel, Critères de succès : réduction des coûts d au moins 30%, Validation de la situation Inventaire des ressources : données du système central, outils OLAP, 3 experts en DM, support technique, Besoins, hypothèses et contraintes : terminologie, risques et contingences, coûts et bénéfices, (1) Définition du problème Déterminer les buts du data mining Objectifs : classification des non-clients en clients potentiels ou non, et pour quel produit, Critères de succès : atteindre une réussite de 60% sur un échantillon de test, Planifier le projet Plan du projet Validation initiale des outils et techniques (2) Définition des données Quelles données extraire? Identifier les variables Rendre le processus de découverte performant et efficace Réduction des dimensions Trop de variables nuit à la capacité de généralisation Ratio : Nombres d exemples / Nombre de variables - Nbre d exemples + zone optimale multiplication des apprentissages - Nbre de variables + temps de calcul long trop peu d exemples 43 44

12 (2) Définition des données Récupération des données initiales Rapport sur ces données : liste des tables utilisées, restrictions sur les données sélectionnées (clients actifs depuis moins de deux ans), Description des données Rapport : nombre de clients, nombre de produits, nombre de champs (et type de ceux-ci), (2) Définition des données Exploration des données Rapport : un graphique de la répartition des clients par région montre que des régions sont absentes (erreur de saisie?), un produit est acheté par 67% des clients, Vérification de la qualité des données Rapport : le champ code postal contient des valeurs impossibles (correction ou suppression?), certains enregistrements semblent dupliqués, (3) Préparation des données Phase de sélection et de transformation pour la modélisation Sélection des données Explications pour l inclusion/exclusion : 7% des enregistrements contenaient des valeurs inconnues pour des attributs jugés importants et ont été écartés, Nettoyage des données Rapport : identification d enregistrements avec des noms de clients approximatifs, Construction de données Attributs dérivés : nouvel attribut avec le nombre de produits souscrits, Enregistrements engendrés : aucun nouvel enregistrement, (3) Préparation des données Intégration de données Données ajoutées : indicateurs sociaux ajoutés selon l adresse, rassemblement de souscriptions d un même client, Format des données Reformatage : discrétisation de valeurs, Résultat : Un ensemble de données Une description de cet ensemble 47 48

13 (4) Modélisation (4) Modélisation Identification d objets mathématiques ou logiques (modèles) reflétant une régularité sous-jacente des données. Sélection de la technique de modélisation Technique de modélisation : arbres de décision, réseaux bayésiens, Hypothèses de modélisation Définition de la conception du test Description de l ensemble test et de sa construction Construction effective des deux bases de travail Base d'apprentissage (80% de la population) pour découvrir le modèle Base de test (20%) pour évaluer le modèle découvert (4) Modélisation Construction du modèle Choix des paramètres Modèles : arbre de décision 1, arbre de décision 2, Description du modèle : arbre relativement petit considérant les attributs Validation du modèle Validations : le meilleur modèle est bon à 72% sur l ensemble test, Révision des paramètres : le niveau d élagage a été réduit à 51 (5) Évaluation Évaluation des modèles selon les critères pré-établis, et révision totale du procédé de data mining Évaluation des résultats Validation des résultats du data mining : les modèles peuvent conduire à une réduction des coûts Modèles approuvés : le modèle 3 a besoin de moins d information et est le plus approprié, Révision du procédé Toutes les étapes précédents ont été révisées, un attribut initialement exclus a été réintégré, Détermination des étapes suivantes Liste des actions possibles : utiliser le modèle sélectionné sur un échantillon de clients potentiels, Décision 52

14 (5) Évaluation (6) Déploiement Évaluation quantitative - Matrice de confusion Achats prédits Oui Non Total Achats constatés Oui Non Total Qualité globale du modèle : / 1000 (81%) Forte capacité des non-acheteurs : 540 / 570 (94%) Acheteurs : 270/430 (63%) 160 prospects à contacter Mise en action des modèles produits et surveillance des résultats. Plan de déploiement Caractériser les clients potentiels, appliquer le modèle, construire le mailing, Plan de surveillance et de maintenance Résultat de la surveillance, comparaison avec Production et présentation du rapport final Révision du projet Documentation sur l expérience Processus d extraction - Conclusion Rôle primordial des utilisateurs et des experts Sémantique donnée aux données (méta-données) Orientation du processus d extraction Valider ou infirmer les conclusions Logiciels de DM orientés recherche de modèle Une partie du processus Tendance : intégration de fonctions d aide à tous les stades du processus Après le processus : la diffusion et l intégration de la connaissance Introduction Plan 1. Les tâches du data mining 2. Le processus de data mining 3. Les bases de l'analyse de données 4. Les modèles du data mining 5. Critères pour le choix d un logiciel Conclusion et perspectives 55 56

15 Données : exemples et types Notion de similarité Informations fournies sous forme d'une liste d'exemples Exemple = valeur d'une liste d'attributs Remarque : un attribut cible Types d'attributs Variable disjonctive (ex : oui/non, vrai/faux) Variable catégorique non ordonnée (ex : couleur) Variable catégorique ordonnée (ex : intervalles d'âge) Variable continue (ex : salaire) Comment définir que deux objets sont similaires? Similarité = «ressemblance» des valeurs des attributs Définitions très différentes selon le type des variables et selon divers autres critères Similarité : var. disjonctives Déf : maximum d'attributs identiques En statistiques : coïncidence (mesure quantitative de la similarité) Types de coïncidences : positive, négative (attention : signification différente) Similarité : var. disjonctives Voiture Diligence Calèche A des roues Oui Oui Oui A un plancher Oui Oui Oui A des portes Oui Oui Non A un moteur Oui Non Non A un toit Oui Oui Non Coïncidences positives? Coïncidences négatives? Non coïncidences? 59 60

16 Similarité : var. disjonctives Similarité : var. disjonctives Indice de similarité : valeur entre 0 et 1 Exemples d'indices Indice de Russel : coïncidence positive / nb comparaisons Indice de Sokal : coïncidences positive+négative / nb comparaisons Indice de Jaccard : coïncidence positive / (nb comparaisons co. négative) 61 Exercice : Barre céréales Crème dessert Gâteau de riz Chocolat Oui Non Oui Beurre Non Non Oui Liquide Non Oui Non Parfum mandarine Non Non Oui Emballage métal Non Oui Oui Mini-dose Oui Oui Non Sucre Oui Oui Oui Riz Oui Non Oui Édulcorant Non Non Oui Colorant Non Non Oui Trouver les deux produits les plus similaires. 62 Similarité : var. quelconques Indice combinant différentes mesures de similarité Variables disjonctives : 1 si coïncidence positive Variables qualitatives : 1 si même caractéristique (ex : couleur) Variables quantitatives : mesure l'écart par rapport à la distribution de la variable 63 Similarité : var. quelconques Exemple : un couple souhaite sélectionner une station de sports d'hiver pour ses prochaines vacances. Station cible Station A Station B Station C Prix forfait Altitude m m m m Garderie Oui Non Oui Non Piste dominante Verte Bleue Rouge Verte a) Quelle station se rapproche le plus des critères de choix de la famille? b) Comment utiliser une pondération? c) Comment tenir compte de la sémantique? 64

17 Notion de distance Distance et classification hiérarchique Hétérogénéité des types de variables Transformations préalables pour placer les individus dans un espace multidimensionnel Distance : mesure l'écart dans cet espace distance(a,b) = 1 similarité(a,b) 65 Distance commune : distance euclidienne Exemple : notes sur des produits Esthétique Mémorisation Produit A 1 1 Produit B 1 2 Produit C 4 3 Produit D 4 5 Produit E 2 4 Représentation graphique Calcul de distance par triangulation (Pythagore) Classification par regroupements Arbre de classification (dendogramme) 66 Variance et techniques de typologie Notion d'association Variance : mesure le degré d'homogénéité d'une population (variation d'une variable autour de sa moyenne) Exemple : Maths Français Étudiant Étudiant Étudiant Étudiant Étudiant Étudiant Étudiant Moyenne Calcul de la variance, de l'écart-type et du % de variation de la notation, par matière Classification, calcul variance intraclasses 67 Indicateurs pour regrouper des variables Variables quantitatives Coefficient de corrélation Variables qualitatives Indicateur du Khi² 68

18 Corrélation Corrélation Détermine si deux variables évoluent dans le même sens (valeur entre -1 et 1) Corrélation positive : évoluent dans le même sens Corrélation négative : évoluent dans des sens opposés Corrélation nulle : indépendantes Calcul pour l'exemple : Écarts par rapport à la moyenne, par matière Produit des écarts Somme des produits =covariation des variables Écarts au carré =variation des variables Rapport entre covariation et variation totale Maths Français Étudiant Étudiant Étudiant Étudiant Étudiant Étudiant Étudiant Moyenne Régression Souvent en complément de la corrélation Définit comment une variable dépendante est affectée par les valeurs de variables indépendantes Construction d'une droite/courbe Exemple : (notes de Maths et Français) x F = a + b x M b : covariance moyenne / variance moyenne(m) Le test du Khi² Établit l'existence d'une relation entre deux variables qualitatives Comparaison de la fréquence de distribution d'une variable par rapport à une distribution théorique Calcul de la somme des écarts entre distributions observée et théorique, et la compare avec une valeur prédéterminée a = x F b x M Qualité du modèle : variance résiduelle / variance(f) 71 72

19 Le test du Khi² Exercice : vérifier si le niveau des notes est lié au type de bac de l'étudiant Valeurs effectives : Type de bac Note Lettres Sciences Technique Total A B C Total Le test du Khi² Exercice : vérifier si le niveau des notes est lié au type de bac de l'étudiant Valeurs théoriques : Type de bac Note Lettres Sciences Technique Total A B C Total