Table des matières. Préface, de Gilbert Saporta...V. Avant-propos...VII. 1. Panorama du data mining... 1

Transcription

1 Table des matières Préface, de Gilbert Saporta...V Avant-propos...VII 1. Panorama du data mining Qu est-ce que le data mining? À quoi sert le data mining? Le data mining par secteur d activité Le data mining par type d application Data mining et statistique Data mining et informatique Mise en œuvre du data mining Le déroulement d une étude de data mining Définition des objectifs Inventaire des données existantes Collecte des données Exploration et préparation des données Segmentation de la population Élaboration des modèles prédictifs Synthèse des modèles prédictifs des différents segments Itération des étapes précédentes Validation et choix d un modèle Déclaration des traitements à la CNIL Déploiement des modèles Formation des utilisateurs des modèles Suivi des modèles Enrichissement des modèles Remarques Cycle de vie d un modèle Charges pour un projet pilote L exploration et la préparation des données Les différents types de données L examen de la distribution des variables La détection des valeurs rares ou manquantes La détection des valeurs aberrantes La détection des valeurs extrêmes... 42

2 3.6. Les tests de normalité Homoscédasticité et hétéroscédasticité La détection des variables les plus discriminantes Variables explicatives qualitatives, discrètes ou ordinales Variables explicatives continues Précisions sur les tests non-paramétriques à 1 facteur La transformation des variables Le choix des tranches de valeurs des variables continues La création de nouvelles variables La détection des interactions La sélection automatique des variables La détection de la colinéarité L échantillonnage L utilisation des données commerciales Les données utilisées dans les applications commerciales Données sur les transactions et données RFM Données sur les produits et contrats Anciennetés Données sur les canaux Données relationnelles, attitudinales et psychographiques Données sociodémographiques Quand on manque de données Données techniques Des données particulières Le géomarketing La rentabilité Les données utilisées par secteur d activité Les données utilisées dans la banque Les données utilisées dans l assurance Les données utilisées dans la téléphonie Les données utilisées dans la VPC Aperçu sur les techniques de data mining Un point de terminologie Classification des techniques Comparatif des techniques Utilisations de ces techniques L analyse factorielle L analyse en composantes principales Principe de l ACP Lecture des résultats d une ACP Les variantes de l analyse en composantes principales L analyse factorielle des correspondances L analyse des correspondances multiples

3 Principe de l ACM Mise en œuvre de l ACM avec SAS/STAT Les réseaux de neurones Généralités sur les réseaux de neurones Structure d un réseau de neurones Choix de l échantillon d apprentissage Quelques règles empiriques pour le dimensionnement d un réseau Normalisation des données Variables continues Variables discrètes Variables catégorielles Réseaux de neurones et séries temporelles Les algorithmes d apprentissage Les principaux réseaux de neurones Le perceptron multicouches Le réseau à fonction radiale de base Le réseau de Kohonen Les techniques de classification automatique Définition de la classification Applications de la classification Complexité de la classification Structures de classification Structure des données à classer Structure des classes obtenues Quelques points méthodologiques Le nombre optimum de classes L utilisation de variables continues L utilisation de variables passives L évaluation de la qualité de la classification L interprétation des classes obtenues Les critères de bonne classification Comparaison de l analyse factorielle et de la classification Inerties intraclasse et interclasse Mesures de qualité d une classification Tous types de classification Classifications hiérarchiques ascendantes Les méthodes de partitionnement La méthode des centres mobiles Les k-means et les nuées dynamiques Traitement des données qualitatives Avantage des méthodes de partitionnement Inconvénients des méthodes de partitionnement La classification ascendante hiérarchique Principe de la classification ascendante hiérarchique...146

4 Les principales distances utilisées Les méthodes par estimation de densité de probabilité Avantages de la classification ascendante hiérarchique Inconvénients de la classification ascendante hiérarchique Les méthodes mixtes de classification Principe Illustration avec SAS/STAT La classification neuronale Avantages de la classification neuronale Inconvénients de la classification neuronale La classification relationnelle Principe de l analyse relationnelle Mise en œuvre de la classification relationnelle Avantages de la classification relationnelle Inconvénients de la classification relationnelle La classification de variables numériques La recherche d associations Principes Utilisation de la taxinomie Utilisation de variables supplémentaires Applications Les techniques de classement et de prédiction Introduction Techniques inductives et transductives Vue d ensemble des techniques de classement et de prédiction Les qualités attendues d une technique de classement et prédiction Représentation graphique des différentes techniques de classement Taux d erreur en classement Sur-apprentissage Le classement par arbre de décision Principe de l arbre de décision Définitions première étape de la construction de l arbre Critère de séparation Répartition des individus dans les nœuds deuxième étape de la construction de l arbre Élagage troisième étape de la construction de l arbre Piège à éviter Les arbres CART, C5.0 et CHAID Avantages des arbres de décision Inconvénients des arbres de décision La prédiction par arbre de décision Le classement par analyse discriminante Problématique L analyse discriminante géométrique descriptive (analyse factorielle discriminante)...198

5 L analyse discriminante géométrique prédictive L analyse discriminante probabiliste Mesures de la qualité du modèle Syntaxe de l analyse discriminante dans le logiciel SAS/STAT Application au credit scoring L analyse discriminante sur variables qualitatives (méthode DISQUAL) Avantages de l analyse discriminante Inconvénients de l analyse discriminante La prédiction par régression linéaire La régression linéaire simple et multiple Problèmes de multicolinéarité en régression linéaire multiple La régression PLS La régression robuste Le modèle linéaire général Le classement par régression logistique Principes de la régression logistique binaire Les régressions logistiques logit, probit et log-log Les odds-ratios Illustration du découpage en classes Estimation des paramètres Déviance et mesure de qualité d un modèle Tests statistiques de la régression logistique Effet de la multicolinéarité Influence de l échantillonnage sur la régression logit Syntaxe de la régression logistique dans le logiciel SAS/STAT Avantages de la régression logistique Avantages du modèle logit sur le modèle probit Inconvénients de la régression logistique Développements de la régression logistique La régression logistique sur individus de poids différents La régression logistique à mesures répétées La régression logistique ordinale La régression logistique multinomiale La régression logistique PLS Le modèle linéaire généralisé Le modèle additif généralisé Le classement et la prédiction par réseaux de neurones Avantages des réseaux de neurones Inconvénients des réseaux de neurones Le classement par «support vector machines» (SVM) La prédiction par algorithmes génétiques Génération aléatoire des règles initiales Sélection des meilleures règles Génération de nouvelles règles Fin de l algorithme Applications des algorithmes génétiques...257

6 Contraintes des algorithmes génétiques Le classement par systèmes experts Pour améliorer les résultats (1) : le rééchantillonnage Le bagging Le boosting Le arcing Conclusion Pour améliorer les résultats (2) : les combinaisons de modèles Mise en œuvre des techniques de classement et prédiction L agrégation des données au niveau de l individu Le choix des techniques de modélisation La phase d apprentissage d un modèle L inférence des refusés La phase de test d un modèle Courbe ROC, courbe de lift et indice de Gini La phase de validation d un modèle La phase d application d un modèle Une application du data mining : le scoring Les différents types de scores L utilisation des scores d appétence et de risque La méthodologie Détermination des objectifs Inventaire et préparation des données Constitution de la base d analyse Élaboration d un modèle prédictif Utilisation du score Déploiement du score Suivi des outils mis à disposition Mise en œuvre d un score stratégique Mise en œuvre d un score opérationnel Les différentes solutions de scoring pour une entreprise Score en interne ou en credit bureau Score générique ou personnalisé Résumé des différentes solutions possibles Les facteurs de succès d un projet de data mining Le sujet Les hommes Les données L informatique La culture d entreprise Huit idées fausses sur le data mining Aucun a priori n est nécessaire On n a plus besoin de spécialistes du métier On n a plus besoin de statisticiens («Il suffit d appuyer sur un bouton»)...296

7 Le data mining permet de faire des découvertes incroyables Le data mining est révolutionnaire Il faut utiliser toutes les données disponibles Il faut toujours échantillonner Il ne faut jamais échantillonner Le retour sur investissement Les logiciels de statistique et data mining Typologie des logiciels de data mining et statistique Les caractéristiques importantes des logiciels Points de comparaison Méthodes implémentées Fonctions de préparation des données Autres fonctions Caractéristiques techniques Les principaux logiciels Nous avons comparé pour vous : SAS et SPSS Optimisation des traitements sur micro-ordinateur Le text mining Définition du text mining Les sources de textes utilisées Utilisation du text mining Recherche d information Analyse linguistique Application de la statistique et du data mining Techniques applicables Extraction d information Principe de l extraction d information Exemple d application : transcription d entretiens commerciaux Data mining multitype Le web mining Les objectifs du web mining Analyses globales À quoi servent-elles? La structure du fichier «log» L utilisation du fichier «log» Analyses individuelles Analyses nominatives Annexe A : Rappels de statistique Aperçu historique Quelques dates De la statistique au data mining...338

8 16.2. Rappels de statistique Caractéristiques statistiques Boîte à moustaches Les tests d hypothèses Tests asymptotiques, exacts, paramétriques et non-paramétriques Intervalle de confiance d une moyenne : le test de Student Intervalle de confiance d une fréquence (ou proportion) Liaison entre deux variables continues : coefficient de corrélation linéaire Liaison entre deux variables numériques ou ordinales : coefficient de corrélation des rangs de Spearman et tau de Kendall Liaison entre n ensembles de plusieurs variables continues ou binaires : l analyse de corrélation canonique Liaison entre deux variables nominales : le test du χ² Exemple d utilisation du test du χ² Liaison entre deux variables nominales : le coefficient de Cramer Liaison entre une variable nominale et une variable numérique : le test de la variance (ANOVA à 1 facteur) Tables statistiques Table de la loi normale centrée réduite Table de la loi de Student Table du χ² Annexe B : Data mining, informatique et libertés Les textes Les traitements soumis à autorisation préalable Les traitements soumis à déclaration Les pouvoirs de la CNIL Les droits des personnes physiques Les spécificités des traitements de data mining Spécificités du scoring de risque Spécificités de la segmentation de clientèle Ce qu il faut déclarer à la CNIL Conclusion Bibliographie Sur la statistique et l analyse des données Sur le data mining Quelques articles Sur le text mining Sur le web mining Sites Internet Index