Introduction Cours Data Warhousing et Data Mining. Introduction. Dr A. DJEFFAL.

Transcription

1 1ère année IA / 26

2 Quoi? 2 / 26

3 Quoi? Rechercher des informations 2 / 26

4 Quoi? Rechercher des informations Laquelle? 2 / 26

5 Quoi? Rechercher des informations Laquelle? Les informations précieuses et utiles (corrélation, pattern, tendances,...) 2 / 26

6 Quoi? Rechercher des informations Laquelle? Les informations précieuses et utiles (corrélation, pattern, tendances,...) Où? 2 / 26

7 Quoi? Rechercher des informations Laquelle? Les informations précieuses et utiles (corrélation, pattern, tendances,...) Où? Dans les grandes quantités de stockés par les SI 2 / 26

8 Quoi? Rechercher des informations Laquelle? Les informations précieuses et utiles (corrélation, pattern, tendances,...) Où? Dans les grandes quantités de stockés par les SI Comment? 2 / 26

9 Quoi? Rechercher des informations Laquelle? Les informations précieuses et utiles (corrélation, pattern, tendances,...) Où? Dans les grandes quantités de stockés par les SI Comment? En utilisant les statistiques, IA, Reconnaissance des formes,...etc. 2 / 26

10 Quoi? Rechercher des informations Laquelle? Les informations précieuses et utiles (corrélation, pattern, tendances,...) Où? Dans les grandes quantités de stockés par les SI Comment? En utilisant les statistiques, IA, Reconnaissance des formes,...etc. 2 / 26

11 Extraction des connaissance à partir des ECD Knowledge Discovery from Data KDD 3 / 26

12 Ingénierie et recherche scientifique classique Analyser les problèmes & comprendre leurs principes Développer les modèles mathématiques adéquats Vérifier la correction du système et estimer les paramètres par les expérimentales 4 / 26

13 Ingénierie et recherche scientifique classique Analyser les problèmes & comprendre leurs principes Développer les modèles mathématiques adéquats Vérifier la correction du système et estimer les paramètres par les expérimentales Systèmes trop complexes Analyse scientifique et compréhension des systèmes Arrivée à sa fin 4 / 26

14 Ingénierie et recherche scientifique classique Analyser les problèmes & comprendre leurs principes Développer les modèles mathématiques adéquats Vérifier la correction du système et estimer les paramètres par les expérimentales Systèmes trop complexes Analyse scientifique et compréhension des systèmes Arrivée à sa fin Nouvelle aire 4 / 26

15 Ingénierie et recherche scientifique moderne Surveiller suffisamment un système 5 / 26

16 Ingénierie et recherche scientifique moderne Surveiller suffisamment un système Stocker un historique de son comportements (entrées et sorties) 5 / 26

17 Ingénierie et recherche scientifique moderne Surveiller suffisamment un système Stocker un historique de son comportements (entrées et sorties) Exploiter ces pour extraire des modèles qui décrivent le système 5 / 26

18 Ingénierie et recherche scientifique moderne Surveiller suffisamment un système Stocker un historique de son comportements (entrées et sorties) Exploiter ces pour extraire des modèles qui décrivent le système 5 / 26

19 Outils de 6 / 26

20 Domaines d utilisation du (1) Attribution de crédits (Credit Scoring) 7 / 26

21 Domaines d utilisation du (1) Attribution de crédits (Credit Scoring) Optimisation du nombre de places dans les avions, hôtels,... ) surréservation 7 / 26

22 Domaines d utilisation du (1) Attribution de crédits (Credit Scoring) Optimisation du nombre de places dans les avions, hôtels,... ) surréservation 0rganisation des rayonnages dans les supermarchés : les clients qui achètent le produit X en fin de semaine, pendant l été, achètent généralement également le produit Y ; 7 / 26

23 Domaines d utilisation du (1) Attribution de crédits (Credit Scoring) Optimisation du nombre de places dans les avions, hôtels,... ) surréservation 0rganisation des rayonnages dans les supermarchés : les clients qui achètent le produit X en fin de semaine, pendant l été, achètent généralement également le produit Y ; Organisation de campagne de publicité, promotions, ciblage des offres, acquisition des clients, rétention 7 / 26

24 Domaines d utilisation du (1) Attribution de crédits (Credit Scoring) Optimisation du nombre de places dans les avions, hôtels,... ) surréservation 0rganisation des rayonnages dans les supermarchés : les clients qui achètent le produit X en fin de semaine, pendant l été, achètent généralement également le produit Y ; Organisation de campagne de publicité, promotions, ciblage des offres, acquisition des clients, rétention Diagnostic médical : les patients ayant tels et tels symptômes et demeurant dans des agglomérations de plus de 104 habitants développent couramment telle pathologie ; 7 / 26

25 Domaines d utilisation du (1) Attribution de crédits (Credit Scoring) Optimisation du nombre de places dans les avions, hôtels,... ) surréservation 0rganisation des rayonnages dans les supermarchés : les clients qui achètent le produit X en fin de semaine, pendant l été, achètent généralement également le produit Y ; Organisation de campagne de publicité, promotions, ciblage des offres, acquisition des clients, rétention Diagnostic médical : les patients ayant tels et tels symptômes et demeurant dans des agglomérations de plus de 104 habitants développent couramment telle pathologie ; 7 / 26

26 Domaines d utilisation du (2) Analyse du génome 8 / 26

27 Domaines d utilisation du (2) Analyse du génome Assurance 8 / 26

28 Domaines d utilisation du (2) Analyse du génome Assurance Classification d objets (industrie, sécurité, astronomie,...) 8 / 26

29 Domaines d utilisation du (2) Analyse du génome Assurance Classification d objets (industrie, sécurité, astronomie,...) Commerce électronique 8 / 26

30 Domaines d utilisation du (2) Analyse du génome Assurance Classification d objets (industrie, sécurité, astronomie,...) Commerce électronique Analyser les pratiques et stratégies commerciales et leurs impacts sur les ventes 8 / 26

31 Domaines d utilisation du (2) Analyse du génome Assurance Classification d objets (industrie, sécurité, astronomie,...) Commerce électronique Analyser les pratiques et stratégies commerciales et leurs impacts sur les ventes Moteur de recherche sur internet : Web mining 8 / 26

32 Domaines d utilisation du (2) Analyse du génome Assurance Classification d objets (industrie, sécurité, astronomie,...) Commerce électronique Analyser les pratiques et stratégies commerciales et leurs impacts sur les ventes Moteur de recherche sur internet : Web mining Fouille de textes 8 / 26

33 Domaines d utilisation du (2) Analyse du génome Assurance Classification d objets (industrie, sécurité, astronomie,...) Commerce électronique Analyser les pratiques et stratégies commerciales et leurs impacts sur les ventes Moteur de recherche sur internet : Web mining Fouille de textes Fouille de séquences / 26

34 Processus KDD 9 / 26

35 Processus 10 / 26

36 1. Définition et compréhension du problème Compréhension indispensable La plupart des problèmes sont dus à la mal compréhension du problème 11 / 26

37 1. Définition et compréhension du problème Compréhension indispensable La plupart des problèmes sont dus à la mal compréhension du problème Généralement, comprendre le domaine d application (banques, médecine, biologie, marketing,...etc) La compréhension est cruciale pour l explication des résultats et la justification des coûts 11 / 26

38 1. Définition et compréhension du problème Compréhension indispensable La plupart des problèmes sont dus à la mal compréhension du problème Généralement, comprendre le domaine d application (banques, médecine, biologie, marketing,...etc) La compréhension est cruciale pour l explication des résultats et la justification des coûts Pouvoir évaluer les résultats obtenus et convaincre l utilisateur de leur rentabilité 11 / 26

39 2. Collecte des Sélection des à utiliser selon le problème défini Attention!! plusieurs formats et structures (textes, BDD, pages web, images, vidéo,...etc) 12 / 26

40 2. Collecte des Sélection des à utiliser selon le problème défini Attention!! plusieurs formats et structures (textes, BDD, pages web, images, vidéo,...etc) Parfois : prendre une copie du système en cours de fonctionnement 12 / 26

41 2. Collecte des Sélection des à utiliser selon le problème défini Attention!! plusieurs formats et structures (textes, BDD, pages web, images, vidéo,...etc) Parfois : prendre une copie du système en cours de fonctionnement Subdiviser les en deux parties : Données d analyse et de test 12 / 26

42 3. Prétraitement Souvent, bruitées (erreurs de frappe, erreurs système,...) 13 / 26

43 3. Prétraitement Souvent, bruitées (erreurs de frappe, erreurs système,...) Données incohérentes (qui sortent des intervalles permis) 13 / 26

44 3. Prétraitement Souvent, bruitées (erreurs de frappe, erreurs système,...) Données incohérentes (qui sortent des intervalles permis) Unification des poids [0,1] ou [0,100], Lissage 13 / 26

45 3. Prétraitement Souvent, bruitées (erreurs de frappe, erreurs système,...) Données incohérentes (qui sortent des intervalles permis) Unification des poids [0,1] ou [0,100], Lissage Réduction des, verticale et horizontale (ACP) 13 / 26

46 3. Prétraitement Souvent, bruitées (erreurs de frappe, erreurs système,...) Données incohérentes (qui sortent des intervalles permis) Unification des poids [0,1] ou [0,100], Lissage Réduction des, verticale et horizontale (ACP) tendance centrale des (moyenne, médiane, mode), le maximum et le minimum, 13 / 26

47 3. Prétraitement Souvent, bruitées (erreurs de frappe, erreurs système,...) Données incohérentes (qui sortent des intervalles permis) Unification des poids [0,1] ou [0,100], Lissage Réduction des, verticale et horizontale (ACP) tendance centrale des (moyenne, médiane, mode), le maximum et le minimum, Rang, les quartiles, la variance,... etc. 13 / 26

48 3. Prétraitement Souvent, bruitées (erreurs de frappe, erreurs système,...) Données incohérentes (qui sortent des intervalles permis) Unification des poids [0,1] ou [0,100], Lissage Réduction des, verticale et horizontale (ACP) tendance centrale des (moyenne, médiane, mode), le maximum et le minimum, Rang, les quartiles, la variance,... etc. Courbes, diagrammes, graphes,... etc, peuvent aider à la sélection et le nettoyage des. 13 / 26

49 3. Prétraitement Souvent, bruitées (erreurs de frappe, erreurs système,...) Données incohérentes (qui sortent des intervalles permis) Unification des poids [0,1] ou [0,100], Lissage Réduction des, verticale et horizontale (ACP) tendance centrale des (moyenne, médiane, mode), le maximum et le minimum, Rang, les quartiles, la variance,... etc. Courbes, diagrammes, graphes,... etc, peuvent aider à la sélection et le nettoyage des. Stockage des des Entrepôts de (data warehouse) 13 / 26

50 4. Estimation du modèle Choisir la bonne technique pour extraire les connaissances Réseaux de neurones, Arbres de décision, Réseaux bayésiens, Clustering, / 26

51 4. Estimation du modèle Choisir la bonne technique pour extraire les connaissances Réseaux de neurones, Arbres de décision, Réseaux bayésiens, Clustering,... Utilisation de plusieurs de ces techniques 14 / 26

52 5. Interprétation du modèle et établissement des conclusions Fournir des modèles compréhensibles aux utilisateurs 15 / 26

53 5. Interprétation du modèle et établissement des conclusions Fournir des modèles compréhensibles aux utilisateurs Modèles simples plus compréhensibles mais moins précis 15 / 26

54 5. Interprétation du modèle et établissement des conclusions Fournir des modèles compréhensibles aux utilisateurs Modèles simples plus compréhensibles mais moins précis Modèles complexes plus précis mais difficiles à interpréter. 15 / 26

55 Échantillons, enregistrements, exemples, ensemble de Une donnée est : Individu en statistique 16 / 26

56 Échantillons, enregistrements, exemples, ensemble de Une donnée est : Individu en statistique Instance objets informatique 16 / 26

57 Échantillons, enregistrements, exemples, ensemble de Une donnée est : Individu en statistique Instance objets informatique Tuple bases de 16 / 26

58 Échantillons, enregistrements, exemples, ensemble de Une donnée est : Individu en statistique Instance objets informatique Tuple bases de Point ou vecteur en géométrie 16 / 26

59 Attributs, Champs, Caractéristiques Une donnée est caractérisé par un ensemble de : Champs en bases e Caractéristiques statistiques Attributs orienté objet 17 / 26

60 Types d attributs Deux types 1 Numérique comportent les variables réelles ou entières tel que la longueur, le poids, l âge,... relation d ordre (5 < 7.5) mesure de distance (D(5, 7.5) = 2.5). Calcul de moyenne, variance, écart-type, / 26

61 Types d attributs Deux types 1 Numérique comportent les variables réelles ou entières tel que la longueur, le poids, l âge,... relation d ordre (5 < 7.5) mesure de distance (D(5, 7.5) = 2.5). Calcul de moyenne, variance, écart-type,... 2 catégoriels (appelées aussi symboliques) tel que la couleur, l adresse ou le groupe sanguin Pas de relation d ordre (égalité ou différence) Distance spécifique (nombre de caractères en commun,...) Utilisation du mode : la valeur la plus fréquente ne possèdent aucune de ces caractéristiques. Deux variables catégorielles ne peuvent être qu égales ou différentes. 18 / 26

62 Qualité des Données précises : noms écrits correctement, valeurs dans les bons intervalles et complètes, 19 / 26

63 Qualité des Données précises : noms écrits correctement, valeurs dans les bons intervalles et complètes, Données enregistrées dans les bon formats : numérique caractère, entière réelle,...etc, 19 / 26

64 Qualité des Données précises : noms écrits correctement, valeurs dans les bons intervalles et complètes, Données enregistrées dans les bon formats : numérique caractère, entière réelle,...etc, La redondance doit être éliminée ou au moins minimisée,...etc. 19 / 26

65 Préparation Manuelle : nombre limité d échantillons 20 / 26

66 Préparation Manuelle : nombre limité d échantillons Semi-automatique : nombre moyen d échantillons 20 / 26

67 Préparation Manuelle : nombre limité d échantillons Semi-automatique : nombre moyen d échantillons Automatiques : BDD immenses 20 / 26

68 Préparation Manuelle : nombre limité d échantillons Semi-automatique : nombre moyen d échantillons Automatiques : BDD immenses...etc. 20 / 26

69 Tâches du Tâches (supervisées, non supervisées) Cinq tâches principales La classification 21 / 26

70 Tâches du Tâches (supervisées, non supervisées) Cinq tâches principales La classification L estimation 21 / 26

71 Tâches du Tâches (supervisées, non supervisées) Cinq tâches principales La classification L estimation Le groupement par similitude (règles d association) 21 / 26

72 Tâches du Tâches (supervisées, non supervisées) Cinq tâches principales La classification L estimation Le groupement par similitude (règles d association) L analyse des clusters 21 / 26

73 Tâches du Tâches (supervisées, non supervisées) Cinq tâches principales La classification L estimation Le groupement par similitude (règles d association) L analyse des clusters La description 21 / 26

74 Tâches du Classification Tache la plus commune du Etudier les caractéristiques d un nouvel objet pour l attribuer à une classe prédéfinie Mettre à jours chaque enregistrement d une BDD en déterminant la valeur d un champ de classe Deux phases 1 Apprentissage : apprend du jeu d apprentissage et construit un modèle. 2 Classification : le modèle appris est employé pour classifier de nouveaux objets 22 / 26

75 Tâches du Estimation Classification + variable de sortie numérique Estimer la valeur d une Action dans une bourse Estimer la tension d un passion 23 / 26

76 Tâches du Groupement par similitude (Analyse des associations et de motifs séquentiels) Déterminer quels attributs vont ensemble Analyse du panier du marché Forme Si <antécédent>, alors <conséquent> 24 / 26

77 Tâches du Analyse des clusters Clusiering ou Segmentation Regroupement d enregistrements ou des observations en classes d objets similaires Il n y a pas de variables sortantes Segmenter la totalité de en des sous groupes relativement homogènes Maximiser l homogénéité à l intérieur de chaque groupe et la minimiser entre les différents groupes. 25 / 26

78 Tâches du Description Expliquer ce qui se passe sur une Base de Données Expliquer les relations existantes dans les Pour mieux comprendre les individus, les produit et les processus Exemple : les femmes supportent le changement plus que les hommes Utilise les outils de visualisation 26 / 26