PLAN. Introduction. Introduction. Entrepôts de données. Intégration Client/Serveur B

Transcription

1 Intégration Client/Serveur B Entrepôts de données Applications de l'intelligence artificielle F.-Y. VILLEMIN CNAM-CEDRIC PLAN 1. Introduction 2. Data mining 3. Nettoyage et pré-traitement des données 4. Méthodes d'analyse des données 5. Les réseaux de neurones 6. Le raisonnement par cas Les agents intelligents 9. Bibliographie 2 Introduction Introduction Le data mining: recherche de connaissance dans les bases de données : outil destiné à l'exploitation d'entrepôt de données outil d'aide à la décision pour dirigeants Entreprises, centres et instituts de recherche Æ importantes masses de données analyse des résultats de recherche organisation de mailing (publipostage) examen de la concurrence gestion informatisée des ventes approvisionnement des stocks traitement des salaires... Bases complexes capital inexploité, insoupçonné Æ gains non négligeables But: en extraire analyses et rapports pour spécialistes métiers:chefs de produits, DRHs, contrôleurs de gestion, organismes de statistiques, groupes d'audit ou d'études de marché... La fouille des données (ou data mining) est un besoin ressenti dans tous secteurs où l'on doit : interpréter des données sans l'intervention d'un expert identifier un individu, un produit ou un cas par rapport à un groupe connu découvrir des séquences d'événements, ayant une probabilité de conduire un système à un état d'erreur Exemples: mesure de risques sur un prêt dans un contexte bancaire analyse du "panier d'achat de la ménagère" pour la grande distribution détection de fraude pour les sociétés gérant les cartes de crédit actions marketing où l'on cherche à cibler précisément le client ou le groupe de clients 3 4 1

2 Data mining Data mining Choix de la méthode, puis de l'algorithme: réseaux neuronaux arbres de décision raisonnement par cas (intelligence artificielle) méthodes de visualisation de données (statistiques) Entrepôt de données Bases cibles Nétoyages des données Formatage Data mining Données cibles extraction et regroupement de données pertinentes pour le problème recherche d'association Æ n-uples de données (relations) Visualisation A i d k 5 6 Nettoyage et pré-traitement des données Nettoyage et pré-traitement des données Nom Prénom N contact Dupont Société Jean Dupont SA Adresse Jean 1357 Même nom dans divers départements N de contact différents 292, rue St Martin Paris CEDEX 03 Téléphone Fax Noms de société multiples: changement de nom, d'adresse, acquisition... Une même adrresse a de nombreuses formes jd@dupont.com Nombreux autres N ou adresse IP Besoin de métadonnées Systèmes à base de connaissances pour uniformiser et /ou corriger les données : Integrity Data Reengineering de Validity Technology Enterprise/Integrator de Apertus Technology Achat Commande Crédit , , ,23 Règles de comptabilité et de gestion différentes suivant les départements 7 8 2

3 Méthodes d'analyse des données Sélection d'une caractéristique binaire Sélection d'une caractéristique binaire (Selection of One Binary Feature) Méthode de Classification multiple (Multiple Classifications) Reconstitution de fonction (Function Reconstitution) Méthode par regroupements et par segmentation (Clustering & Segmentation) Sélection d'une caractéristique binaire consiste à découper les données en deux sous-groupes, qui reflètent la présence ou non d'une qualité particulière : particulièrement adaptée à une liste basée sur des caractères bien déterminés Exemple: identifier une cible potentielle de prospection principales difficultés: ensemble de la base Domaines d'application: Les campagnes de mailing et de phoning La détection de fraude La prévision de faillite La recherche de structure moléculaire L'estimation de chance de survie (dans le monde médical) 9 10 Méthode de Classification multiple Reconstitution de fonction Méthode de Classification multiple,extension de la méthode précédente : indice de réussite d'une variable découpage en un nombres prédéterminés de classes utilisée pour les domaines manipulant des variables de natures différentes Exemple du diagnostic médical: des réels: tension, température... des entiers: nombre de plaquettes... des états: apparition d'un symptôme... Difficulté: trouver les valeurs ou les classes judicieuses Domaine d'application : Diagnostic médical Test d'équipement Etude de solvabilité Gestion de stock Reconstitution de la fonction pour les éléments jusqu'ici ignorés tend plus à fournir des prédictions sur des événements et des tendances But: élargir le domaine d'application d'une fonction Exemple: expérience pour évaluer un risque d'échec avant la recherche de la solution exacte nombre limité de cas d'interrogations, désire étendre la capacité de cette fonction à l'ensemble des cas ou à un groupe de cas non traité actuellement. Domaine d'application: Evaluation de la demande clientèle face à un nouveau produit Etude géologique/géographique Maintenance Détermination d'un risque

4 Méthode par regroupements et par segmentation Méthode par regroupements et par segmentation Regroupement ou segmentation problème du partitionnement de la base de données, de telle sorte que l'addition de tous les sous groupes ainsi défini, puisse reconstituer au moins l'intégralité de la base. Exemple : groupe d'élèves, âges et niveaux confondus, parmi lesquels nous cherchons à identifier des groupes : regrouper par âges: aucune homogénéité de groupe Æcertains groupes comporte beaucoup d'élèves, et d'autres sont en déficit regrouper les élèves par niveau Æ quantifier cette variable pour effectuer la segmentation Domaine d'application: Marketing comportements humains similarités à l'intérieur des structures moléculaires Méthodes par regroupements et par segmentation : 1. Classifier les éléments de la base en regroupant les entités assimilables en classes: si "A" V est assimilable à "B" alors ils font partie de la même classe si "B" est assimilable à "C" alors ils font partie de la même classe "A" et "C" ne font pas forcément partie de la même classe même classe relation d'équivalence entre deux éléments peut être supervisée par l'humain, qui pourra définir le type de groupes que l'on cherche à identifier 2. Regrouper les éléments en classes des classes peuvent se chevaucher 3. Segmentation les classes englobent tous les éléments, mais ne se chevauchent jamais (un élément ne peut pas faire partie de plusieurs classes) Les réseaux de neurones Les réseaux de neurones Architectures hautement parallèles, l'élément de base est le neurone : Le réseau est ainsi organisé en couches successives de neurones interconnectés : X0 Couche d'entrée Couche(s) cachée(s) Couche de sortie X1... F(x) y Xn Neurone Un neurone implante une fonction F(x0,, xn) à n+1 variables : A chacune des entrées (x0 à xn), correspond : soit une variable (tuple) d'une base de données soit la sortie du neurone précédent La valeur de sortie y, y =F(x0,, xn), peut, à son tour : soit être utilisée par un neurone suivant soit s'il est le dernier de sa chaîne résultat de l'analyse Base de données Schéma d'un réseau de neurones à trois couches Domaines d'application : reconnaissance fondée sur un apprentissage reconnaissance de caractères (OCR) reconnaissance de paroles résultats

5 Le raisonnement par cas Le raisonnement par cas Domaine d'application: S1 Sp Sp Sn Adaptation du cas Prédiction de pannes : fiabilité d'un produit futur Elaboration de devis Implantation de sites commerciaux Prédiction de caractéristiques C1 Cp Cn Cas-solutions généralisés Abstraction du cas Une fois que l'on a sélectionné la variable à expliquer, l'arbre est construit itérativement: 1. une branche de l'arbre jugée peu intéressante sera élaguée 2. les branches les plus importantes sont développées 3. à chaque nœud, choisir la variable discriminante qui pour calculer les nœuds suivants. 4. par défaut, le système sélectionne celle dont le pouvoir discriminant est le plus fort Ensemble Pour : 32,8 Contre : 67,8 Employé Cadre Pour : 59,1 Contre : 30,9 Femme Pour : 52,1 Contre : 47,9 Un arbre de décision est un arbre dont les nœuds non-terminaux sont associés à une question Les réponses sont associées aux branches menant aux enfants d'un nœud non-terminal Un chemin de la racine à un nœud correspond à une série de questions et réponses Les items stockés à un nœud terminal sont ceux qui correspondent à la série de questions et réponses sur le chemin de la racine à ce nœud Les questions correspondent aux attributs et les réponses à leurs valeurs Les questions et réponses sur le chemin de la racine à un nœud déterminent une conjonction d'attributs définissant un sous-ensemble de l'ensemble des exemples possibles Toutes les instances n'ont pas nécessairement besoin de réponses pour tous les attributs Inactif Sans emploi Pour : 21,8 Contre : 78,2 Retraité Pour : 62,5 Contre : 37,5 Homme Pour : 48,3 Contre : 51,7 La taille de l'arbre dépend de l'ordre dans lequel les attributs sont traités Etant donné un ensemble d'exemples, on peut se demander lequel parmi l'ensemble de tous les arbres différents possibles permet de prédire correctement, avec la plus grande probabilité, des instances nouvelles

6 L'algorithme ID3 suppose que l'arbre de décision recherché est le plus simple, suivant le principe du "rasoir d'occam" (William of Occam, 1324) : "It is vain to do with more what can be done with less... Entities should not be multiplied beyond necessity." Cette heuristique favorise la simplicité et permet d'éviter de faire des suppositions inutiles L'algorithme ID3 (Ross Quinlan, 1986) est l'application de cette heuristique ID3 construit un arbre de décision de haut en bas (top-down) en minimisant le nombre de "questions" à poser : Si tous les éléments du nœud sont dans la même classe, alors quitter Autrement, faire les étapes suivantes : 1. Choisir un attribut et l'assigner au nœud 2. Partitionner les exemples dans des sous-ensembles selon les valeurs de cet attribut 3. Créer des nouveaux nœuds pour chaque sous-ensemble non-vide de la partition 4. La liste de nouveaux nœuds devient les enfants du nœud 5. Appliquer la procédure récursivement sur les nouveaux nœuds 21 ID3 construit l'arbre de décision à partir d'un ensemble d'exemples, c'est à dire d'objets décrits par leurs attributs et leur classe FUNCTION ID3 (examples attributes) BEGIN IF examples est vide THEN /* Il n'y a pas d'objet dans cette 'sous-classification': nœud terminal 'spécial' */ RETOURNER nil ELSE IF tous les objets de examples font partie de la même classe THEN /* Nœud terminal */ RETOURNER un nœud contenant tous les objets de examples ELSE /* Nœud intermédiaire */ A <- attribut de attributes minimisant l'entropie de la classification vals <- liste des valeurs possibles pour A FOR i IN vals DO Partitionnement: */ part[i] <- objets de examples qui ont i comme valeur pour A Calcul des nœuds fils: */ fils[i] <- ID3 (part[i], attributes-a) ENDFOR RETOURNER un nœud avec fils comme successeurs 22 ENDIF L'entropie est une mesure de l'information, ou plutôt de l'incertitude sur la classification d'un objet ID3 utilise cette information pour calculer l'arbre de décision le plus petit, ne conservant alors que les informations absolument nécessaires pour classer un objet Pour choisir un attribut qui partitionne les exemples, il faut choisir celui dont l'entropie de la classification est la plus petite après la partition L'entropie H(C A) sur la classification après avoir choisi de partitionner les exemples suivant la valeur de l'attribut A, est (1) : M j=1 où aj désigne une valeur de l'attribut A, M le nombre total de valeurs pour l'attribut A et p(aj) la probabilité que la valeur de l'attribut A vaut aj En outre (2) : H(C A) = p(aj) H( C aj) M Â H(C aj) = -Â p(ci aj) log2 p(ci aj) i =1 où N est le nombre de classes différentes, p(ci aj) la probabilité conditionnelle qu'un objet soit de la classe ci étant donné que l'attribut A vaut aj L'algorithme ID3 se compose de deux phases principales : 1. l'apprentissage 2. la phase de tests En pratique, l'arbre de décision obtenu est traduit en une liste des règles, le chemin allant de la racine jusqu'à une feuille représente une règle En phase d'apprentissage, l'algorithme construit, à partir des exemples, une généralisation : Les exemples sont une suite d'attributs valués (n valeurs) Au départ, la racine de l'arbre de décision contient tous les exemples, les nœuds sont constitués par les attributs et les arcs en résultant seront valués par les différentes valeurs de l'attribut Si tous les exemples résultant d'une descente le long d'une branche de l'arbre sont de la même classe, on arrête la descente et on crée une feuille représentant la classe Si ce n'est pas le cas, les attributs restant doivent à nouveau subir l'algorithme et la branche s'allonge jusqu'à trouver des exemples de la même classe

7 L'algorithme ID3 ne traite pas les attributs séquentiellement, il recherche l'attribut qui maximise le gain d'information Ce "meilleur" attribut s'obtient par : (1) recherche de l'entropie de la collection d'exemples à traiter où : N : nombre d'exemples de la classe 1 P : nombre d'exemples de la classe 2 (2) recherche du gain d'information pour chaque valeur vi de l'attribut A Calcul de E(A) : vi E(A) = P 1 + N 1 P + N I(P 1, N 1) i=1 25 (3) calcul du gain gagné pour chaque attribut gain (A) = I(P, N) E(A) (4) choix de l'attribut qui maximise le gain : L'attribut choisi constitue un nœud et chacune de ses valeurs constitue une branche identifiée par la valeur et aboutit à un ensemble d'exemples Si les exemples de cet ensemble sont tous de la même classe, alors la branche est terminée, la feuille résultante indique la valeur de la classe Sinon, il faudra choisir à nouveau l'attribut qui maximise le gain d'information sur les exemples restant à le nœud Chaque chemin de cet arbre est de longueur variable et aboutit obligatoirement à une et une seule classe 26 La phase de test se fait ainsi : Exemple : ATTRIBUT temps VALEURS POSSIBLES soleil, couvert, pluie L'arbre de décision permet de valider l'algorithme et le jeu d'apprentissage en essayant de classifier des exemples dont la classe est connue On procède exemple par exemple en descendant les branches de l'arbre d'abord suivant les attributs et puis suivant les valeurs de l'attribut La classe trouvée dans l'arbre est comparée à celle de l'exemple, une différence entre les valeurs constitue une erreur D'autres erreurs doivent être prises en compte : une valeur d'un attribut dans l'exemple n'existe pas dans l'arbre un attribut présent dans l'exemple mais pas dans l'arbre alors que ce nouvel attribut est nécessaire pour distinguer deux classes Ces erreurs se cumulent pour constituer le taux d'erreur : température Continue en humidité Continue en % vent, TEMPS Ensemble d'apprentissage : soleil soleil couvert pluie pluie pluie couvert soleil soleil pluie soleil couvert couvert pluie TEMPERATURE HUMIDITE VENT GOLF je ne joue pas je ne joue pas je ne joue pas je ne joue pas je ne joue pas

8 Dans cet exemple, il y a 14 objets : 9 de classe P 5 de classe N donc I(P, N) = 9 14 log Pour l'attribut temps et la valeur1 soleil, 2 en P et 3 en N donc : P1 = 2 N1 = 3 et I(P1, N1) = De même : P2 = 4 N2 = 0 et I(P2, N2) = 0 P3 = 3 N3 = 2 et I(P3, N3) = Donc : log = bits D'où : Gain(temps) = E(temps) = bits De même : Gain(température) = bits Gain(humidité) = bits Gain(vent) = bits L'attribut temps est choisi. Puis les objets sont divisés suivant leur valeur de temps, et le processus est recommencé pour chacun des 3 ensembles d'exemples Les agents intelligents Newell [Newell 1982, 1990] propose niveau supérieur au niveau programme, le niveau connaissance (knowledge level) caractérisé par : 1. objet du traitement ou connaissance composants: - ensemble des buts - ensemble des interactions (entrées/sorties) 2. corpus de connaissances 3. loi de comportement: principe de rationalité : le système sélectionne une action s'il possède la connaissance qu'un de ses buts peut être atteint au moyen de l'exécution de l'action Système décrit au niveau connaissance comme un agent rationnel doté : 1. de fins (l'ensemble des buts) 2. de moyens physiques d'interaction avec le monde extérieur (l'ensemble des interactions) 3. des compétences (le corpus de connaissances) liant fins et moyens selon un principe de rationalité

9 Les agents intelligents Exemple du correcteur de fautes d'orthographe (du à Libero Maesano) : Description en tant que programme qui: (1) traduit une séquence de frappes au clavier en une structure de données; (2) soumet cette donnée à un algorithme de comparaison à d'autres structures : soit contenues dans une base de données chargée en mémoire soit générées à l'exécution; (3) lorsqu'il ne trouve pas une structure égale cherche dans la base (et/ou génère) des structures proches (selon un certain calcul de proximité); (4) affiche (éventuellement) suites de caractères correspondantes à ces structures Les agents intelligents Description, au niveau connaissance, en tant que système qui : (1) a des buts (détecter mots n'appartenant pas au lexique français et, dans ce cas : proposer des mots appartenants au lexique français et ressemblant au mots détectés); (2) communique avec l'utilisateur au moyen d'un ensemble d'interactions, capable: de lire les mots issus de la frappe au clavier d'afficher à l'écran les mots à proposer; (3) possède des connaissances: du lexique français d'un critère de ressemblance entre chaîne de caractères et mots du lexique Cette description, au niveau connaissance, permet d'expliquer et de prédire efficacement le comportement du système type de description naturelle pour expliquer correcteur d'orthographe à utilisateur sans compétences informatiques Les agents intelligents Les agents intelligents Un agent est une chose ou un personne qui agit de manière autonome et produit des changements dans le monde Agent "intelligent" : (1) agent capable de prendre, en temps limité, des décisions rationnelles dans un environnement ouvert (2) agent dont le comportement est utilement décrit à l'aide de notions mentales telles que les connaissances, les buts, les intentions... Dans les systèmes de gestion, on distingue : Les classes d agents: (1) transducter (2) wrapper (3) rewriter Les fonctions des agents: (1) mediator (2) facilatator Une ontologie est une spécification explicite et formelle d'une conceptualisation partagée formelle : lisible par une machine spécification explicite : les concepts, propriétés, relations, fonctions, contraintes, axiomes sont définis explicitement conceptualisation : modèle abstrait d'un phénomène dans le monde partagée : connaissance commune Un agent (robot autonome) : utilise un modèle particulier du monde (ontologie), ne peut percevoir que la partie du monde que son ontologie est capable de représenter Æ seules les choses de son ontologie existent pour cet agent

10 Les agents intelligents Applications multi-agents : consiste à concevoir un système comme une collection d'agents en interaction doit maintenir un modèle du monde pour chacun des agents... nécessite des outils pour la communication entre agents (KQML) Utilisations : (1) recherche d informations dans des bases complexes (textes/images), sur le web (2) interopérabilité de logiciels (3) contrôle de systèmes complexes Bibliographie White papers de : IBM, Oracle, Business Object, SQL Ingénierie, Arbor Software... From Data Mining to Knowledge Discovery in Databases, U. Fayyad, G. Piatetsky-Shapiro & P. Smyth., AI Magazine 17(3) Fall 1996 Data Mining Here We Go Again?, Bill Mark, IEEE Expert October 1996 The Data Gold Rush, Sara Reese Hedberg, Byte October 1995 A Data Miner's Tool, Karen Watterson, Byte October 1995 Advances in knowledge discovery and Data Mining, U. Fayyad, G. Piatetsky- Shapiros, P. Smith, R. Uthurusamy, AAAI Press / The MIT Press