Apprentissage statistique Stratégie du Data-Mining

Dimension: px
Commencer à balayer dès la page:

Download "Apprentissage statistique Stratégie du Data-Mining"

Transcription

1 Apprentissage statistique Stratégie du Data-Mining Hélène Milhem Institut de Mathématiques de Toulouse, INSA Toulouse, France IUP SID, H. Milhem (IMT, INSA Toulouse) Apprentissage statistique IUP SID / 14

2 Apprentissage Statistique - Objectifs Phénomène physique, biologique, financier, etc trop complexe pour être décrit de manière déterministe. = Utilisation de techniques statistiques d apprentissage. Exemple : Reconnaissance de la parole, d images, prédiction de données climiques, du comportement d un client... Techniques statistiques basées sur des modèles faisant intervenir des variables explicatives des variables à expliquer une composante de bruit statistique But du statisticien : estimer au mieux des paramètres du modèle pour obtenir la meilleure fiabilité de prédiction Mots clefs : Machine Learning, Reconnaissance de formes, Intelligence Artificielle H. Milhem (IMT, INSA Toulouse) Apprentissage statistique IUP SID / 14

3 Problématique Apprentissage Supervisé Variable Y à expliquer, décrite par n individus dont on connaît p variables explicatives synthétisées dans X. Ensemble d apprentissage D Train = {(X 1, Y 1 ),, (X n, Y n )}. Connaissant D Train, on cherche φ fonction des p prédicteurs telle que la variable Y s explique au mieux en fonction des p prédicteurs : Y = φ(x) + ɛ. L apprentissage est SUPERVISE puique conditionnée par la donnée d étiquettes (labels, valeurs...) pour chacun des n individus : les Y i. Exemples classiques : Modèle de régression simple, multiple, arbre binaire de classifications, réseaux de neurones, support vector machine, k plus proche voisins... Aprentissage Non-Supervisé Pas de variable Y à expliquer, mais toujours n individus décrits par p variables chacun. Objectif : recherche d une taxinomie (caractéristiques communes) des observations. H. Milhem (IMT, INSA Toulouse) Apprentissage statistique IUP SID / 14

4 Modélisation versus Apprentissage Modélisation La notion de modèle est centrale avec une finalité explicative. But : approcher la réalité, le vrai modèle, supposé existé, éventuellement basé sur une théorie physique, économique... sous-jacente. Le choix du modèle est alors guidé par des critères d ajustement et les décisions de validité, de présence d effets, basées sur des tests reposant eux-mêmes sur des hypothèses probabilistes. L interprétation du rôle de chaque variable explicative est prépondérante dans la démarche. Aprentissage But : prédiction. Le meilleur modèle n est pas nécessairement celui qui ajusterait le mieux le vrai modèle. Choix basés sur des critères de qualité de prévision visant à la recherche de modèles parcimonieux, i.e. de complexité (nombre de paramètres ou flexibilité limitée) dont l interprétabilité passe au second plan. H. Milhem (IMT, INSA Toulouse) Apprentissage statistique IUP SID / 14

5 Discrimination versus Régression Différents types de variables statistiques considérées qualitatives à valeurs dans un ensemble de cardinal fini, quantitatives à valeurs réelles. Certaines méthodes d apprentissage ou de modélisation s adaptent à tout type de variables explicatives tandis que d autres sont spécialisées. Si Y à expliquer est qualitative, on parle de discrimination, classification ou reconnaissance de forme, si Y est quantitative, on parle de régression. H. Milhem (IMT, INSA Toulouse) Apprentissage statistique IUP SID / 14

6 Statistique, informatique, taille des données n petit ou modèle statistique des échantillons connu (hypothèses relatives au modèle et aux distributions vérifiées) : utilisation des techniques classiques comme modèle linéaire génralisé, vraisemenblance,... optimale Dans le cas contraire, d autres méthodes viennent concurrencer l approche statistique classique. ( Exemple : Y = φ X 1,, X p) + ɛ. Si φ linéaire et p petit : classique. Si φ non-linéaire et n grand : possible d estimer précisément un nombre plus important de paramètres et donc d envisager des modèles plus sophistiqués. Dans le cas d un modèle gaussien usuel, le cas le plus simple d un modèle polynômial devient vite problématique : pour φ linéaire et p = 10, il y a 2 10 choix de modèles. Si en plus considération des intéractions en variable, vite un nombre astronomique de modèles possibles : explosion combinatoire! H. Milhem (IMT, INSA Toulouse) Apprentissage statistique IUP SID / 14

7 Statistique, informatique, taille des données D où l implication de l informatique dans cette problématique. Le souci de calculabilité l emporte sur la définition mathématique du problème qui se ramène à l optimisation d un critère d ajustement de φ sur un ensemble plus ou moins riche. Méthodes souvent développées dans une autre discipline : informatique, intelligence artificielle... k plus proches voisins, réseaux de neurones, arbres de décisions, support vector machine : alternatives crédibles si n grand ou si p très important. H. Milhem (IMT, INSA Toulouse) Apprentissage statistique IUP SID / 14

8 Stratégies de choix - Choix de méthode Il n y a pas de "meilleure méthode"! Chacune est plus ou moins adaptée au problème posé, à la nature des données ou encore aux propriétés de φ à approcher ou à estimer. Important de savoir comparer des méthodes afin de choisir la plus pertinente. Comparaison par estimation d une erreur (de régression ou de classement) : pas toujours simple à faire... H. Milhem (IMT, INSA Toulouse) Apprentissage statistique IUP SID / 14

9 Stratégies de choix - Choix de méthode EQUILIBRE BIAIS/VARIANCE Importance capitale : construire un modèle parcimonieux : nombre de variables explicatives nombre de feuilles dans un arbre nombre de neurones dans une couche cachée Seuls les algorihtmes de combinaison de modèles (bagging, boosting) contournent cette étape au prix d un accroissement sensible des calculs et surtout de l interprétabilité des résultats obtenus. Plus le modèle est complexe et meilleur sera l ajustement aux données : erreur faible d ajustement. MAIS un tel modèle peut s avérer défaillant lors de prévisions ou de généralisations. Plus le modèle est simple et plus la variance du modèle sera faible. MAIS un tel modèle induit une mauvaise qualité d ajustement. Objectif : optimiser un dosage entre biais et variance en contrôlant l ajustement aux données et la complexité du modèle. H. Milhem (IMT, INSA Toulouse) Apprentissage statistique IUP SID / 14

10 Stratégie du Data-Mining Nous disposons d un ensemble d observations. Les caractéristiques ou variables X = (X 1,..., X p ) dites explicatives ont été observées sur un ensemble de n objets, individus ou unités statistiques. Premier travail : mener une exploration statistique des données. allure des distributions, présence de données atypiques, corrélations et cohérence, transformations éventuelles des données, description multidimensionnelle, classification. Deuxième travail : modélisation statistique ou encore d apprentissage pour la prédiction d un variable cible Y par les variables explicatives (X 1,..., X p ). L enchaînement de ces étapes (exploration puis apprentissage) constitue le fondement de la fouille de données. H. Milhem (IMT, INSA Toulouse) Apprentissage statistique IUP SID / 14

11 Stratégie du Data-Mining But : Déterminer la stratégie à mettre en oeuvre pour aboutir au bon apprentissage ou au bon modèle prédictif à partir des données observées. Contrairement à une démarche statistique traditionnelle dans laquelle l observation des données est intégrée à la méthodologie (plannification expérimentale), les données sont ici préalable à l analyse. Néanmoins, il est clair que les préoccupations liées à leur analyse et à son objectif doivent intervenir le plus en amont possible pour s assurer quelques chances de succès. H. Milhem (IMT, INSA Toulouse) Apprentissage statistique IUP SID / 14

12 Stratégie du Data-Mining Étapes de la fouille de données 1 Extraction des données avec ou sans apprentissage : techniques de sondage appliquées ou applicables à des bases de données. 2 Exploration des données pour la détection de valeurs aberrantes ou seulement atypiques, d incohérences, pour l étude des distributions, des structures de corrélation, recherche de typologies, pour des transformations de données. 3 Partition aléatoire de l échantillon (apprentissage, validation, test) en fonction de sa taille et des techniques qui seront utilisées pour estimer une erreur de prédiction en vue des choix de modèles, choix et certification de méthode. H. Milhem (IMT, INSA Toulouse) Apprentissage statistique IUP SID / 14

13 Stratégie du Data-Mining Étapes de la fouille de données (suite) 4. Pour chacune des méthodes considérées : modèle linéaire général (gaussien, binomial ou poissonien), discrimination paramétrique (linéaire ou quadratique) ou non-paramétrique, k plus proches voisins, arbre, réseau de neurones (perceptron), support vecteur machine, combinaison de modèles (bagging, boosting) estimer le modèle pour une valeur donnée d un paramètre de complexité : nombre de variables, de voisins, de feuilles, de neurones, durée d apprentissage, largeur de fenêtre... optimiser ce paramètre (sauf pour les combinaisons de modèles affranchies des problèmes de sur-apprentissage) en fonction de la technique d estimation de l erreur retenue : échantillon de validation, validation croisée, approximation par pénalisation de l erreur d ajustement. H. Milhem (IMT, INSA Toulouse) Apprentissage statistique IUP SID / 14

14 Stratégie du Data-Mining Étapes de la fouille de données (suite et fin) 5. Comparaison des modèles optimaux obtenus (un par méthode) par estimation de l erreur de prédiction sur l échantillon test ou, si la présence d un échantillon test est impossible, sur le critère de pénalisation de l erreur (Akaike par exemple) s il en existe une version pour chacune des méthodes considérées. 6. Itération éventuelle de la démarche précédente (validation croisée), si l échantillon test est trop réduit, depuis l étape 3. Partitions aléatoires successives de l échantillon pour moyenner sur plusieurs cas l estimation finale de l erreur de prédiction et s assurer de la robustesse du modèle obtenu. 7. Choix de la méthode retenue en fonction de ses capacités de prédiction, de sa robustesse mais aussi, éventuellement, de l interprétabilité du modèle obtenu. H. Milhem (IMT, INSA Toulouse) Apprentissage statistique IUP SID / 14

Apprentissage statistique:

Apprentissage statistique: Apprentissage statistique: Arbre de décision binaire et Random Forest 1 Plan 1. Introduction 2. 3. Application à l apprentissage supervisé 4. Forêt Aléatoire (Random Forest) 2 1 Plan 1. Introduction 2.

Plus en détail

Arbres binaires. Hélène Milhem. Institut de Mathématiques de Toulouse, INSA Toulouse, France IUP SID, 2011-2012

Arbres binaires. Hélène Milhem. Institut de Mathématiques de Toulouse, INSA Toulouse, France IUP SID, 2011-2012 Arbres binaires Hélène Milhem Institut de Mathématiques de Toulouse, INSA Toulouse, France IUP SID, 2011-2012 H. Milhem (IMT, INSA Toulouse) Arbres binaires IUP SID 2011-2012 1 / 35 PLAN Introduction Construction

Plus en détail

Apprentissage Statistique. Bureau d étude :

Apprentissage Statistique. Bureau d étude : Apprentissage Statistique Bureau d étude : Score d appétence en GRC Hélène Milhem IUP SID M2 2011/2012 Institut de Mathématiques de Toulouse UMR CNRS C5219 Equipe de Statistique et Probabilités Université

Plus en détail

Reconnaissance des formes : Classement d ensembles d objets

Reconnaissance des formes : Classement d ensembles d objets Reconnaissance des formes : Classement d ensembles d objets Données Méthodes Extraction de connaissances Applications Expertise Apprentissage Bernard FERTIL Directeur de Recherche CNRS Équipe LXAO, UMR

Plus en détail

Outils Statistiques du Data Mining

Outils Statistiques du Data Mining Outils Statistiques du Data Mining Pr Roch Giorgi roch.giorgi@univ-amu.fr SESSTIM, Faculté de Médecine, Aix-Marseille Université, Marseille, France http://sesstim-orspaca.org http://optim-sesstim.univ-amu.fr

Plus en détail

Introduction au Data-Mining

Introduction au Data-Mining Introduction au Data-Mining Alain Rakotomamonjy - Gilles Gasso. INSA Rouen -Département ASI Laboratoire PSI Introduction au Data-Mining p. 1/25 Data-Mining : Kèkecé? Traduction : Fouille de données. Terme

Plus en détail

Apprentissage Statistique :

Apprentissage Statistique : Apprentissage Statistique Apprentissage Statistique : modélisation, prévision et data mining PHILIPPE BESSE & BÉATRICE LAURENT 5ème année GMM - MMS Équipe de Statistique et Probabilités Institut de Mathématiques

Plus en détail

Introduction au Data-Mining

Introduction au Data-Mining Introduction au Data-Mining Gilles Gasso, Stéphane Canu INSA Rouen -Département ASI Laboratoire LITIS 8 septembre 205. Ce cours est librement inspiré du cours DM de Alain Rakotomamonjy Gilles Gasso, Stéphane

Plus en détail

DATA MINING 2 Réseaux de Neurones, Mélanges de classifieurs, SVM avancé

DATA MINING 2 Réseaux de Neurones, Mélanges de classifieurs, SVM avancé I. Réseau Artificiel de Neurones 1. Neurone 2. Type de réseaux Feedforward Couches successives Récurrents Boucles de rétroaction Exemples de choix pour la fonction : suivant une loi de probabilité Carte

Plus en détail

Méthodes d apprentissage statistique («Machine Learning»)

Méthodes d apprentissage statistique («Machine Learning») Méthodes d apprentissage statistique («Machine Learning») Journées d Etudes IARD Niort, 21 Mars 2014 Fabrice TAILLIEU Sébastien DELUCINGE Rémi BELLINA 2014 Milliman. All rights reserved Sommaire Introduction

Plus en détail

Apprentissage Automatique

Apprentissage Automatique Apprentissage Automatique Introduction-I jean-francois.bonastre@univ-avignon.fr www.lia.univ-avignon.fr Définition? (Wikipedia) L'apprentissage automatique (machine-learning en anglais) est un des champs

Plus en détail

Formation Actuaire Data-Scientist PROGRAMME

Formation Actuaire Data-Scientist PROGRAMME Formation Actuaire Data-Scientist PROGRAMME 15 Septembre 2014 Arthur Charpentier, Romuald Élie & Jérémie Jakubowicz 15914 Programme Séance inaugurale : révolu-on numérique besoins des entreprises cadre

Plus en détail

Ingénierie d aide à la décision

Ingénierie d aide à la décision Ingénierie d aide à la décision Maria Malek 1 er septembre 2009 1 Objectifs et débouchés Nous proposons dans cette option deux grands axes pour l aide à la décision : 1. La recherche opérationnelle ; 2.

Plus en détail

Apprentissage Statistique & Data mining

Apprentissage Statistique & Data mining Apprentissage Statistique & Data mining PHILIPPE BESSE Version Octobre 2006 Institut de Mathématiques de Toulouse Laboratoire de Statistique et Probabilités UMR CNRS C5583 Institut National des Sciences

Plus en détail

Séance 12: Algorithmes de Support Vector Machines

Séance 12: Algorithmes de Support Vector Machines Séance 12: Algorithmes de Support Vector Machines Laboratoire de Statistique et Probabilités UMR 5583 CNRS-UPS www.lsp.ups-tlse.fr/gadat Douzième partie XII Algorithmes de Support Vector Machines Principe

Plus en détail

PROBABILITES ET STATISTIQUE I&II

PROBABILITES ET STATISTIQUE I&II PROBABILITES ET STATISTIQUE I&II TABLE DES MATIERES CHAPITRE I - COMBINATOIRE ELEMENTAIRE I.1. Rappel des notations de la théorie des ensemble I.1.a. Ensembles et sous-ensembles I.1.b. Diagrammes (dits

Plus en détail

Motivation : pourquoi exploration de données? Nous nous noyons dans les données, mais manquons cruellement de connaissances

Motivation : pourquoi exploration de données? Nous nous noyons dans les données, mais manquons cruellement de connaissances 1 Introduction Définition et motivations Tâches de data mining (fouille de données, exploration de données) Techniques et algorithmes Exemples et applications 1 Motivation : pourquoi exploration de données?

Plus en détail

Introduction au datamining

Introduction au datamining Introduction au datamining Patrick Naïm janvier 2005 Définition Définition Historique Mot utilisé au départ par les statisticiens Le mot indiquait une utilisation intensive des données conduisant à des

Plus en détail

Statistique et analyse de données pour l assureur : des outils pour la gestion des risques et le marketing

Statistique et analyse de données pour l assureur : des outils pour la gestion des risques et le marketing Statistique et analyse de données pour l assureur : des outils pour la gestion des risques et le marketing Gilbert Saporta Chaire de Statistique Appliquée, CNAM ActuariaCnam, 31 mai 2012 1 L approche statistique

Plus en détail

Arbres de décisions et forêts aléatoires.

Arbres de décisions et forêts aléatoires. Arbres de décisions et forêts aléatoires. Pierre Gaillard 7 janvier 2014 1 Plan 1 Arbre de décision 2 Les méthodes d ensembles et les forêts aléatoires 2 Introduction 3 Introduction Jeu de données (ex

Plus en détail

Agenda de la présentation

Agenda de la présentation Le Data Mining Techniques pour exploiter l information Dan Noël 1 Agenda de la présentation Concept de Data Mining ou qu est-ce que le Data Mining Déroulement d un projet de Data Mining Place du Data Mining

Plus en détail

TECH. INFOTECH # 34 Solvabilité 2 : Le calcul du capital économique dans le cadre d un modèle interne. Introduction

TECH. INFOTECH # 34 Solvabilité 2 : Le calcul du capital économique dans le cadre d un modèle interne. Introduction INFO # 34 dans le cadre d un modèle interne Comment les méthodes d apprentissage statistique peuvent-elles optimiser les calculs? David MARIUZZA Actuaire Qualifié IA Responsable Modélisation et Solvabilité

Plus en détail

Apprentissage supervisé

Apprentissage supervisé Apprentissage supervisé 1 Apprendre aux ordinateurs à apprendre Objectif : appliquer la démarche de l apprentissage par l exemple à l ordinateur. Montrer des exemples à l ordinateur en lui disant de quoi

Plus en détail

Plan du cours. Intelligence Artificielle et Manipulation Symbolique de l Information. Induction de règles (rappels) L induction logique

Plan du cours. Intelligence Artificielle et Manipulation Symbolique de l Information. Induction de règles (rappels) L induction logique Intelligence Artificielle et Manipulation Symbolique de l Information Cours 0 mercredi 8 avril 205 Plan du cours Raisonner par induction l induction Induction par arbres de décision Christophe Marsala

Plus en détail

Fouille de données Notes de cours Ph. PREUX Université de Lille 3 philippe.preux@univ-lille3.fr 26 mai 2011

Fouille de données Notes de cours Ph. PREUX Université de Lille 3 philippe.preux@univ-lille3.fr 26 mai 2011 Fouille de données Notes de cours Ph. PREUX Université de Lille 3 philippe.preux@univ-lille3.fr 26 mai 2011 http://www.grappa.univ-lille3.fr/~ppreux/fouille ii Table des matières 1 Introduction 3 1.1 Qu

Plus en détail

Le bootstrap expliqué par l exemple

Le bootstrap expliqué par l exemple Le bootstrap expliqué par l exemple 1 Le bootstrap expliqué par l exemple 1. Les concepts du bootstrap 2. Des variantes adaptées au contexte 3. Comparaison des différentes méthodes 4. Les cas sensibles

Plus en détail

Analyse de grandes bases de données en santé

Analyse de grandes bases de données en santé .. Analyse de grandes bases de données en santé Alain Duhamel Michaël Genin Mohamed Lemdani EA 2694 / CERIM Master 2 Recherche Biologie et Santé Journée Thématique Fouille de Données Plan. 1 Problématique.

Plus en détail

Classification, Apprentissage, Décision

Classification, Apprentissage, Décision Classification, Apprentissage, Décision Rémi Eyraud remi.eyraud@lif.univ-mrs.fr http://www.lif.univ-mrs.fr/~reyraud/ Cours inspiré par ceux de François Denis et Laurent Miclet. Plan général du cours Introduction

Plus en détail

Analyse de grandes bases de données en santé

Analyse de grandes bases de données en santé .. Analyse de grandes bases de données en santé Alain Duhamel Michaël Genin Mohamed Lemdani EA 2694 / CERIM Master 2 Recherche Biologie et Santé Journée Thématique Fouille de Données Plan. 1 Problématique.

Plus en détail

Intelligence Artificielle et Systèmes Multi-Agents. Badr Benmammar bbm@badr-benmammar.com

Intelligence Artificielle et Systèmes Multi-Agents. Badr Benmammar bbm@badr-benmammar.com Intelligence Artificielle et Systèmes Multi-Agents Badr Benmammar bbm@badr-benmammar.com Plan La première partie : L intelligence artificielle (IA) Définition de l intelligence artificielle (IA) Domaines

Plus en détail

Une comparaison de méthodes de discrimination des masses de véhicules automobiles

Une comparaison de méthodes de discrimination des masses de véhicules automobiles p.1/34 Une comparaison de méthodes de discrimination des masses de véhicules automobiles A. Rakotomamonjy, R. Le Riche et D. Gualandris INSA de Rouen / CNRS 1884 et SMS / PSA Enquêtes en clientèle dans

Plus en détail

Le Data Mining au service du Scoring ou notation statistique des emprunteurs!

Le Data Mining au service du Scoring ou notation statistique des emprunteurs! France Le Data Mining au service du Scoring ou notation statistique des emprunteurs! Comme le rappelle la CNIL dans sa délibération n 88-083 du 5 Juillet 1988 portant adoption d une recommandation relative

Plus en détail

Analyse de données textuelles Panorama des fonctions, des méthodes et des usages

Analyse de données textuelles Panorama des fonctions, des méthodes et des usages Analyse de données textuelles Panorama des fonctions, des méthodes et des usages Sylvie Dalbin Assistance & Techniques Documentaires DocForum, Le 17 Novembre 2005 Déroulé de l'intervention (1) 1. Définition

Plus en détail

Initiation à la fouille de données et à l apprentissage automatiq

Initiation à la fouille de données et à l apprentissage automatiq Initiation à la fouille de données et à l apprentissage automatique 1 Laboratoire d Informatique Fondamentale de Marseille Université de Provence christophe.magnan@lif.univ-mrs.fr www.lif.univ-mrs.fr/

Plus en détail

Organisé par StatSoft France et animé par Dr Diego Kuonen, expert en techniques de data mining.

Organisé par StatSoft France et animé par Dr Diego Kuonen, expert en techniques de data mining. 2 jours : Mardi 15 et mercredi 16 novembre 2005 de 9 heures 30 à 17 heures 30 Organisé par StatSoft France et animé par Dr Diego Kuonen, expert en techniques de data mining. Madame, Monsieur, On parle

Plus en détail

PJE : Analyse de comportements avec Twitter Classification supervisée

PJE : Analyse de comportements avec Twitter Classification supervisée PJE : Analyse de comportements avec Twitter Classification supervisée Arnaud Liefooghe arnaud.liefooghe@univ-lille1.fr Master 1 Informatique PJE2 2015-16 B. Derbel L. Jourdan A. Liefooghe 1 2 Agenda Partie

Plus en détail

Offre de formation de troisième cycle (LMD)

Offre de formation de troisième cycle (LMD) Offre de formation de troisième cycle (LMD) (Arrêté n 250 du 28 juillet 2009, fixant l organisation de la formation de troisième en vue de l obtention du diplôme de doctorat) Etablissement Faculté / Institut

Plus en détail

Le Data Mining Techniques pour exploiter l information. Auteur : Dan Noël Date : 24.04.2009

Le Data Mining Techniques pour exploiter l information. Auteur : Dan Noël Date : 24.04.2009 Le Data Mining Techniques pour exploiter l information Auteur : Dan Noël Date : 24.04.2009 Agenda de la présentation du 26.03.2009 Concept de Data Mining ou qu est-ce que le Data Mining Déroulement d un

Plus en détail

Analyse de données longitudinales continues avec applications

Analyse de données longitudinales continues avec applications Université de Liège Département de Mathématique 29 Octobre 2002 Analyse de données longitudinales continues avec applications David MAGIS 1 Programme 1. Introduction 2. Exemples 3. Méthodes simples 4.

Plus en détail

BI = Business Intelligence Master Data-ScienceCours 7 - Data

BI = Business Intelligence Master Data-ScienceCours 7 - Data BI = Business Intelligence Master Data-Science Cours 7 - Data Mining Ludovic DENOYER - UPMC 30 mars 2015 Ludovic DENOYER - Typologie des méthodes de Data Mining Différents types de méthodes : Méthodes

Plus en détail

L utilisation d un réseau de neurones pour optimiser la gestion d un firewall

L utilisation d un réseau de neurones pour optimiser la gestion d un firewall L utilisation d un réseau de neurones pour optimiser la gestion d un firewall Réza Assadi et Karim Khattar École Polytechnique de Montréal Le 1 mai 2002 Résumé Les réseaux de neurones sont utilisés dans

Plus en détail

Cours IFT6266, Exemple d application: Data-Mining

Cours IFT6266, Exemple d application: Data-Mining Cours IFT6266, Exemple d application: Data-Mining Voici un exemple du processus d application des algorithmes d apprentissage statistique dans un contexte d affaire, qu on appelle aussi data-mining. 1.

Plus en détail

Introduction. Informatique décisionnelle et data mining. Data mining (fouille de données) Cours/TP partagés. Information du cours

Introduction. Informatique décisionnelle et data mining. Data mining (fouille de données) Cours/TP partagés. Information du cours Information du cours Informatique décisionnelle et data mining www.lia.univ-avignon.fr/chercheurs/torres/cours/dm Juan-Manuel Torres juan-manuel.torres@univ-avignon.fr LIA/Université d Avignon Cours/TP

Plus en détail

Bouchekif Abdesselam 11 mars 2012

Bouchekif Abdesselam 11 mars 2012 Expériences sur les données du répertoire de données de UCI avec une boîte à outils Bouchekif Abdesselam 11 mars 2012 Résumé Les dix dernières années ont été témoin de grands progrès réalisés dans le domaine

Plus en détail

Classification dans des bases de données par des méthodes de datamining

Classification dans des bases de données par des méthodes de datamining Classification dans des bases de données par des méthodes de datamining Yawo Eli Amesefe Guillaume Cernier Christophe Labrousse Introduction L utilisation généralisée de l informatique ces dernières dizaines

Plus en détail

Glossaire Analyse en Composantes Principales (ACP) Analyse Factorielle des Correspondances (AFC) Apprentissage supervisé Apprentissage non supervisé

Glossaire Analyse en Composantes Principales (ACP) Analyse Factorielle des Correspondances (AFC) Apprentissage supervisé Apprentissage non supervisé Glossaire Analyse en Composantes Principales (ACP) : *méthode factorielle (Pearson 1901, Hotelling 1933) permettant de fournir un résumé descriptif (sous forme graphique le plus souvent) d une population

Plus en détail

WEKA : c est quoi? Brigitte Bigi. 15 février 2011. LPL - Équipe C3I. Brigitte Bigi (LPL - Équipe C3I) WEKA : c est quoi? 15 février 2011 1 / 32

WEKA : c est quoi? Brigitte Bigi. 15 février 2011. LPL - Équipe C3I. Brigitte Bigi (LPL - Équipe C3I) WEKA : c est quoi? 15 février 2011 1 / 32 WEKA : c est quoi? Brigitte Bigi LPL - Équipe C3I 15 février 2011 Brigitte Bigi (LPL - Équipe C3I) WEKA : c est quoi? 15 février 2011 1 / 32 Introduction 1 Introduction 2 Classification supervisée 3 WEKA

Plus en détail

La classification automatique de données quantitatives

La classification automatique de données quantitatives La classification automatique de données quantitatives 1 Introduction Parmi les méthodes de statistique exploratoire multidimensionnelle, dont l objectif est d extraire d une masse de données des informations

Plus en détail

Arbres binaires de décision

Arbres binaires de décision 1 Arbres binaires de décision Résumé Arbres binaires de décision Méthodes de construction d arbres binaires de décision, modélisant une discrimination (classification trees) ou une régression (regression

Plus en détail

Coup de Projecteur sur les Réseaux de Neurones

Coup de Projecteur sur les Réseaux de Neurones Coup de Projecteur sur les Réseaux de Neurones Les réseaux de neurones peuvent être utilisés pour des problèmes de prévision ou de classification. La représentation la plus populaire est le réseau multicouche

Plus en détail

Chapitre 6 Apprentissage des réseaux de neurones et régularisation

Chapitre 6 Apprentissage des réseaux de neurones et régularisation Chapitre 6 : Apprentissage des réseaux de neurones et régularisation 77 Chapitre 6 Apprentissage des réseaux de neurones et régularisation Après une introduction rapide aux réseaux de neurones et à la

Plus en détail

1. Vue rapide des logiciels disponibles

1. Vue rapide des logiciels disponibles Voici une revue rapide des progiciels gratuits accessibles [FREE AND SHAREWARE] dans la section SUITES du site KDNUGGETS (http://www.kdnuggets.com/software/suites.html). L étude sera approfondie pour les

Plus en détail

Ingénierie de Systèmes Intelligents

Ingénierie de Systèmes Intelligents Ingénierie de Systèmes Intelligents p. 1/ Ingénierie de Systèmes Intelligents Application : Web Intelligent Maria Malek EISTI Ingénierie de Systèmes Intelligents p. 2/ Objectif Traitement Intelligent des

Plus en détail

Journées d Eté Statistiques et Data Mining Le Croisic, du 29 juin au 03 juillet 2015

Journées d Eté Statistiques et Data Mining Le Croisic, du 29 juin au 03 juillet 2015 ournées d té tatistiques et Data ining Le roisic, du 29 juin au 03 juillet 2015 Nos 8 èmes ournées d té vous offrent la possibilité de construire votre programme personnalisé de formation en tatistiques

Plus en détail

Fouille de données orientée motifs, méthodes et usages.

Fouille de données orientée motifs, méthodes et usages. Fouille de données orientée motifs, méthodes et usages. François RIOULT GREYC - Équipe Données-Documents-Langues CNRS UMR 6072 Université de Caen Basse-Normandie France Résumé La fouille de données orientée

Plus en détail

Data mining I Exploration Statistique

Data mining I Exploration Statistique PUBLICATIONS DU LABORATOIRE DE STATISTIQUE ET PROBABILITÉS Data mining I Exploration Statistique ALAIN BACCINI & PHILIPPE BESSE Version septembre 2005 mises à jour : wwwlspups-tlsefr/besse Laboratoire

Plus en détail

LA NOTATION STATISTIQUE DES EMPRUNTEURS OU «SCORING»

LA NOTATION STATISTIQUE DES EMPRUNTEURS OU «SCORING» LA NOTATION STATISTIQUE DES EMPRUNTEURS OU «SCORING» Gilbert Saporta Professeur de Statistique Appliquée Conservatoire National des Arts et Métiers Dans leur quasi totalité, les banques et organismes financiers

Plus en détail

Data mining II. Modélisation Statistique & Apprentissage

Data mining II. Modélisation Statistique & Apprentissage Publications du Laboratoire de Statistique et Probabilités Data mining II. Modélisation Statistique & Apprentissage Philippe BESSE Version janvier 2003 mises à jour : www.lsp.ups-tlse.fr/besse Laboratoire

Plus en détail

Méthodes d apprentissage statistique «Machine Learning»

Méthodes d apprentissage statistique «Machine Learning» Méthodes d apprentissage statistique «Machine Learning» Fabrice TAILLIEU, Sébastien DELUCINGE, Rémi BELLINA Le marché de l assurance a rarement été marqué par un environnement aussi difficile qu au cours

Plus en détail

Data Mining et Statistique

Data Mining et Statistique Data Mining et Statistique Philippe Besse, Caroline Le Gall, Nathalie Raimbault & Sophie Sarpy Résumé Cet article propose une introduction au Data Mining. Celle-ci prend la forme d une réflexion sur les

Plus en détail

Fouille de Données et Media Sociaux Cours 2 Master DAC Data Science UPMC - LIP6

Fouille de Données et Media Sociaux Cours 2 Master DAC Data Science UPMC - LIP6 Fouille de Données et Media Sociaux Cours 2 Master DAC Data Science UPMC - LIP6 Ludovic Denoyer 21 septembre 2015 Ludovic Denoyer () FDMS 21 septembre 2015 1 / 1 Contexte Observation La plupart des bonnes

Plus en détail

Arbres de décision. Intelligence Artificielle et Systèmes Formels Master 1 I2L

Arbres de décision. Intelligence Artificielle et Systèmes Formels Master 1 I2L Arbres de décision Intelligence Artificielle et Systèmes Formels Master 1 I2L Sébastien Verel verel@lisic.univ-littoral.fr http://www-lisic.univ-littoral.fr/ verel Université du Littoral Côte d Opale Laboratoire

Plus en détail

Chapitre 4.2. «DATA MINING» ou FOUILLE DE DONNÉES

Chapitre 4.2. «DATA MINING» ou FOUILLE DE DONNÉES Chapitre 4.2 «DATA MINING» ou FOUILLE DE DONNÉES Gilbert Saporta 1. Définitions et historique Le data mining que l on peut traduire par fouille de données apparaît au milieu des années 1990 aux États-Unis

Plus en détail

Axe MSA Bilan scientifique et perspectives. ENSM.SE L. Carraro - 17 décembre 07

Axe MSA Bilan scientifique et perspectives. ENSM.SE L. Carraro - 17 décembre 07 Axe MSA Bilan scientifique et perspectives ENSM.SE L. Carraro - 17 décembre 07 17 décembre 07 2 Plan Compétences acquises domaines scientifiques compétences transverses Domaines ou activités accessibles

Plus en détail

Formation. Data-Science pour l Actuariat. 6 Juillet 2015

Formation. Data-Science pour l Actuariat. 6 Juillet 2015 Formation Data-Science pour l Actuariat 6 Juillet 2015 Formation Data Science pour l Actuariat Pourquoi? Nouveau contexte : nouveau besoin - Révolution numérique : données massives et hétérogènes, nouveaux

Plus en détail

Comment ne pas construire un score-titanic

Comment ne pas construire un score-titanic Comment ne pas construire un score-titanic Mon mailing Olivier Decourt ABS Technologies / Educasoft Formations 1- Les principes 2- Un premier exemple : les vins de France 3- Mise en œuvre sous SAS 4- Un

Plus en détail

Christophe CANDILLIER Cours de DataMining mars 2004 Page 1

Christophe CANDILLIER Cours de DataMining mars 2004 Page 1 Christophe CANDILLIER Cours de DataMining mars 2004 age 1 1. Introduction 2. rocessus du DataMining 3. Analyse des données en DataMining 4. Analyse en Ligne OLA 5. Logiciels 6. Bibliographie Christophe

Plus en détail

4.2 Unités d enseignement du M1

4.2 Unités d enseignement du M1 88 CHAPITRE 4. DESCRIPTION DES UNITÉS D ENSEIGNEMENT 4.2 Unités d enseignement du M1 Tous les cours sont de 6 ECTS. Modélisation, optimisation et complexité des algorithmes (code RCP106) Objectif : Présenter

Plus en détail

Introduction au Data Mining

Introduction au Data Mining Cours GMM Introduction au Data Mining 1.0 DT_GMM3 Décembre 2009 Légende Table des matières 3 4 Introduction Ce support de cours est un complément au cours magistral et n'est en aucun cas autosuffisant.

Plus en détail

L apprentissage automatique

L apprentissage automatique L apprentissage automatique L apprentissage automatique L'apprentissage automatique fait référence au développement, à l analyse et à l implémentation de méthodes qui permettent à une machine d évoluer

Plus en détail

Principales caractéristiques de Mixmod

Principales caractéristiques de Mixmod Modèle de mélanges Principales caractéristiques de Mixmod Gérard Govaert et Gilles Celeux 24 octobre 2006 1 Plan Le modèledemélange Utilisations du modèle de mélange Les algorithmes de Mixmod Modèle de

Plus en détail

Une pénalité de groupe pour des données multivoie de grande dimension

Une pénalité de groupe pour des données multivoie de grande dimension Une pénalité de groupe pour des données multivoie de grande dimension Laurent Le Brusquet 1, Arthur Tenenhaus 1,2, Gisela Lechuga 1, Vincent Perlbarg 2, Louis Puybasset 3 & Damien Galanaud 4. 1 Laboratoire

Plus en détail

Ce qu est le Data Mining

Ce qu est le Data Mining Data Mining 1 Ce qu est le Data Mining Extraction d informations intéressantes non triviales, implicites, préalablement inconnues et potentiellement utiles à partir de données. Autres appellations: ECD

Plus en détail

GPA759 RÉSEAUX DE NEURONES ET INTELLIGENCE ARTIFICIELLE Préalable(s) : Aucun PLAN DE COURS SESSION AUTOMNE 2013

GPA759 RÉSEAUX DE NEURONES ET INTELLIGENCE ARTIFICIELLE Préalable(s) : Aucun PLAN DE COURS SESSION AUTOMNE 2013 École de technologie supérieure Département de génie de la production automatisée Responsable(s) du cours : Crédits : Richard Lepage, ing., Ph.D. GPA759 RÉSEAUX DE NEURONES ET INTELLIGENCE ARTIFICIELLE

Plus en détail

Classification supervisée de documents

Classification supervisée de documents Classification supervisée de documents 1. Introduction La classification automatique supervisée de document devient nécessaire à cause du volume de documents échangés et stockés sur support électronique.

Plus en détail

Fouille de données et sémantique : des techniques pour donner du sens aux données

Fouille de données et sémantique : des techniques pour donner du sens aux données Fouille de données et sémantique : des techniques pour donner du sens aux données Nathalie Aussenac-Gilles (IRIT) co-animatrice avec M. Boughanem de l axe masse de données et calcul http://www.irit.fr/-masses-de-donnees-et-calcul,677-?lang=fr

Plus en détail

S y l l a b u s RECONNAISSANCE DES FORMES : CLASSIFICATION ET REGROUPEMENT IFT-64321 A

S y l l a b u s RECONNAISSANCE DES FORMES : CLASSIFICATION ET REGROUPEMENT IFT-64321 A RECONNAISSANCE DES FORMES : CLASSIFICATION ET REGROUPEMENT IFT-64321 A S y l l a b u s Jean-Marie Beaulieu Département d'informatique Téléphone: 656-2131 poste 2564 Courriel: jean-marie.beaulieu@ift.ulaval.ca

Plus en détail

16H30 Pratique de l analyse du travail 1. 10H30 Ergonomie de conception 2

16H30 Pratique de l analyse du travail 1. 10H30 Ergonomie de conception 2 P R O G R A M M E D E N O V E M B R E VENDREDI 6 14H30 SALLE 127 Réunion préparatoire à l enseignement Accueil des auditeurs, présentation du Laboratoire de Physiologie du Travail Modalités pratiques de

Plus en détail

Les algorithmes de fouille de données

Les algorithmes de fouille de données Février 2005 Les algorithmes de fouille de données DATAMINING Techniques appliquées à la vente, aux services client, interdictions. Cycle C Informatique Remerciements Je remercie les personnes, les universités

Plus en détail

Statistique en grande dimension pour la génomique Projets 2014-2015 L. Jacob, F. Picard, N. Pustelnik, V. Viallon

Statistique en grande dimension pour la génomique Projets 2014-2015 L. Jacob, F. Picard, N. Pustelnik, V. Viallon Statistique en grande dimension pour la génomique Projets 2014-2015 L. Jacob, F. Picard, N. Pustelnik, V. Viallon Table des matières 1 Graph Kernels for Molecular Structure-Activity Relationship Analysis

Plus en détail

Le data mining met en œuvre un ensemble de techniques issues des statistiques, de l analyse de données et de l informatique pour explorer les données.

Le data mining met en œuvre un ensemble de techniques issues des statistiques, de l analyse de données et de l informatique pour explorer les données. COURS DE DATA MINING 3 : MODELISATION PRESENTATION GENERALE EPF 4/ 5 ème année - Option Ingénierie d Affaires et de Projets - Finance Bertrand LIAUDET Phase 4 : Modelisation 1 Classement des techniques

Plus en détail

Stéphane Tufféry DATA MINING & STATISTIQUE DÉCISIONNELLE. 25/12/2006 Stéphane Tufféry - Data Mining - http://data.mining.free.fr

Stéphane Tufféry DATA MINING & STATISTIQUE DÉCISIONNELLE. 25/12/2006 Stéphane Tufféry - Data Mining - http://data.mining.free.fr 1 Stéphane Tufféry DATA MINING & STATISTIQUE DÉCISIONNELLE 2 Présentation de l auteur En charge de la statistique et du data mining dans un grand groupe bancaire Enseigne le data mining en Master 2 dans

Plus en détail

FOUILLE DE DONNEES. Anne LAURENT POLYTECH'MONTPELLIER IG 5

FOUILLE DE DONNEES. Anne LAURENT POLYTECH'MONTPELLIER IG 5 FOUILLE DE DONNEES Anne LAURENT POLYTECH'MONTPELLIER IG 5 Pourquoi la fouille de données? Données disponibles Limites de l approche humaine Nombreux besoins : Industriels, Médicaux, Marketing, Qu est-ce

Plus en détail

Data Mining. Vincent Augusto 2012-2013. École Nationale Supérieure des Mines de Saint-Étienne. Data Mining. V. Augusto.

Data Mining. Vincent Augusto 2012-2013. École Nationale Supérieure des Mines de Saint-Étienne. Data Mining. V. Augusto. des des Data Mining Vincent Augusto École Nationale Supérieure des Mines de Saint-Étienne 2012-2013 1/65 des des 1 2 des des 3 4 Post-traitement 5 représentation : 6 2/65 des des Définition générale Le

Plus en détail

Techniques du Data Mining pour la prédiction de faillite des entreprises et la gestion du risque de crédit

Techniques du Data Mining pour la prédiction de faillite des entreprises et la gestion du risque de crédit Techniques du Data Mining pour la prédiction de faillite des entreprises et la gestion du risque de crédit Adil Belhouari HEC - Montréal - Journées de l Optimisation 2005-09 Mai 2005 PLAN DE LA PRÉSENTATION

Plus en détail

Ingénierie de Systèmes Intelligents

Ingénierie de Systèmes Intelligents Ingénierie de Systèmes Intelligents p. 1/? Ingénierie de Systèmes Intelligents Maria Malek maria.malek@eisti.fr Ecole Internationale des Sciences de Traitement de l Information (EISTI) http://www.eisti.fr/

Plus en détail

Transmission d informations sur le réseau électrique

Transmission d informations sur le réseau électrique Transmission d informations sur le réseau électrique Introduction Remarques Toutes les questions en italique devront être préparées par écrit avant la séance du TP. Les préparations seront ramassées en

Plus en détail

Data mining 1. Exploration Statistique

Data mining 1. Exploration Statistique PUBLICATIONS DU LABORATOIRE DE STATISTIQUE ET PROBABILITÉS Data mining 1 Exploration Statistique ALAIN BACCINI & PHILIPPE BESSE Version septembre 2004 mises à jour : wwwlspups-tlsefr/besse Laboratoire

Plus en détail

OLAP. Data Mining Decision

OLAP. Data Mining Decision Machine Learning Information Systems Data Warehouses Web & Cloud Intelligence OLAP Knowledge Management Data Mining Decision ENTREPÔTS, REPRÉSENTATION & INGÉNIERIE des CONNAISSANCES Une recherche pluridisciplinaire...

Plus en détail

FOUILLE DE DONNEES. Anne LAURENT ECD. laurent@lirmm.fr

FOUILLE DE DONNEES. Anne LAURENT ECD. laurent@lirmm.fr FOUILLE DE DONNEES Anne LAURENT laurent@lirmm.fr ECD Pourquoi la fouille de données? Données disponibles Limites de l approche humaine Nombreux besoins : Industriels, Médicaux, Marketing, Qu est-ce que

Plus en détail

Techniques de DM pour la GRC dans les banques Page 11

Techniques de DM pour la GRC dans les banques Page 11 Techniques de DM pour la GRC dans les banques Page 11 II.1 Introduction Les techniques de data mining sont utilisé de façon augmentaté dans le domaine économique. Tels que la prédiction de certains indicateurs

Plus en détail

Laboratoire 4 Développement d un système intelligent

Laboratoire 4 Développement d un système intelligent DÉPARTEMENT DE GÉNIE LOGICIEL ET DES TI LOG770 - SYSTÈMES INTELLIGENTS ÉTÉ 2012 Laboratoire 4 Développement d un système intelligent 1 Introduction Ce quatrième et dernier laboratoire porte sur le développement

Plus en détail

Classification par des méthodes de data mining. Yawo Eli Amesefe Guillaume Cernier Christophe Labrousse

Classification par des méthodes de data mining. Yawo Eli Amesefe Guillaume Cernier Christophe Labrousse Classification par des méthodes de data mining Yawo Eli Amesefe Guillaume Cernier Christophe Labrousse Plan: Le processus métier Présentation des 3 méthodes étudiées: Arbres de décision Machines à vecteurs

Plus en détail

ESSEC. Cours «Management bancaire» Séance 3 Le risque de crédit Le scoring

ESSEC. Cours «Management bancaire» Séance 3 Le risque de crédit Le scoring ESSEC Cours «Management bancaire» Séance 3 Le risque de crédit Le scoring Les méthodes d évaluation du risque de crédit pour les PME et les ménages Caractéristiques Comme les montants des crédits et des

Plus en détail

Data mining II. Modélisation Statistique & Apprentissage

Data mining II. Modélisation Statistique & Apprentissage PUBLICATIONS DU LABORATOIRE DE STATISTIQUE ET PROBABILITÉS Data mining II. Modélisation Statistique & Apprentissage PHILIPPE BESSE Version mars 2005 mises à jour : www.lsp.ups-tlse.fr/besse Laboratoire

Plus en détail

Optimisation de la compression fractale D images basée sur les réseaux de neurones

Optimisation de la compression fractale D images basée sur les réseaux de neurones Optimisation de la compression fractale D images basée sur les réseaux de neurones D r BOUKELIF Aoued Communication Networks,Architectures and Mutimedia laboratory University of S.B.A aoued@hotmail.com

Plus en détail

Master ISI 2010-2011. Data Mining Recherche des sous-ensembles fréquents

Master ISI 2010-2011. Data Mining Recherche des sous-ensembles fréquents Master ISI 2010-2011 Data Mining Recherche des sous-ensembles fréquents Yves Lechevallier INRIA-Rocquencourt E_mail : Yves.Lechevallier@inria.fr 1 Processus Data Mining Phase A : Entrepôt de données Entrepôt

Plus en détail

Discrétisation et génération de hiérarchies de concepts

Discrétisation et génération de hiérarchies de concepts Prétraitement des données 1 Pourquoi prétraiter les données? Nettoyage des données Intégration et transformation Réduction des données Discrétisation et génération de hiérarchies de g concepts Pourquoi

Plus en détail

Acteos Points de Vente Acteos PPS

Acteos Points de Vente Acteos PPS Acteos Points de Vente Acteos PPS Christian Zelle Directeur R&D, Acteos 06.05.2010 1 Agenda Motivation ACTEOS PPS La solution ACTEOS PPS ACTEOS PPS dans le contexte du «Flowcasting» 2 Motivation Les problématiques

Plus en détail

Les arbres de décision

Les arbres de décision Les arbres de décision 25 Septembre 2007 Datamining 1 2007-2008 Plan 1 Le partitionnement récursif 2 C4.5 3 CART 4 Evaluation de performances 5 Bilan Datamining 2 2007-2008 Les données du Titanic Le partitionnement

Plus en détail