Apprentissage bayésien
|
|
- Eliane Pinard
- il y a 8 ans
- Total affichages :
Transcription
1 Apprentissage bayésien Introduction Théorème de Bayes Apprentissage de concepts Apprentissage d'une fonction à valeurs réelles Longueur de description minimale Classeur bayésien optimal Classeur bayésien naïf Réseaux bayésiens Introduction Deux rôles des méthodes bayésiennes Fournir des algorithmes d'apprentissage Classeur bayésien naïf Apprentissage de réseaux bayésiens Fournir un cadre conceptuel utile Etalon pour évaluer d'autres d'algorithmes d'apprentissage Une autre vision du rasoir d'occam Caractéristiques de l'apprentissage bayésien ^ Influence incrémentale de chaque exemple Combinaison de connaissances préalables (probabilité a-priori) avec les données observées distribution de probabilité des hypothèses distribution de probabilité des données observées Conclusions probabilistes Combinaisons de prédictions Requiert des probabilités a-priori Coût de l'hypothèse optimale Théorème de Bayes P(h D) = P(D h)p(h)/p(d) P(h) P(D) Probabilité a-priori de l'hypothèse h 1 sur 14
2 Probabilité a-priori des données D P(h D) Probabilité de h étant donné D P(D h) Probabilité de D étant donné h Choix des hypothèses P(h D) = P(D h)p(h)/p(d) On veut généralement l'hypothèse la plus probable étant donné l'observation : hypothèse MAP (Maximum A Posteriori) : h MAP P(h D) P(D h)p(h)/p(d) P(D h)p(h) Si on suppose en plus que P(h) est constant, on obtient l'hypothèse la plus vraisemblable ML (Maximum Likelihood) : h ML P(D h) Exemple d'application du théorème de Bayes Est-ce qu'un patient a un cancer ou non? Un patient subit des analyses médicales et le résultat du laboratoire est positif. Le test qu'il a subit rend un résultat positif dans 98% des cas où la maladie est vraiment présente, et un résultat négatif dans 97% des cas où il n'y a pas de maladie. On sait de plus que 0,8% de la population souffre de ce cancer. P(cancer) = 0,008 P( cancer) = 0,992 P(+ cancer) = 0,98 P(- cancer) = 0,02 P(+ cancer) = 0,03 P(- cancer) = 0,97 Hypothèse MAP : P(cancer +) P(+ cancer)p(cancer) = 0, = 0,0078 P( cancer +) P(+ cancer)p( cancer) = 0,03 0,992 = 0,0298 h MAP = cancer P(cancer +) = 0,0078 / (0, ,0289) = 0,21 Formules de base pour le calcul de probabilités 2 sur 14
3 Règle du produit P(A B) = P(A B)P(B) = P(B A)P(A) Règle de la somme P(A B) = P(A) + P(B) - P(A B) Théorème de la probabilité totale Soient des événements A 1, A 2,...,A n mutuellement exclusifs avec i P(A i ) = 1, alors P(B) = i P(B A i )P(A i ) ^ Théorème de Bayes et apprentissage de concepts Algorithme d'apprentissage MAP par force brute 1. Pour chaque hypothèse h de H, calculer la probabilité a-posteriori P(h D) = P(D h)p(h)/p(d) 2. Rendre l'hypothèse h MAP de plus grande probabilité a-posteriori h MAP = argmax h H P(h D) Relation avec l'apprentissage de concepts Considérons la tâche d'apprentissage usuelle : Espace des instances X, espace des hypothèses H, Exemples d'apprentissage D considérons l'algorithme TrouverS qui rend l'hypothèse la plus spécifique de l'espace des versions VS H,D Quelle est l'hypothèse MAP produite par la règle de Bayes? Est-ce que TrouverS rend l'hypothèse MAP? On considère un ensemble fixe d'instances {x 1, x 2,..., x m }. On suppose que D est l'ensemble des classes {c(x 1 ), c(x 2 ),..., c(x m )}. Hypothèses 1. Ensemble d'apprentissage sans bruit 2. H contient le concept cible c 3 sur 14
4 3. Il n'y a pas de raison a-priori qu'une hypothèse soit plus probable qu'une autre On choisit P(h) constant : h H, P(h) = 1 / H. On définit P(D h) : P(D h) = 1 si h est cohérente avec D P(D h) = 0 sinon Alors P(h D) = 1/ VS H,D si h est cohérente avec D, O sinon. Preuve Si h n'est pas cohérente avec D, P(D h) = 0, donc P(h D) = P(D h)p(h)/p(d) = 0 Si h est cohérente avec D, P(D h) = 1, donc P(h D) = P(h)/P(D) = 1/[P(D) H ] h H P(h D) = 1 = VS H,D /[P(D) H ], donc P(D) = VS H,D / H Autre approche : P(D) = h H P(D h)p(h) = h VSH,D 1 1/ H + h VSH,D 0 1/ H = VS H,D / H Evolution des probabilités a-posteriori Caractérisation des algorithmes d'apprentissage par rapport à l'hypothèse MAP Système inductif Entrées Exemples d'apprentissage D Espace des hypothèses H Sorties Hypothèse résultat Système bayésien équivalent 4 sur 14
5 Entrées Exemples d'apprentissage D Espace des hypothèses H Explicitation des hypothèses a-priori : P(h) uniforme P(D h) = 1 si cohérent, 0 sinon Sorties Hypothèse résultat ^ Apprentissage d'une fonction à valeurs réelles Hypothèses du maximum de vraisemblance et de la moindre erreur quadratique Considérons une fonction cible f à valeurs réelles. Soient les exemples d'apprentissage <x i, d i > où d i est une valeur bruitée : d i = f(x i ) + e i. e i est une variable aléatoire tirée indépendamment de chaque x i suivant une distribution gaussienne de moyenne égale à 0. Alors l'hypothèse la plus vraisemblable h ml est celle qui minimise la somme des carrés de l'erreur : Preuve h ml = argmin h H i (d i - h(x i )) 2 h ml p(d h) 5 sur 14
6 i p(d i h) i 1/(2πσ 2 ) 1/2 e - 1/2 ((d i - h(x i ))/σ)2 i ln(1/(2πσ 2 ) 1/2 ) - 1/2 ((d i - h(x i ))/σ) 2 i - 1/2 ((d i - h(x i ))/σ) 2 i - (d i - h(x i )) 2 = argmin h H i (d i - h(x i )) 2 Remarques Minimisation de l'erreur quadratique fréquemment utilisée pour l'apprentissage de fonctions à valeurs continues, par exemple dans les réseaux de neurones Distributions du bruit : souvent une distribution normale grâce au théorème de la limite centrale, mais pas toujours... Ne tient pas compte du bruit sur les attributs!... Apprendre à prédire des probabilités On veut, par exemple, prédire la probabilité de survie d'un patient f'(x) = P(f(x)=1) Les exemples d'apprentissage sont de la forme <x i,d i > où d vaut 0 ou 1. On veut entrainer un réseau de neurones à rendre une probabilité étant donné x i (pas 0 ou 1). Dans ce cas, on montre que : Preuve h ML i d i ln h(x i ) + (1-d i ) ln(1-h(x i )) h ML P(D h) i p(x i,d i h) i p(d i h,x i )p(x i ) Rq : P(d i h,x i ) = h(x i ) si d i =1, (1-h(x i )) si d i =0 i h(x i ) d i (1-h(x i )) 1-d ip(x i ) i h(x i ) d i (1-h(x i )) 1-d i i d i ln(h(x i )) + (1-d i ) ln(1-h(x i )) Règle de modification des pondérations 6 sur 14
7 w jk w jk + Δw jk Δw jk = η i (d i - h(x i )) x ijk ^ Principe de longueur de description minimale Rasoir d'occam Préférer les hypothèses les plus courtes MDL Préférer l'hypothèse h qui minimise : h MDL = argmin h H L C1 (h) + L C2 (D h) où L C (x) est la longueur de la description de x dans l'encodage C Exemple H = arbres de décision, D = classes des exemples L C1 (h) est le nombre de bits pour décrire l'arbre h L C2 (D h) est le nombre de bits pour décrire D étant donné h L C2 (D h) = 0 pour les exemples classés correctement par h. On a seulement besoin de décrire les exceptions. Donc h MDL est un compromis entre la taille de l'arbre et la description des erreurs sur l'ensemble d'apprentissage h MAP P(D h)p(h) log 2 P(D h) + log 2 P(h) = argmin h H - log 2 P(D h) - log 2 P(h) Fait intéressant de la théorie de l'information : le code optimal (la longueur de codage la plus courte) d'un événement de probabilité p est - log 2 p bits. L'interprétation est donc : - log 2 P(h) est la longueur optimale de codage de h 7 sur 14
8 - log 2 P(D h) est la longeur optimale de codage de D étant donné h h MAP préfére donc l'hypothèse qui minimise longueur(h) + longueur(erreurs de classification) ^ Classification la plus probable de nouvelles instances Jusqu'à présent nous avons cherché l'hypothèse la plus probable étant donné les données D (h MAP ). Etant donné une nouvelle instance x, quelle est sa classe la plus probable? h MAP (x) n'est pas nécessairement la classe la plus probable! Exemple On a 3 hypothèses possibles de probabilités P(h 1 D) = 0,4, P(h 2 D) = 0,3 et P(h 3 D) = 0,3. On considère une nouvelle instance x telle que h 1 (x)=+, h 2 (x)=- et h 3 (x)=-. Quelle est la classe la plus probable pour x? Classeur bayésien optimal Exemple argmax v V h H P(v h)p(h D) P(h 1 D) = 0,4 P(- h 1 ) = 0 P(+ h 1 ) = 1 P(h 2 D) = 0,3 P(- h 2 ) = 1 P(+ h 2 ) = 0 P(h 3 D) = 0,3 P(- h 3 ) = 1 P(+ h 3 ) = 0 h H P(+ h)p(h D) = 0,4 h H P(- h)p(h D) = 0,6 argmax v V h H P(v h)p(h D) = - Classeur de Gibbs 8 sur 14
9 Le classeur bayésien optimal fournit le meilleur résultat, mais il peut être coûteux s'il y a beaucoup d'hypothèses. Algorithme de Gibbs Choisir une hypothèse au hasard en fonction de P(h D) L'utiliser pour classer la nouvelle instance Surprise Si on suppose que les concepts cibles sont choisis au hasard dans H en fonction de la probabilité a-priori sur H, alors : E[erreur Gibbs ] 2 E[erreur BayésienOptimal ] Si on suppose une distribution de probabilité uniforme sur H, alors ^ choisir une hypothèse de l'espace des versions, avec une probabilité uniforme son erreur attendue est inférieur au double de celle du classeur bayésien optimal Classeur bayésien naïf Une des méthodes les plus pratiques avec les arbres de décision, réseaux de neurones et plus proches voisins. Conditions d'emploi Un ensemble d'apprentissage de taille modérée, voire grande. Les attributs qui décrivent les instances sont indépendants étant donné la classe. Applications réussies Diagnostic Classification de documents textuels Soit une fonction cible f: X V, où chaque instance x est décrite par ses valeurs <a 1, a 2,..., a n >. La valeur la plus probable de f(x) est : v MAP = argmax v V P(v a 1, a 2,..., a n ) = argmax v V P(a 1, a 2,..., a n v) P(v) / P(a 1, a 2,..., a n ) = argmax v V P(a 1, a 2,..., a n v) P(v) 9 sur 14
10 Hypothèse naïve de Bayes P(a 1, a 2,..., a n v) = i P(a i v) Classeur bayésien naïf v NB = argmax v V P(v) i P(a i v) Apprentissage Pour chaque valeur v de la fonction cible estimer P(v) Pour chaque valeur a de chaque attribut A estimer P(a v) Classification d'une nouvelle instance v NB = argmax v V P(v) i P(a i v) à partir des estimations apprises Exemple Reprenons notre exemple JouerTennis, et considérons une nouvelle instance : <Ciel = soleil; Température = froid; Humidité = élevée; Vent = fort> P(o) P(soleil o) P(froid o) P(élevée o) P(fort o) = 0,005 P(n) P(soleil n) P(froid n) P(élevée n) P(fort n) = 0,021 v NB = n Subtilités La condition d'indépendance P(a 1, a 2,..., a n v) = i P(a i v) est souvent violée. Mais ça marche quand même bien. En effet, on n'a pas besoin d'une bonne estimation de P(v x), mais seulement que : argmax v V P(v) i P(a i v) = argmax v V P(v) P(a 1, a 2,..., a n v) Analyse de [Domingos & Pazzani, 1996] Les probabilités a-posteriori du classeur bayésien naïf sont souvent, de façon peu réaliste, proches de 0 ou de 1. Que se passe-t-il si aucun exemple de classe v ne prend la valeur a pour l'attribut A? Si l'estimation de P(a v) vaut 0, alors P(v) i P(a i v) = 0!... Une solution typique est d'utiliser un m-estimateur : 10 sur 14
11 estimation de P(a v) =(n c + m p) / (n + m) n est le nombre d'exemples de classe v n v est le nombre d'exemples de classe v et de valeur a pour l'attribut A p est la probabilité a-priori de P(a v) m est le poids donné à la probabilité a-priori, un nombre d'exemples virtuels Apprendre à classer des textes Pourquoi? Apprendre quels articles de news sont intéressants pour l'utilisateur Apprendre à classer des pages web par sujet Le classeur bayésien naïf est parmi les algorithmes les plus efficaces Quels attributs faut-il utiliser pour représenter des documents? Représenter chaque document par un vecteur de mots : un attribut par position de mot dans le document Apprentissage : utiliser les exemples d'apprentissage pour estimer P(+) P(-) P(document +) P(document -) Hypothèse de Bayes naïve d'indépendance conditionnelle P(document v) = i P(a i = w k v) P(a i = w k v) est la probabilité que le mot à la position i soit w k étant donné la classe w Hypothèse supplémentaire : i,m, P(a i = w k v) = P(a m = w k v) Algorithme d'apprentissage 1. Rassembler la liste des mots qui apparaissent dans les exemples pour constituer le vocabulaire 2. Calculer les probabilités P(v) et P(w k v) Pour chaque valeur v de la fonction cible docs exemples de classe v P(v) docs / exemples texte document résultant de la concaténation de tous les éléments de docs 11 sur 14
12 n nombre total de mots de texte (en comptant les répétitions plusieurs fois) Pour chaque mot w k du vocabulaire n k nombre d'occurences du mot w k dans texte P(w k v) (n k +1) / (n+ vocabulary ) Algorithme de classification positions toutes les positions de mots dans le document qui contiennent des mots du vocabulaire Rendre v NB = argmax v V P(v) i positions P(a i v) Application à 20 newsgroups Etant donné 1000 documents d'apprentissage de chaque groupe, apprendre à classer de nouveaux documents en fonction du groupe dont ils viennent comp.graphics misc.forsale comp.os.ms-windows.misc rec.auto comp.sys.ibm.pc.hardware rec.motorcycles comp.sys.mac.hardware comp.windows.x alt.atheism talk.religion.misc talk.politics.mideast talk.politics.misc talk.politics.guns rec.sport.baseball rec.sport.hockey soc.religion.christian sci.space sci.electronics sci.med sci.crypt Exemple d'article Path: cantaloupe.srv.cs.cmu.edu!das-news.harvard.edu!ogicse!uwm.edu From: xxx@yyy.zzz.edu (John Doe) Subject: Re: This year's biggest and worst (opinion)... Date: 5 Apr 93 09:53:39 GMT I can only comment on the Kings, but the most obvious candidate for pleasant surprise is Alex Zhitnik. He came highly touted as a defensive defenseman, but he's clearly much more than that. Great skater and hard shot (though wish he were more accurate). In fact, he pretty much allowed the Kings to trade away that huge defensive liability Paul Coffey. Kelly Hrudey is only the biggest disappointment if you thought he was any good to begin with. But, at best, he's only a mediocre goaltender. A better choice would be Tomas Sandstrom, though not through any fault of his own, but because some thugs in Toronto decided Classeur bayésien naïf : précision de classification de 89 % 12 sur 14
13 ^ Réseaux bayésiens Intéressants pour les raisons suivantes : L'hypothèse de Bayes naïve d'indépendance conditionnelle est trop restrictive Problème incalculable sans de telles hypothèses... Réseaux bayésiens décrivent une indépendance conditionnelle entre un sous-ensemble des variables Ils permettent de combiner une connaissance préalable propos des (in)dépendances entre les variables avec les données observées Indépendance conditionnelle X est conditionnellement indépendant de Y étant donné Z si la distribution de probabilité dirigeant X est indépendante de la valeur de Y étant donné la valeur de Z, c'est-à-dire : x,y,z, P(X=x Y=y,Z=z) = P(X=x Z=z) P(X Y,Z) = P(X Z) Par exemple, le tonnerre est indépendant de la pluie étant donné l'éclair : P(tonnerre pluie,éclair) = P(tonnerre éclair) Classeur bayésien naïf utilise l'indépendance conditionnelle pour justifier : P(X,Y Z) = P(X Y,Z)P(Y Z) = P(X Z)P(Y Z) Réseau bayésien Feu de camp O,B O, B O,B O, B F 0,4 0,1 0,8 0,2 F 0,6 0,9 0,2 0,8 Le réseau représente un ensemble d'hypothèses dindépendance conditionnelle : Graphe dirigé acylique Chaque noeud est supposé indépendant conditionnellement de ses non-descendants, étant donné ses prédécesseurs immédiats Représente la distribution de probabilité jointe sur toutes ses variables Par exemple, P(Orage,BusTouriste,..., FeuForêt) 13 sur 14
14 En général, P(y 1,..., y n ) = P(y i Parents(Y i ), où Parents(Y i représente les prédécesseurs immédiats de Y i dans le graphe Ainsi une distribution complète est définie par le graphe, plus les probabilités P(y i Parents(Y i ) Inférence Prédire la valeur (distribution de probabilité!) d'une variable étant données les valeurs de quelques autres variables NP-difficile Méthodes exactes ou approchées Apprentissage Apprentissage des probabilités conditionnelles Si toutes les variables sont connues dans les exemples, estimation facile Sinon, semblable à la couche cachée d'un réseau de neurones Soient une variable Y i de Parents(Y i )=U i, h l'hypothèse courante et w ijk = P(Y i =y j U i =u k ), w ijk w ijk + η exemples d de D P(Y i =y j, U i =u k h) / w ijk Apprentissage de la structure Problème difficile Nicolas Lachiche CNAM sur 14
Algorithmes d'apprentissage
Algorithmes d'apprentissage 1 Agents qui apprennent à partir d'exemples La problématique : prise de décision automatisée à partir d'un ensemble d'exemples Diagnostic médical Réponse à une demande de prêt
Plus en détailPourquoi l apprentissage?
Pourquoi l apprentissage? Les SE sont basés sur la possibilité d extraire la connaissance d un expert sous forme de règles. Dépend fortement de la capacité à extraire et formaliser ces connaissances. Apprentissage
Plus en détailRaisonnement probabiliste
Plan Raisonnement probabiliste IFT-17587 Concepts avancés pour systèmes intelligents Luc Lamontagne Réseaux bayésiens Inférence dans les réseaux bayésiens Inférence exacte Inférence approximative 1 2 Contexte
Plus en détailProbabilités et Statistiques. Feuille 2 : variables aléatoires discrètes
IUT HSE Probabilités et Statistiques Feuille : variables aléatoires discrètes 1 Exercices Dénombrements Exercice 1. On souhaite ranger sur une étagère 4 livres de mathématiques (distincts), 6 livres de
Plus en détailCapacité d un canal Second Théorème de Shannon. Théorie de l information 1/34
Capacité d un canal Second Théorème de Shannon Théorie de l information 1/34 Plan du cours 1. Canaux discrets sans mémoire, exemples ; 2. Capacité ; 3. Canaux symétriques ; 4. Codage de canal ; 5. Second
Plus en détail6. Hachage. Accès aux données d'une table avec un temps constant Utilisation d'une fonction pour le calcul d'adresses
6. Hachage Accès aux données d'une table avec un temps constant Utilisation d'une fonction pour le calcul d'adresses PLAN Définition Fonctions de Hachage Méthodes de résolution de collisions Estimation
Plus en détailIntroduction au Data-Mining
Introduction au Data-Mining Alain Rakotomamonjy - Gilles Gasso. INSA Rouen -Département ASI Laboratoire PSI Introduction au Data-Mining p. 1/25 Data-Mining : Kèkecé? Traduction : Fouille de données. Terme
Plus en détailApprentissage incrémental par sélection de données dans un flux pour une application de sécurité routière
Apprentissage incrémental par sélection de données dans un flux pour une application de sécurité routière Nicolas Saunier INRETS Télécom Paris Sophie Midenet INRETS Alain Grumbach Télécom Paris Conférence
Plus en détailIntroduction au datamining
Introduction au datamining Patrick Naïm janvier 2005 Définition Définition Historique Mot utilisé au départ par les statisticiens Le mot indiquait une utilisation intensive des données conduisant à des
Plus en détailApprentissage. Intelligence Artificielle NFP106 Année 2012-2013. Plan. Apprentissage. Apprentissage
Intelligence Artificielle NFP106 Année 2012-2013 Apprentissage! F.-Y. Villemin! Plan! Apprentissage! Induction! Règles d'inférence inductive! Apprentissage de concepts!! Arbres de décision! ID3! Analogie
Plus en détailChapitre 6 Apprentissage des réseaux de neurones et régularisation
Chapitre 6 : Apprentissage des réseaux de neurones et régularisation 77 Chapitre 6 Apprentissage des réseaux de neurones et régularisation Après une introduction rapide aux réseaux de neurones et à la
Plus en détailAPPORT DES RESEAUX BAYESIENS DANS LA PREVENTION DE LA DELINQUANCE
SûretéGlobale.Org La Guitonnière 49770 La Meignanne Téléphone : +33 241 777 886 Télécopie : +33 241 200 987 Portable : +33 6 83 01 01 80 Adresse de messagerie : c.courtois@sureteglobale.org APPORT DES
Plus en détailIntroduction au Data-Mining
Introduction au Data-Mining Gilles Gasso, Stéphane Canu INSA Rouen -Département ASI Laboratoire LITIS 8 septembre 205. Ce cours est librement inspiré du cours DM de Alain Rakotomamonjy Gilles Gasso, Stéphane
Plus en détailMaster d Informatique M1 Université Paris 7 - Denis Diderot Travail de Recherche Encadré Surf Bayesien
Master d Informatique M1 Université Paris 7 - Denis Diderot Travail de Recherche Encadré Surf Bayesien Denis Cousineau Sous la direction de Roberto di Cosmo Juin 2005 1 Table des matières 1 Présentation
Plus en détailLA NOTATION STATISTIQUE DES EMPRUNTEURS OU «SCORING»
LA NOTATION STATISTIQUE DES EMPRUNTEURS OU «SCORING» Gilbert Saporta Professeur de Statistique Appliquée Conservatoire National des Arts et Métiers Dans leur quasi totalité, les banques et organismes financiers
Plus en détailApprentissage Automatique
Apprentissage Automatique Introduction-I jean-francois.bonastre@univ-avignon.fr www.lia.univ-avignon.fr Définition? (Wikipedia) L'apprentissage automatique (machine-learning en anglais) est un des champs
Plus en détailMéthodes de Simulation
Méthodes de Simulation JEAN-YVES TOURNERET Institut de recherche en informatique de Toulouse (IRIT) ENSEEIHT, Toulouse, France Peyresq06 p. 1/41 Remerciements Christian Robert : pour ses excellents transparents
Plus en détailAnalyse stochastique de la CRM à ordre partiel dans le cadre des essais cliniques de phase I
Analyse stochastique de la CRM à ordre partiel dans le cadre des essais cliniques de phase I Roxane Duroux 1 Cadre de l étude Cette étude s inscrit dans le cadre de recherche de doses pour des essais cliniques
Plus en détailAlgorithmes de recherche
Algorithmes de recherche 1 Résolution de problèmes par recherche On représente un problème par un espace d'états (arbre/graphe). Chaque état est une conguration possible du problème. Résoudre le problème
Plus en détailBaccalauréat ES Antilles Guyane 12 septembre 2014 Corrigé
Baccalauréat ES Antilles Guyane 12 septembre 2014 Corrigé EXERCICE 1 5 points Commun à tous les candidats 1. Réponse c : ln(10)+2 ln ( 10e 2) = ln(10)+ln ( e 2) = ln(10)+2 2. Réponse b : n 13 0,7 n 0,01
Plus en détailSoutenance de stage Laboratoire des Signaux et Systèmes
Soutenance de stage Laboratoire des Signaux et Systèmes Bornes inférieures bayésiennes de l'erreur quadratique moyenne. Application à la localisation de points de rupture. M2R ATSI Université Paris-Sud
Plus en détailI. Introduction. 1. Objectifs. 2. Les options. a. Présentation du problème.
I. Introduction. 1. Objectifs. Le but de ces quelques séances est d introduire les outils mathématiques, plus précisément ceux de nature probabiliste, qui interviennent dans les modèles financiers ; nous
Plus en détailModélisation aléatoire en fiabilité des logiciels
collection Méthodes stochastiques appliquées dirigée par Nikolaos Limnios et Jacques Janssen La sûreté de fonctionnement des systèmes informatiques est aujourd hui un enjeu économique et sociétal majeur.
Plus en détailChristophe CANDILLIER Cours de DataMining mars 2004 Page 1
Christophe CANDILLIER Cours de DataMining mars 2004 age 1 1. Introduction 2. rocessus du DataMining 3. Analyse des données en DataMining 4. Analyse en Ligne OLA 5. Logiciels 6. Bibliographie Christophe
Plus en détailThéorie et Codage de l Information (IF01) exercices 2013-2014. Paul Honeine Université de technologie de Troyes France
Théorie et Codage de l Information (IF01) exercices 2013-2014 Paul Honeine Université de technologie de Troyes France TD-1 Rappels de calculs de probabilités Exercice 1. On dispose d un jeu de 52 cartes
Plus en détailIntroduction à la Statistique Inférentielle
UNIVERSITE MOHAMMED V-AGDAL SCIENCES FACULTE DES DEPARTEMENT DE MATHEMATIQUES SMI semestre 4 : Probabilités - Statistique Introduction à la Statistique Inférentielle Prinemps 2013 0 INTRODUCTION La statistique
Plus en détailMCMC et approximations en champ moyen pour les modèles de Markov
MCMC et approximations en champ moyen pour les modèles de Markov Gersende FORT LTCI CNRS - TELECOM ParisTech En collaboration avec Florence FORBES (Projet MISTIS, INRIA Rhône-Alpes). Basé sur l article:
Plus en détailPROBLEMES D'ORDONNANCEMENT AVEC RESSOURCES
Leçon 11 PROBLEMES D'ORDONNANCEMENT AVEC RESSOURCES Dans cette leçon, nous retrouvons le problème d ordonnancement déjà vu mais en ajoutant la prise en compte de contraintes portant sur les ressources.
Plus en détailProgrammation linéaire
1 Programmation linéaire 1. Le problème, un exemple. 2. Le cas b = 0 3. Théorème de dualité 4. L algorithme du simplexe 5. Problèmes équivalents 6. Complexité de l Algorithme 2 Position du problème Soit
Plus en détailPROBABILITES ET STATISTIQUE I&II
PROBABILITES ET STATISTIQUE I&II TABLE DES MATIERES CHAPITRE I - COMBINATOIRE ELEMENTAIRE I.1. Rappel des notations de la théorie des ensemble I.1.a. Ensembles et sous-ensembles I.1.b. Diagrammes (dits
Plus en détail$SSOLFDWLRQGXNULJHDJHSRXUOD FDOLEUDWLRQPRWHXU
$SSOLFDWLRQGXNULJHDJHSRXUOD FDOLEUDWLRQPRWHXU Fabien FIGUERES fabien.figueres@mpsa.com 0RWVFOpV : Krigeage, plans d expériences space-filling, points de validations, calibration moteur. 5pVXPp Dans le
Plus en détailChapitre 1 : Introduction aux bases de données
Chapitre 1 : Introduction aux bases de données Les Bases de Données occupent aujourd'hui une place de plus en plus importante dans les systèmes informatiques. Les Systèmes de Gestion de Bases de Données
Plus en détailRapidMiner. Data Mining. 1 Introduction. 2 Prise en main. Master Maths Finances 2010/2011. 1.1 Présentation. 1.2 Ressources
Master Maths Finances 2010/2011 Data Mining janvier 2011 RapidMiner 1 Introduction 1.1 Présentation RapidMiner est un logiciel open source et gratuit dédié au data mining. Il contient de nombreux outils
Plus en détailProbabilités (méthodes et objectifs)
Probabilités (méthodes et objectifs) G. Petitjean Lycée de Toucy 10 juin 2007 G. Petitjean (Lycée de Toucy) Probabilités (méthodes et objectifs) 10 juin 2007 1 / 19 1 Déterminer la loi de probabilité d
Plus en détailCalculs de probabilités conditionelles
Calculs de probabilités conditionelles Mathématiques Générales B Université de Genève Sylvain Sardy 20 mars 2008 1. Indépendance 1 Exemple : On lance deux pièces. Soit A l évènement la première est Pile
Plus en détailCoup de Projecteur sur les Réseaux de Neurones
Coup de Projecteur sur les Réseaux de Neurones Les réseaux de neurones peuvent être utilisés pour des problèmes de prévision ou de classification. La représentation la plus populaire est le réseau multicouche
Plus en détailProjet SINF2275 «Data mining and decision making» Projet classification et credit scoring
Projet SINF2275 «Data mining and decision making» Projet classification et credit scoring Année académique 2006-2007 Professeurs : Marco Saerens Adresse : Université catholique de Louvain Information Systems
Plus en détailQuantification Scalaire et Prédictive
Quantification Scalaire et Prédictive Marco Cagnazzo Département Traitement du Signal et des Images TELECOM ParisTech 7 Décembre 2012 M. Cagnazzo Quantification Scalaire et Prédictive 1/64 Plan Introduction
Plus en détailIntroduction. I Étude rapide du réseau - Apprentissage. II Application à la reconnaissance des notes.
Introduction L'objectif de mon TIPE est la reconnaissance de sons ou de notes de musique à l'aide d'un réseau de neurones. Ce réseau doit être capable d'apprendre à distinguer les exemples présentés puis
Plus en détailchoisir H 1 quand H 0 est vraie - fausse alarme
étection et Estimation GEL-64943 Hiver 5 Tests Neyman-Pearson Règles de Bayes: coûts connus min π R ( ) + ( π ) R ( ) { } Règles Minimax: coûts connus min max R ( ), R ( ) Règles Neyman Pearson: coûts
Plus en détailUne méthode de classification supervisée sans paramètre pour l apprentissage sur les grandes bases de données
Une méthode de classification supervisée sans paramètre pour l apprentissage sur les grandes bases de données Marc Boullé Orange Labs 2 avenue Pierre Marzin 22300 Lannion marc.boulle@orange-ftgroup.com,
Plus en détailCAPTEURS - CHAINES DE MESURES
CAPTEURS - CHAINES DE MESURES Pierre BONNET Pierre Bonnet Master GSI - Capteurs Chaînes de Mesures 1 Plan du Cours Propriétés générales des capteurs Notion de mesure Notion de capteur: principes, classes,
Plus en détailCréé par Goldfing & Pblabla Créé le 02/05/2006 09:49:00. Guide pour la déclaration d impôt
Créé par Goldfing & Pblabla Créé le 02/05/2006 09:49:00 Guide pour la déclaration d impôt Disclaimer Le présent document ne se substitue, en aucun cas, aux notices que l'on trouve sur le site des impôts
Plus en détailUne comparaison de méthodes de discrimination des masses de véhicules automobiles
p.1/34 Une comparaison de méthodes de discrimination des masses de véhicules automobiles A. Rakotomamonjy, R. Le Riche et D. Gualandris INSA de Rouen / CNRS 1884 et SMS / PSA Enquêtes en clientèle dans
Plus en détailL apprentissage automatique
L apprentissage automatique L apprentissage automatique L'apprentissage automatique fait référence au développement, à l analyse et à l implémentation de méthodes qui permettent à une machine d évoluer
Plus en détailTESTS D'HYPOTHESES Etude d'un exemple
TESTS D'HYPOTHESES Etude d'un exemple Un examinateur doit faire passer une épreuve type QCM à des étudiants. Ce QCM est constitué de 20 questions indépendantes. Pour chaque question, il y a trois réponses
Plus en détailEstimation et tests statistiques, TD 5. Solutions
ISTIL, Tronc commun de première année Introduction aux méthodes probabilistes et statistiques, 2008 2009 Estimation et tests statistiques, TD 5. Solutions Exercice 1 Dans un centre avicole, des études
Plus en détailBaccalauréat ES Pondichéry 7 avril 2014 Corrigé
Baccalauréat ES Pondichéry 7 avril 204 Corrigé EXERCICE 4 points Commun à tous les candidats. Proposition fausse. La tangente T, passant par les points A et B d abscisses distinctes, a pour coefficient
Plus en détailBases de Données. Plan
Université Mohammed V- Agdal Ecole Mohammadia d'ingénieurs Rabat Bases de Données Mr N.EL FADDOULI 2014-2015 Plan Généralités: Définition de Bases de Données Le modèle relationnel Algèbre relationnelle
Plus en détailLE PROBLEME DU PLUS COURT CHEMIN
LE PROBLEME DU PLUS COURT CHEMIN Dans cette leçon nous définissons le modèle de plus court chemin, présentons des exemples d'application et proposons un algorithme de résolution dans le cas où les longueurs
Plus en détailQu est-ce qu une probabilité?
Chapitre 1 Qu est-ce qu une probabilité? 1 Modéliser une expérience dont on ne peut prédire le résultat 1.1 Ensemble fondamental d une expérience aléatoire Une expérience aléatoire est une expérience dont
Plus en détailProcessus de comptage, Poisson mélange, fonction de perte exponentielle, système bonus-malus.
JF WALHIN* J PARIS* * Université Catholique de Louvain, Belgique Le Mans Assurances, Belgique RÉSUMÉ Nous proposons une méthodologie générale pour construire un système bonus-malus équilibré basé sur une
Plus en détailProbabilité. Table des matières. 1 Loi de probabilité 2 1.1 Conditions préalables... 2 1.2 Définitions... 2 1.3 Loi équirépartie...
1 Probabilité Table des matières 1 Loi de probabilité 2 1.1 Conditions préalables........................... 2 1.2 Définitions................................. 2 1.3 Loi équirépartie..............................
Plus en détailClassification non supervisée
AgroParisTech Classification non supervisée E. Lebarbier, T. Mary-Huard Table des matières 1 Introduction 4 2 Méthodes de partitionnement 5 2.1 Mesures de similarité et de dissimilarité, distances.................
Plus en détailLe Data Mining au service du Scoring ou notation statistique des emprunteurs!
France Le Data Mining au service du Scoring ou notation statistique des emprunteurs! Comme le rappelle la CNIL dans sa délibération n 88-083 du 5 Juillet 1988 portant adoption d une recommandation relative
Plus en détailBaccalauréat S Antilles-Guyane 11 septembre 2014 Corrigé
Baccalauréat S ntilles-guyane 11 septembre 14 Corrigé EXERCICE 1 6 points Commun à tous les candidats Une entreprise de jouets en peluche souhaite commercialiser un nouveau produit et à cette fin, effectue
Plus en détailL'intelligence d'affaires: la statistique dans nos vies de consommateurs
L'intelligence d'affaires: la statistique dans nos vies de consommateurs Jean-François Plante, HEC Montréal Marc Fredette, HEC Montréal Congrès de l ACFAS, Université Laval, 6 mai 2013 Intelligence d affaires
Plus en détailL UNIVERS INSTANTANÉ:
L UNIVERS INSTANTANÉ: Samy Benzekry Speaker Name Title 2011 Hewlett-Packard Development Company, 2010 L.P. Hewlett-Packard Development Company, L.P. The information contained herein is subject to change
Plus en détailMASTER SIS PRO : logique et sécurité DÉTECTION D INTRUSIONS. Odile PAPINI, LSIS. Université de Toulon et du Var. papini@univ-tln.
MASTER SIS PRO : logique et sécurité DÉTECTION D INTRUSIONS Odile PAPINI, LSIS. Université de Toulon et du Var. papini@univ-tln.fr Plan Introduction Généralités sur les systèmes de détection d intrusion
Plus en détailP1 : Corrigés des exercices
P1 : Corrigés des exercices I Exercices du I I.2.a. Poker : Ω est ( l ensemble ) des parties à 5 éléments de l ensemble E des 52 cartes. Cardinal : 5 I.2.b. Bridge : Ω est ( l ensemble ) des parties à
Plus en détailCHAPITRE 5. Stratégies Mixtes
CHAPITRE 5 Stratégies Mixtes Un des problèmes inhérents au concept d équilibre de Nash en stratégies pures est que pour certains jeux, de tels équilibres n existent pas. P.ex.le jeu de Pierre, Papier,
Plus en détailOASIS www.oasis-open.org/committees/xacml/docs/docs.shtml Date de publication
Statut du Committee Working Draft document Titre XACML Language Proposal, version 0.8 (XACML : XML Access Control Markup Language) Langage de balisage du contrôle d'accès Mot clé Attestation et sécurité
Plus en détailFeuille 6 : Tests. Peut-on dire que l usine a respecté ses engagements? Faire un test d hypothèses pour y répondre.
Université de Nantes Année 2013-2014 L3 Maths-Eco Feuille 6 : Tests Exercice 1 On cherche à connaître la température d ébullition µ, en degrés Celsius, d un certain liquide. On effectue 16 expériences
Plus en détailProbabilités conditionnelles Loi binomiale
Exercices 23 juillet 2014 Probabilités conditionnelles Loi binomiale Équiprobabilité et variable aléatoire Exercice 1 Une urne contient 5 boules indiscernables, 3 rouges et 2 vertes. On tire au hasard
Plus en détailRecherche dans un tableau
Chapitre 3 Recherche dans un tableau 3.1 Introduction 3.1.1 Tranche On appelle tranche de tableau, la donnée d'un tableau t et de deux indices a et b. On note cette tranche t.(a..b). Exemple 3.1 : 3 6
Plus en détail1.5 0.5 -0.5 -1.5 0 20 40 60 80 100 120. (VM(t i ),Q(t i+j ),VM(t i+j ))
La logique oue dans les PME/PMI Application au dosage de l'eau dans les bétons P.Y. Glorennec INSA de Rennes/IRISA glorenne@irisa.fr C. Hérault Hydrostop christophe@hydrostop.fr V. Hulin Hydrostop vincent@hydrostop.fr
Plus en détailIFT3245. Simulation et modèles
IFT 3245 Simulation et modèles DIRO Université de Montréal Automne 2012 Tests statistiques L étude des propriétés théoriques d un générateur ne suffit; il estindispensable de recourir à des tests statistiques
Plus en détailProbabilités sur un univers fini
[http://mp.cpgedupuydelome.fr] édité le 7 août 204 Enoncés Probabilités sur un univers fini Evènements et langage ensembliste A quelle condition sur (a, b, c, d) ]0, [ 4 existe-t-il une probabilité P sur
Plus en détailLes algorithmes de fouille de données
Février 2005 Les algorithmes de fouille de données DATAMINING Techniques appliquées à la vente, aux services client, interdictions. Cycle C Informatique Remerciements Je remercie les personnes, les universités
Plus en détailBig Data et Graphes : Quelques pistes de recherche
Big Data et Graphes : Quelques pistes de recherche Hamamache Kheddouci Laboratoire d'informatique en Image et Systèmes d'information LIRIS UMR 5205 CNRS/INSA de Lyon/Université Claude Bernard Lyon 1/Université
Plus en détailProbabilités conditionnelles Loi binomiale
Fiche BAC ES 05 Terminale ES Probabilités conditionnelles Loi binomiale Cette fiche sera complétée au fur et à mesure Exercice n 1. BAC ES. Centres étrangers 2012. [RÉSOLU] Un sondage a été effectué auprès
Plus en détailSimulation de variables aléatoires
Chapter 1 Simulation de variables aléatoires Références: [F] Fishman, A first course in Monte Carlo, chap 3. [B] Bouleau, Probabilités de l ingénieur, chap 4. [R] Rubinstein, Simulation and Monte Carlo
Plus en détailCours de méthodes de scoring
UNIVERSITE DE CARTHAGE ECOLE SUPERIEURE DE STATISTIQUE ET D ANALYSE DE L INFORMATION Cours de méthodes de scoring Préparé par Hassen MATHLOUTHI Année universitaire 2013-2014 Cours de méthodes de scoring-
Plus en détailAPPROCHE DE MODELISATION DE LA PROPAGATION DE L INCENDIE DANS UN EDIFICE ET SON INTEGRATION DANS UN SYSTEME DECISIONNEL
APPRCHE DE MDELISATIN DE LA PRPAGATIN DE L INCENDIE DANS UN EDIFICE ET SN INTEGRATIN DANS UN SYSTEME DECISINNEL Sanae KHALI ISSA (*), Abdellah AZMANI (*), Karima ZEJLI (**) sanaeissa@gmail.com, abdellah.azmani@gmail.com,
Plus en détailCours (7) de statistiques à distance, élaboré par Zarrouk Fayçal, ISSEP Ksar-Said, 2011-2012 LES STATISTIQUES INFERENTIELLES
LES STATISTIQUES INFERENTIELLES (test de Student) L inférence statistique est la partie des statistiques qui, contrairement à la statistique descriptive, ne se contente pas de décrire des observations,
Plus en détailUtiliser une WebCam. Micro-ordinateurs, informations, idées, trucs et astuces
Micro-ordinateurs, informations, idées, trucs et astuces Utiliser une WebCam Auteur : François CHAUSSON Date : 8 février 2008 Référence : utiliser une WebCam.doc Préambule Voici quelques informations utiles
Plus en détailLa conversion de données : Convertisseur Analogique Numérique (CAN) Convertisseur Numérique Analogique (CNA)
La conversion de données : Convertisseur Analogique Numérique (CAN) Convertisseur Numérique Analogique (CNA) I. L'intérêt de la conversion de données, problèmes et définitions associés. I.1. Définitions:
Plus en détailComment faire des étiquettes
Comment faire des étiquettes Révision 0.1 31/03/2004 Réalisé avec : OOo 1.1.0 Plate-forme / Os : Toutes n révision, mode d'emploi n révision : x.yz x : n de version majeure, par exemple 0 pour une phase
Plus en détailChaînes de Markov au lycée
Journées APMEP Metz Atelier P1-32 du dimanche 28 octobre 2012 Louis-Marie BONNEVAL Chaînes de Markov au lycée Andreï Markov (1856-1922) , série S Problème 1 Bonus et malus en assurance automobile Un contrat
Plus en détailProgrammes des classes préparatoires aux Grandes Ecoles
Programmes des classes préparatoires aux Grandes Ecoles Filière : scientifique Voie : Biologie, chimie, physique et sciences de la Terre (BCPST) Discipline : Mathématiques Seconde année Préambule Programme
Plus en détailProbabilités. C. Charignon. I Cours 3
Probabilités C. Charignon Table des matières I Cours 3 1 Dénombrements 3 1.1 Cardinal.................................................. 3 1.1.1 Définition............................................. 3
Plus en détailChapitre 7. Récurrences
Chapitre 7 Récurrences 333 Plan 1. Introduction 2. Applications 3. Classification des récurrences 4. Résolution de récurrences 5. Résumé et comparaisons Lectures conseillées : I MCS, chapitre 20. I Rosen,
Plus en détailAlgorithmique des Systèmes Répartis Protocoles de Communications
Algorithmique des Systèmes Répartis Protocoles de Communications Master Informatique Dominique Méry Université de Lorraine 1 er avril 2014 1 / 70 Plan Communications entre processus Observation et modélisation
Plus en détailEconomie de l Incertain et des Incitations
Economie de l Incertain et des Incitations CHAPITRE 2 Eléments de théorie des jeux en information symétrique et asymétrique Equilibres Bayesiens - Université de Tours - M1 AGE - Arnold Chassagnon - Automne
Plus en détailProbabilités. I Petits rappels sur le vocabulaire des ensembles 2 I.1 Définitions... 2 I.2 Propriétés... 2
Probabilités Table des matières I Petits rappels sur le vocabulaire des ensembles 2 I.1 s................................................... 2 I.2 Propriétés...................................................
Plus en détailNombres, mesures et incertitudes en sciences physiques et chimiques. Groupe des Sciences physiques et chimiques de l IGEN
Nombres, mesures et incertitudes en sciences physiques et chimiques. Groupe des Sciences physiques et chimiques de l IGEN Table des matières. Introduction....3 Mesures et incertitudes en sciences physiques
Plus en détailProbabilités conditionnelles
Probabilités conditionnelles Exercice Dans une usine, on utilise conjointement deux machines M et M 2 pour fabriquer des pièces cylindriques en série. Pour une période donnée, leurs probabilités de tomber
Plus en détailLaboratoire 4 Développement d un système intelligent
DÉPARTEMENT DE GÉNIE LOGICIEL ET DES TI LOG770 - SYSTÈMES INTELLIGENTS ÉTÉ 2012 Laboratoire 4 Développement d un système intelligent 1 Introduction Ce quatrième et dernier laboratoire porte sur le développement
Plus en détailIntroduction aux outils BI de SQL Server 2014. Fouille de données avec SQL Server Analysis Services (SSAS)
MIT820: Entrepôts de données et intelligence artificielle Introduction aux outils BI de SQL Server 2014 Fouille de données avec SQL Server Analysis Services (SSAS) Description générale Ce tutoriel a pour
Plus en détailChapitre 2. Eléments pour comprendre un énoncé
Chapitre 2 Eléments pour comprendre un énoncé Ce chapitre est consacré à la compréhension d un énoncé. Pour démontrer un énoncé donné, il faut se reporter au chapitre suivant. Les tables de vérité données
Plus en détailRéseaux bayésiens. 3 e édition Patrick Naïm, Pierre-Henri Wuillemin, Philippe Leray, Olivier Pourret, Anna Becker
Réseaux bayésiens 3 e édition Patrick Naïm, Pierre-Henri Wuillemin, Philippe Leray, Olivier Pourret, Anna Becker Avec la contribution de Bruce G. Marcot, Carmen Lacave et Francisco J. Díez Groupe Eyrolles,
Plus en détailFiltrage stochastique non linéaire par la théorie de représentation des martingales
Filtrage stochastique non linéaire par la théorie de représentation des martingales Adriana Climescu-Haulica Laboratoire de Modélisation et Calcul Institut d Informatique et Mathématiques Appliquées de
Plus en détailChapitre 7. Statistique des échantillons gaussiens. 7.1 Projection de vecteurs gaussiens
Chapitre 7 Statistique des échantillons gaussiens Le théorème central limite met en évidence le rôle majeur tenu par la loi gaussienne en modélisation stochastique. De ce fait, les modèles statistiques
Plus en détailMAP 553 Apprentissage statistique
MAP 553 Apprentissage statistique Université Paris Sud et Ecole Polytechnique http://www.cmap.polytechnique.fr/~giraud/map553/map553.html PC1 1/39 Apprentissage? 2/39 Apprentissage? L apprentissage au
Plus en détailCHAPITRE I. Modélisation de processus et estimation des paramètres d un modèle
CHAPITRE I Modélisation de processus et estimation des paramètres d un modèle I. INTRODUCTION. Dans la première partie de ce chapitre, nous rappelons les notions de processus et de modèle, ainsi que divers
Plus en détailCALCUL DES PROBABILITES
CALCUL DES PROBABILITES Exemple On lance une pièce de monnaie une fois. Ensemble des événements élémentaires: E = pile, face. La chance pour obtenir pile vaut 50 %, pour obtenir face vaut aussi 50 %. Les
Plus en détailStructures algébriques
Structures algébriques 1. Lois de composition s Soit E un ensemble. Une loi de composition interne sur E est une application de E E dans E. Soient E et F deux ensembles. Une loi de composition externe
Plus en détailModèle de troncature gauche : Comparaison par simulation sur données indépendantes et dépendantes
de troncature gauche : Comparaison par simulation sur données indépendantes et dépendantes Zohra Guessoum 1 & Farida Hamrani 2 1 Lab. MSTD, Faculté de mathématique, USTHB, BP n 32, El Alia, Alger, Algérie,zguessoum@usthb.dz
Plus en détailIndépendance Probabilité conditionnelle. Chapitre 3 Événements indépendants et Probabilités conditionnelles
Chapitre 3 Événements indépendants et Probabilités conditionnelles Indépendance Indépendance Probabilité conditionnelle Definition Deux événements A et B sont dits indépendants si P(A B) = P(A).P(B) Attention
Plus en détailCorrection du baccalauréat ES/L Métropole 20 juin 2014
Correction du baccalauréat ES/L Métropole 0 juin 014 Exercice 1 1. c.. c. 3. c. 4. d. 5. a. P A (B)=1 P A (B)=1 0,3=0,7 D après la formule des probabilités totales : P(B)=P(A B)+P(A B)=0,6 0,3+(1 0,6)
Plus en détail