1.1 Codage de source et test d hypothèse

Dimension: px
Commencer à balayer dès la page:

Download "1.1 Codage de source et test d hypothèse"

Transcription

1 Théorie de l information et codage 200/20 Cours 8février20 Enseignant: Marc Lelarge Scribe: Marc Lelarge Pour information Page webdu cours Notations Pour des variables aléatoires (v.a.) discrètes X et Y à valeurs dansxetyresp., on utilisera lesnotations suivantes pourx Xet y Y: p(x) = P(X=x) p(y) = P(Y= y) p(x,y) = P(X=x,Y= y) p(x y) = P(X=x Y= y)=p(x,y)/p(y). Lorsque cesnotations sont ambigues, on pourra écrire p X (x),p Y (y),p X,Y (x,y),p X Y (x y).. Codage de source et test d hypothèse.. Entropie Une source (discrète) émet une suite de v.a.{u i } à valeurs dans un ensemble finiu i= appelé l alphabet de la source. Si les U i sont indépendants et identiquement distribués (i.i.d.)deloi P,la source estdite sans mémoire dedistribution P. Définition.. Soit U une variable aléatoire à valeurs dans un ensemble fini U, de distribution de probabilité : p(u)=p(u=u),. Son entropie est, par définition, la quantité H(U)= E [ log(p(u)) ] = p(u)logp(u), aveclaconvention 0log0=0. -

2 Cours 8 février /20 Le choix de la base du logarithme correspond à un choix d unité. Dans ce premier cours, on choisit la base 2. L entropie s exprime alors en bits. Un(k, n)-codage binaire est une paire de fonctions f :U k {0,} n, etφ :{0,} n U k. Pour une source donnée,la probabilité d erreurdu code (f,φ)est e(f,φ) := P(φ(f(U (k) )) U (k) ), avecu (k) = (U,...,U k )leskpremiers symboles émisparla source. Le but est de trouver des codes avec un ratio n/k petit et une probabilité d erreur petite. Plusprécisément,pourtoutk,soitn(k,ǫ)lepluspetitentierntelqu ilexisteun(k,n)-code satisfaisant e(f,φ) ǫ. Théorème.. Pour une source discrète sans mémoire de distribution P(U=u)=p(u), on a pour toutǫ (0,): n(k, ǫ) lim k = H(U)= p(u) log p(u). Démonstration. L existence d un (k, n)-code binaire avec e( f, φ) ǫ est équivalente à l existence d un ensemble A U k avecp(a) ǫet A 2 n. A est alors l ensembledes suites u (k) U k reproduites de manière exacte, c.a.d.tellesqueφ(f(u (k) ))=u (k). Soit s(k,ǫ) la taille mimimaled un ensemblea U k avecp(a) ǫ, c.a.d s(k,ǫ)=min{ A ; P(A) ǫ}. Pour prouver le théorème, il suffitde montrer que pourǫ (0,), lim logs(k,ǫ) k Pour ceci, on définitl ensembleb(k,δ) U k suivant = H(U). (.) B(k,δ)= { u (k) U k, 2 k(h(u)+δ) p(u (k) ) 2 k(h(u) δ)}. Montrons tout d abord que lim P(B(k,δ)=pourtoutδ>0. Soit la v.a. réelle Y i = logp(u i ), qui est bien définie avec probabilité même s il existe avec p(u)=0. Les Y i sont i.i.d.de moyenne H(U).Par laloi faibledesgrands nombres, on a lim P k Y i H(U) k δ = pourtoutδ>0. i= -2

3 Cours 8 février /20 Comme U (k) B(k,δ)ssi k k i= Y i H(U) δ,on abien limp(b(k,δ))=pourtoutδ>0. (.2) La définition de B(k,δ) impliqueque B(k,δ) 2 k(h(u)+δ). Par (.2), on a donc pour tout δ>0 lim sup k logs(k,ǫ) limsup log B(k,δ) H(U)+δ. (.3) k Dansl autresens,pourtouta U k avecp(a) ǫ,(.2)impliquepourksuffisament grand, On adonc pardéfinition de B(k,δ), A A B(k,δ) etdoncpour toutδ>0, P(A B(k,δ)) ǫ 2. u (k) A B(k,δ) p(u (k) )2 k(h(u) δ) ǫ 2 2k(H(U) δ), lim inf Ceci, avec(.3), implique (.). k logs(k,ǫ) H(U) δ. Corollaire.. 0 H(U) log U..2 Information mutuelle Nous généralisons maintenant l approche précédente en donnant des poids différents aux éléments deu k. Plus précisément, nous considérons une suite de fonctions masse à valeurpositive M (u),m 2 (u),... suru eton définit M(u (k) ) := k M i (u i ), pour u (k) = (u,...,u k ), i= etpour A U k, M(A) := u k AM(u k ). On définitalors s(k,ǫ)=min{m(a); A U k, P(A) ǫ}. -3

4 Cours 8 février /20 Théorème..2 Si les U i sont indépendants de loi p i et max i [k], logm i (u) c alors pour toutǫ (0,), avec ( lim k) k logs(k,ǫ) E = 0, E k := k k i= p i (u)log M i(u) p i (u). Démonstration. Soit Y i = log M i(u i ). Les Y p i (U i ) i sont indépendants tels que E [ k k i= Y i] = Ek doncl inégalité de Chebyshevdonnepour toutδ>0 P k k Y i E k δ k 2 δ 2 i= k i= Var (Y i ) kδ max 2 i Var (Y i ) Ceci signifie que pour l ensemble { B(k,δ)= u (k) U k, E k δ } k log M(u(k) ) p(u (k) ) E k+δ, on a P(B(k,δ)) η k avecη k = max kδ 2 i Var (Y i ). Par définition, on a M(B(k,δ)) = M(u (k) ) u (k) B(k,δ) u (k) B(k,δ) 2 k(e k+δ). p(u (k) )2 k(e k+δ) On en déduitque logs(k,ǫ) logm(b(k,δ)) E k k k+δ siη k ǫ. Dans l autre sens, pour tout A U k ave P(A) ǫ, on a P(A B(k,δ)) ǫ η k d où M(A) M(A B(k,δ)) p(u (k) )2 k(e k δ) u (k) A B(k,δ) ( ǫ η k )2 k(e k δ). On adonc logs(k,ǫ) log( ǫ η k k k)+e k δ.ceciconclut lapreuve ennotantque l hypothèse max i [k], logm i (u) c implique que max i Var Y i est borné et donc que η k 0 quand. Application: Test d hypothèse. -4

5 Cours 8 février /20 Problème :déciderentre deuxdistributions PetQàpartird unéchantillon detaillek, c.a.d. le résultat de k tirages indépendants. Un test est défini parun ensemble A U k : si l échantillon (U,...,U k )appartient àaalors letest retourne l hypothèse P sinon Q. On considère un scénario où les hypothèses ne sont pas symmétriques. On désire une probabilité d erreur au plusǫsi P est la vraie distribution, c.a.d. P(A) ǫ. Le but est alors de minimiser la probabilité d erreur si l hypothèse Q est vraie, c.a.d Corollaire..2 Pour toutǫ (0,), ona β(k,ǫ)=min{q(a), t.q. A U k, P(A) ǫ}. lim k logβ(k,ǫ)= p(u)log p(u) q(u). Démonstration. Si q(u)>0pour tout, il suffit d appliquer le théorème précédent avecp i = P etm i = Q. S il existe un u avec p(u)>q(u)=0 alors la P-probabilité que l échantillon de taille k contienne ce u tend vers etβ(k,ǫ)=0 pour k suffisament grand et dons l assertion est encore valide. Définition..2 L entropie relative ou distance de Kullback-Leibler entre deux distributions p et qestdéfiniepar: [ D(p q)=e p log p(u) ] = p(u)log p(u) q(u) q(u), aveclesconventions 0log 0 0 = 0,0log 0 q = 0 etplog p 0 =. L entropie d une paire (U,V) ne nécessite pas de nouvelle définition! On notera H((U,V))=H(U,V). La différence H(U,V) H(U) mesure la quantité d information supplémentaire sur le couple (U,V) donnée par V si U est déjà connu. Cette différence est appelée l entropie conditionnelle de V sachant U et est notée : H(V U)=H(U,V) H(U) On a donc H(V U)= v V p(u,v)log p(u,v) p(u) avech(v U=u)= v Vp(v u)logp(v u). = p(u)h(v U=u), Lemme.. On a H(V U) H(V) -5

6 Cours 8 février /20 Démonstration. H(V) H(V U) = H(V) H(U,V)+H(U) = p(u,v)log p(u,v) p(u)p(v) v V = D(p U,V p U p V ) 0. Définition..3 L information mutuelle entre U et V est définie par I(U;V)=H(V) H(V U)=H(U) H(U V)=H(V)+H(U) H(U,V). L information mutuelle entre U et V correspond à la diminution d incertitude sur V causée par la connaissance de U, c.a.d la quantité d information sur V contenue dans U. Elle est symmétrique enu etv. -6

Théorie et codage de l information

Théorie et codage de l information Théorie et codage de l information Mesure quantitative de l information - Chapitre 2 - Information propre et mutuelle Quantité d information propre d un événement Soit A un événement de probabilité P (A)

Plus en détail

Capacité d un canal Second Théorème de Shannon. Théorie de l information 1/34

Capacité d un canal Second Théorème de Shannon. Théorie de l information 1/34 Capacité d un canal Second Théorème de Shannon Théorie de l information 1/34 Plan du cours 1. Canaux discrets sans mémoire, exemples ; 2. Capacité ; 3. Canaux symétriques ; 4. Codage de canal ; 5. Second

Plus en détail

Majeure d informatique

Majeure d informatique Nicolas Sendrier Majeure d informatique Introduction la théorie de l information Cours n 1 Une mesure de l information Espace probabilisé discret L alphabet est X (fini en pratique) Variable aléatoire

Plus en détail

Codage des sources discrètes sans mémoire 1/34

Codage des sources discrètes sans mémoire 1/34 Codage des sources discrètes sans mémoire 1/34 Plan du cours 1. Historique : codage de Morse ; 2. Définitions : codage ; efficacité d un codage ; 3. codes de longueur fixe, codage des chiffres ; 4. condition

Plus en détail

Sommaire. Chapitre 1 Variables et vecteurs aléatoires... 5. Chapitre 2 Variables aléatoires à densité... 65

Sommaire. Chapitre 1 Variables et vecteurs aléatoires... 5. Chapitre 2 Variables aléatoires à densité... 65 Sommaire Chapitre 1 Variables et vecteurs aléatoires............... 5 A. Généralités sur les variables aléatoires réelles.................... 6 B. Séries doubles..................................... 9

Plus en détail

Théorie de l information : historique

Théorie de l information : historique Théorie de l information : historique Développée dans les années quarante par Claude Shannon. Objectif : maximiser la quantité d information pouvant être transmise par un canal de communication imparfait.

Plus en détail

Suites numériques 3. 1 Convergence et limite d une suite

Suites numériques 3. 1 Convergence et limite d une suite Suites numériques 3 1 Convergence et limite d une suite Nous savons que les termes de certaines suites s approchent de plus en plus d une certaine valeur quand n augmente : par exemple, les nombres u n

Plus en détail

Espérance conditionnelle

Espérance conditionnelle Espérance conditionnelle Samy Tindel Nancy-Université Master 1 - Nancy Samy T. (IECN) M1 - Espérance conditionnelle Nancy-Université 1 / 58 Plan 1 Définition 2 Exemples 3 Propriétés de l espérance conditionnelle

Plus en détail

Probabilité conditionnelle et indépendance. Couples de variables aléatoires. Exemples

Probabilité conditionnelle et indépendance. Couples de variables aléatoires. Exemples 36 Probabilité conditionnelle et indépendance. Couples de variables aléatoires. Exemples (Ω, B, P est un espace probabilisé. 36.1 Définition et propriétés des probabilités conditionnelles Définition 36.1

Plus en détail

Séminaire TEST. 1 Présentation du sujet. October 18th, 2013

Séminaire TEST. 1 Présentation du sujet. October 18th, 2013 Séminaire ES Andrés SÁNCHEZ PÉREZ October 8th, 03 Présentation du sujet Le problème de régression non-paramétrique se pose de la façon suivante : Supposons que l on dispose de n couples indépendantes de

Plus en détail

S. Zozor Information, inégalités et relations d incertitude

S. Zozor Information, inégalités et relations d incertitude Information, inégalités et relations d incertitude Steeve Zozor GIPSA-Lab CNRS Grenoble INP, Grenoble, France 17-21 Mai 2010 Plan du cours 1 Entropie mesure d incertitude Axiomes, entropie de Shannon et

Plus en détail

Théorie de l Information Notes de Cours 2006-2007

Théorie de l Information Notes de Cours 2006-2007 Théorie de l Information Notes de Cours 26-27 SIC-SICOM Maria-João Rendas October, 26 2 Chapter Mesures d Information et leurs propriétés Nous pésentons dans ce Chapitre les mesures fondamentales de la

Plus en détail

Principes généraux de codage entropique d'une source. Cours : Compression d'images Master II: IASIG Dr. Mvogo Ngono Joseph

Principes généraux de codage entropique d'une source. Cours : Compression d'images Master II: IASIG Dr. Mvogo Ngono Joseph Principes généraux de codage entropique d'une source Cours : Compression d'images Master II: IASIG Dr. Mvogo Ngono Joseph Table des matières Objectifs 5 Introduction 7 I - Entropie d'une source 9 II -

Plus en détail

Intégration et probabilités 2012-2013. TD3 Intégration, théorèmes de convergence Corrigé. 1 Petites questions. n hésitez pas à m envoyer un mail à

Intégration et probabilités 2012-2013. TD3 Intégration, théorèmes de convergence Corrigé. 1 Petites questions. n hésitez pas à m envoyer un mail à Intégration et probabilités 212-213 TD3 Intégration, théorèmes de convergence Corrigé xercice ayant été voué à être préparé xercice 1 (Mesure image). Soient (, A, µ) un espace mesuré, (F, B) un espace

Plus en détail

Le corps R des nombres réels

Le corps R des nombres réels Le corps R des nombres réels. Construction de R à l aide des suites de Cauchy de nombres rationnels On explique brièvement dans ce paragraphe comment construire le corps R des nombres réels à partir du

Plus en détail

Outils mathématiques pour le datamining. http://www.elseware.fr/univevry

Outils mathématiques pour le datamining. http://www.elseware.fr/univevry Outils mathématiques pour le datamining http://wwwelsewarefr/univevry Géométrie Distance Distance entre parties Matrice de variance/covariance Inertie Minimisation Probabilités Définition Théorème de Bayes

Plus en détail

Théorie de l Information

Théorie de l Information Massih-Reza Amini Université Joseph Fourier Laboratoire d Informatique de Grenoble 2/31 Rappel Canal de communication Codage par répétition Table des matières 1 Rappel 2 Canal de communication 3 Codage

Plus en détail

2 Opérateurs non bornés dans un espace de Hilbert

2 Opérateurs non bornés dans un espace de Hilbert 2 Opérateurs non bornés dans un espace de Hilbert 2. Opérateurs non bornés: définitions et propriétés élémentaires Soit H un espace de Hilbert et A un opérateur dans H, c est-à-dire, une application linéaire

Plus en détail

Points fixes de fonctions à domaine fini

Points fixes de fonctions à domaine fini ÉCOLE POLYTECHNIQUE ÉCOLE NORMALE SUPÉRIEURE DE CACHAN ÉCOLE SUPÉRIEURE DE PHYSIQUE ET DE CHIMIE INDUSTRIELLES CONCOURS D ADMISSION 2013 FILIÈRE MP HORS SPÉCIALITÉ INFO FILIÈRE PC COMPOSITION D INFORMATIQUE

Plus en détail

Les mots de Sturm. Fathi BEN ARIBI 20 décembre 2008

Les mots de Sturm. Fathi BEN ARIBI 20 décembre 2008 Les mots de Sturm Fathi BEN ARIBI 20 décembre 2008 1 Objectifs Dans cette présentation, nous donnerons quelques résultats de combinatoire des mots. Avant tout, il est nécessaire d introduire quelques notations

Plus en détail

UNIVERSITE D ORLEANS SL01MA11, Groupes 1 et 5 Département de Mathématiques 2009-2010. N. El Hage Hassan S EXPRIMER EN MATHÉMATIQUES

UNIVERSITE D ORLEANS SL01MA11, Groupes 1 et 5 Département de Mathématiques 2009-2010. N. El Hage Hassan S EXPRIMER EN MATHÉMATIQUES UNIVERSITE D ORLEANS SL01MA11, Groupes 1 et 5 Département de Mathématiques 2009-2010 N. El Hage Hassan S EXPRIMER EN MATHÉMATIQUES 1 Les énoncés La plupart des phrases que l on rencontre dans un livre

Plus en détail

COUPLES DE VARIABLES ALÉATOIRES

COUPLES DE VARIABLES ALÉATOIRES CHAPITRE 13 COUPLES DE VARIABLES ALÉATOIRES Dans tout le chapitre, (Ω, P) désignera un espace probabilisé fini. 1 Couple de variables aléatoires Définition 13.1 On appelle couple de variables aléatoires

Plus en détail

Intégration et probabilités TD1 Espaces mesurés Corrigé

Intégration et probabilités TD1 Espaces mesurés Corrigé Intégration et probabilités TD1 Espaces mesurés Corrigé 2012-2013 1 Petites questions 1 Est-ce que l ensemble des ouverts de R est une tribu? Réponse : Non, car le complémentaire de ], 0[ n est pas ouvert.

Plus en détail

Chapitre IV : Couples de variables aléatoires discrètes

Chapitre IV : Couples de variables aléatoires discrètes UNIVERSITÉ DE CERG Année 0-03 UFR Économie & Gestion Licence d Économie et Gestion MATH0 : Probabilités Chapitre IV : Couples de variables aléatoires discrètes Généralités Définition Soit (Ω, P(Ω), P)

Plus en détail

Démontrer le caractère injectif / surjectif / bijectif d une application

Démontrer le caractère injectif / surjectif / bijectif d une application Démontrer le caractère injectif / surjectif / bijectif d une application Il s agit donc de montrer une propriété commençant par un symbole. La démonstration débute donc par : Soit (x 1, x 2 ) E 2. La propriété

Plus en détail

M2 IAD UE MODE Notes de cours (3)

M2 IAD UE MODE Notes de cours (3) M2 IAD UE MODE Notes de cours (3) Jean-Yves Jaffray Patrice Perny 16 mars 2006 ATTITUDE PAR RAPPORT AU RISQUE 1 Attitude par rapport au risque Nousn avons pas encore fait d hypothèse sur la structure de

Plus en détail

MATHÉMATIQUES ET SCIENCES HUMAINES

MATHÉMATIQUES ET SCIENCES HUMAINES MATHÉMATIQUES ET SCIENCES HUMAINES B. MARCHADIER Dépendance et indépendance de deux aléas numériques images Mathématiques et sciences humaines, tome 25 (1969), p. 2534.

Plus en détail

Calcul différentiel sur R n Première partie

Calcul différentiel sur R n Première partie Calcul différentiel sur R n Première partie Université De Metz 2006-2007 1 Définitions générales On note L(R n, R m ) l espace vectoriel des applications linéaires de R n dans R m. Définition 1.1 (différentiabilité

Plus en détail

Sur certaines séries entières particulières

Sur certaines séries entières particulières ACTA ARITHMETICA XCII. 2) Sur certaines séries entières particulières par Hubert Delange Orsay). Introduction. Dans un exposé à la Conférence Internationale de Théorie des Nombres organisée à Zakopane

Plus en détail

Machines à sous (compléments)

Machines à sous (compléments) CHAPITRE 28 Machines à sous (compléments) Résumé. Ce qui suit complète le chapitre 22. On explique ici brièvement comment rre non-asymptotiques les résultats de convergence qui reposaient sur la loi des

Plus en détail

COMPORTEMENT ASYMPTOTIQUE D UNE FILE D ATTENTE À UN SERVEUR

COMPORTEMENT ASYMPTOTIQUE D UNE FILE D ATTENTE À UN SERVEUR Université Paris VII. Préparation à l Agrégation. (François Delarue) COMPORTEMENT ASYMPTOTIQUE D UNE FILE D ATTENTE À UN SERVEUR Ce texte vise à l étude du temps d attente d un client à la caisse d un

Plus en détail

La mesure de Lebesgue sur la droite réelle

La mesure de Lebesgue sur la droite réelle Chapitre 1 La mesure de Lebesgue sur la droite réelle 1.1 Ensemble mesurable au sens de Lebesgue 1.1.1 Mesure extérieure Définition 1.1.1. Un intervalle est une partie convexe de R. L ensemble vide et

Plus en détail

Les Courbes Elliptiques pour la Sécurité des Appareils Mobiles ACI Sécurité Informatique LaBRI, Bordeaux, 23/11/05

Les Courbes Elliptiques pour la Sécurité des Appareils Mobiles ACI Sécurité Informatique LaBRI, Bordeaux, 23/11/05 Les Courbes Elliptiques pour la Sécurité des Appareils Mobiles ACI Sécurité Informatique LaBRI, Bordeaux, 23/11/05 LIENS CNRS École Normale Supérieure TANC - INRIA École Polytechnique CESAM : objectifs

Plus en détail

DEFINITION et PROPRIETES des PRINCIPALES LOIS de PROBABILITES

DEFINITION et PROPRIETES des PRINCIPALES LOIS de PROBABILITES Université Paris1, Licence 00-003, Mme Pradel : Principales lois de Probabilité 1 DEFINITION et PROPRIETES des PRINCIPALES LOIS de PROBABILITES Notations Si la variable aléatoire X suit la loi L, onnoterax

Plus en détail

Problème de contrôle optimal pour une chaîne de Markov

Problème de contrôle optimal pour une chaîne de Markov Problème de contrôle optimal pour une chaîne de Markov cours ENSTA MA206 Il s agit de résoudre un problème d arrêt optimal pour une chaîne de Markov à temps discret. Soit X n une chaîne de Markov à valeurs

Plus en détail

Contexte. Pour cela, elles doivent être très compliquées, c est-à-dire elles doivent être très différentes des fonctions simples,

Contexte. Pour cela, elles doivent être très compliquées, c est-à-dire elles doivent être très différentes des fonctions simples, Non-linéarité Contexte Pour permettre aux algorithmes de cryptographie d être sûrs, les fonctions booléennes qu ils utilisent ne doivent pas être inversées facilement. Pour cela, elles doivent être très

Plus en détail

Licence de Sciences et Technologies. Fiche de cours 1 - Nombres réels.

Licence de Sciences et Technologies. Fiche de cours 1 - Nombres réels. Licence de Sciences et Technologies EM21 - Analyse Fiche de cours 1 - Nombres réels. On connaît les ensembles suivants, tous munis d une addition, d une multiplication, et d une relation d ordre compatibles

Plus en détail

Multimédia Rappels. François Cayre Grenoble-INP. F. Cayre (G-INP) Multimédia Rappels / 43

Multimédia Rappels. François Cayre Grenoble-INP. F. Cayre (G-INP) Multimédia Rappels / 43 Multimédia Rappels François Cayre francois.cayre@grenoble-inp.fr Grenoble-INP 2012 2013 F. Cayre (G-INP) Multimédia Rappels 2012 2013 1 / 43 Plan Rappels de probabilités Définitions 1 Rappels de probabilités

Plus en détail

Cours 9 : Codes polaires

Cours 9 : Codes polaires Cours 9 : Codes polaires 9 novembre 3 Théorie de l information Codes polaires. Introduction. Codage 3. Décodage Théorie de l information /4 . Introduction Les codes polaires, une classe de codes permettant.

Plus en détail

Introduction au cours STA 102 Analyse des données : Méthodes explicatives

Introduction au cours STA 102 Analyse des données : Méthodes explicatives Analyse des données - Méthodes explicatives (STA102) Introduction au cours STA 102 Analyse des données : Méthodes explicatives Giorgio Russolillo giorgio.russolillo@cnam.fr Infos et support du cours Slide

Plus en détail

Théorie de l information et codage (Notes de cours)

Théorie de l information et codage (Notes de cours) Théorie de l information et codage (Notes de cours) Marie-Pierre Béal Nicolas Sendrier 2 novembre 202 Institut Gaspard Monge, Université de Marne-la-Vallée, 77454 Marne-la-Vallée Cedex 2, France. beal@univ-mlv.fr.

Plus en détail

La représentation des réels en machine nécessite de choisir la taille mémoire : souvent 4 octets ou 8 octets, des fois 16 octets.

La représentation des réels en machine nécessite de choisir la taille mémoire : souvent 4 octets ou 8 octets, des fois 16 octets. Conclusion La représentation des réels en machine nécessite de choisir la taille mémoire : souvent 4 octets ou 8 octets, des fois 16 octets. Les nombres réels représentables en machine sont en nombre fini,

Plus en détail

Méthodes de Monte-Carlo Simulation de grandeurs aléatoires

Méthodes de Monte-Carlo Simulation de grandeurs aléatoires Méthodes de Monte-Carlo Simulation de grandeurs aléatoires Master Modélisation et Simulation / ENSTA TD 1 2012-2013 Les méthodes dites de Monte-Carlo consistent en des simulations expérimentales de problèmes

Plus en détail

Notion de complexité

Notion de complexité 1 de 27 Algorithmique Notion de complexité Florent Hivert Mél : Florent.Hivert@lri.fr Adresse universelle : http://www-igm.univ-mlv.fr/ hivert Outils mathématiques 2 de 27 Outils mathématiques : analyse

Plus en détail

Introduction à l étude des Corps Finis

Introduction à l étude des Corps Finis Introduction à l étude des Corps Finis Robert Rolland (Résumé) 1 Introduction La structure de corps fini intervient dans divers domaines des mathématiques, en particulier dans la théorie de Galois sur

Plus en détail

Fondamentaux pour les Mathématiques et l Informatique :

Fondamentaux pour les Mathématiques et l Informatique : Université Bordeaux 1 Licence de Sciences, Technologies, Santé Mathématiques, Informatique, Sciences de la Matière et Ingénierie M1MI1002 Fondamentaux pour les Mathématiques et l Informatique Fondamentaux

Plus en détail

2 Probabilités conditionnelles. Événements indépendants

2 Probabilités conditionnelles. Événements indépendants 2 Probabilités conditionnelles. Événements indépendants 2.1 Probabilité conditionnelle Soient A et B deux événements tels que P(B) > 0. Soit alors P(A B), la probabilité que A se réalise, B étant réalisé.

Plus en détail

Extrema locaux (ou relatifs)

Extrema locaux (ou relatifs) Chapitre 3 Extrema locaux (ou relatifs) 3.0.77 DÉFINITION Soit f : U! R une fonction, U ouvert d un espace vectoriel normé E et a 2 U. On dit que f présente un minimum local (respectivement un maximum

Plus en détail

Examen du cours de Mesures de risque en finance

Examen du cours de Mesures de risque en finance Examen du cours de Mesures de risque en finance Mercredi 15 Décembre 21 (9h-11h) Seul document autorisé: une feuille A4 manuscrite recto-verso. Important : rédiger sur une même copie les exercices 1 et

Plus en détail

Exercices théoriques

Exercices théoriques École normale supérieure 2008-2009 Département d informatique Algorithmique et Programmation TD n 9 : Programmation Linéaire Avec Solutions Exercices théoriques Rappel : Dual d un programme linéaire cf.

Plus en détail

Chapitre 3. Définitions récursives et induction structurelle

Chapitre 3. Définitions récursives et induction structurelle Chapitre 3 Définitions récursives et induction structurelle 114 Plan 1. Définitions récursives 2. Induction structurelle 3. Exemples Arbres Naturels Expressions arithmétiques Lectures conseillées : I MCS

Plus en détail

Chapitre 2. Eléments pour comprendre un énoncé

Chapitre 2. Eléments pour comprendre un énoncé Chapitre 2 Eléments pour comprendre un énoncé Ce chapitre est consacré à la compréhension d un énoncé. Pour démontrer un énoncé donné, il faut se reporter au chapitre suivant. Les tables de vérité données

Plus en détail

Examen de rattrapage

Examen de rattrapage Université Denis Diderot Paris 7 7 juin 4 Probabilités et Simulations UPS36 Examen de rattrapage durée : 3 heures Les documents et calculatrices ne sont pas autorisés. On prendra soin de bien justifier

Plus en détail

5. Options américaines Une option américaine peut être exercée à n importe quelle instant compris entre

5. Options américaines Une option américaine peut être exercée à n importe quelle instant compris entre 5. Options américaines Une option américaine peut être exercée à n importe quelle instant compris entre 0 et l échéance N. Définition 5.1. Une option américaine est définie par une suite (h n ) n=0..n,

Plus en détail

Cours4 8mars2011. Propriétés de l entropie et de l information mutuelle

Cours4 8mars2011. Propriétés de l entropie et de l information mutuelle Théorie de l information et codage 2010/2011 Cours4 8mars2011 Enseignant: Marc Lelarge Scribe: Louis Jachiet Pour information Page webdu cours http://www.di.ens.fr/~lelarge/info11.html Propriétés de l

Plus en détail

Calculs préliminaires.

Calculs préliminaires. MINES-PONTS 005. Filière MP. MATHÉMATIQES 1. Corrigé de JL. Lamard jean-louis.lamard@prepas.org) Calculs préliminaires. Notons que si f H alors f)e / est bien intégrable sur R car continue positive et

Plus en détail

Outils d analyse fonctionnelle Cours 5 Théorie spectrale

Outils d analyse fonctionnelle Cours 5 Théorie spectrale Outils d analyse fonctionnelle Cours 5 Théorie spectrale 22 septembre 2015 Généralités Dans tout ce qui suit V désigne un espace de Hilbert réel muni d un produit scalaire x, y. Définition Soit A une application

Plus en détail

Feuille d exercices 1

Feuille d exercices 1 Université Paris 7 - Denis Diderot L2 - Probabilités PS4 Année 2014-2015 Feuille d exercices 1 Exercice 1 Combien y a-t-il de paires d entiers non consécutifs compris entre 1 et n (n 1)? Exercice 2 1.

Plus en détail

Tests non-paramétriques de non-effet et d adéquation pour des covariables fonctionnelles

Tests non-paramétriques de non-effet et d adéquation pour des covariables fonctionnelles Tests non-paramétriques de non-effet et d adéquation pour des covariables fonctionnelles Valentin Patilea 1 Cesar Sanchez-sellero 2 Matthieu Saumard 3 1 CREST-ENSAI et IRMAR 2 USC Espagne 3 IRMAR-INSA

Plus en détail

INF4420: Sécurité Informatique Cryptographie I

INF4420: Sécurité Informatique Cryptographie I INF4420: Cryptographie I José M. Fernandez M-3109 340-4711 poste 5433 Aperçu du module Cryptographie (3 sem.) Définitions et histoire Notions de base (théorie de l'information) Chiffrement Méthodes "classiques"

Plus en détail

Introduction à la simulation de Monte Carlo

Introduction à la simulation de Monte Carlo Introduction à la simulation de 6-601-09 Simulation Geneviève Gauthier HEC Montréal e 1 d une I Soit X 1, X,..., X n des variables aléatoires indépendantes et identiquement distribuées. Elles sont obtenues

Plus en détail

Dualité dans les espaces de Lebesgue et mesures de Radon finies

Dualité dans les espaces de Lebesgue et mesures de Radon finies Chapitre 6 Dualité dans les espaces de Lebesgue et mesures de Radon finies Nous allons maintenant revenir sur les espaces L p du Chapitre 4, à la lumière de certains résultats du Chapitre 5. Sauf mention

Plus en détail

FIMA, 7 juillet 2005

FIMA, 7 juillet 2005 F. Corset 1 S. 2 1 LabSAD Université Pierre Mendes France 2 Département de Mathématiques Université de Franche-Comté FIMA, 7 juillet 2005 Plan de l exposé plus court chemin Origine du problème Modélisation

Plus en détail

StatEnAction 2009/10/30 11:26 page 111 #127 CHAPITRE 10. Machines à sous

StatEnAction 2009/10/30 11:26 page 111 #127 CHAPITRE 10. Machines à sous StatEnAction 2009/0/30 :26 page #27 CHAPITRE 0 Machines à sous Résumé. On étudie un problème lié aux jeux de hasard. Il concerne les machines à sous et est appelé problème de prédiction de bandits à deux

Plus en détail

Mth2302B - Intra Été 2011

Mth2302B - Intra Été 2011 École Polytechnique de Montréal page 1 Contrôle périodique Été 2011--------------------------------Corrigé--------------------------------------T.Hammouche Question 1 (12 points) Mth2302B - Intra Été 2011

Plus en détail

De même, le périmètre P d un cercle de rayon 1 vaut P = 2π (par définition de π). Mais, on peut démontrer (difficilement!) que

De même, le périmètre P d un cercle de rayon 1 vaut P = 2π (par définition de π). Mais, on peut démontrer (difficilement!) que Introduction. On suppose connus les ensembles N (des entiers naturels), Z des entiers relatifs et Q (des nombres rationnels). On s est rendu compte, depuis l antiquité, que l on ne peut pas tout mesurer

Plus en détail

Probabilités 5. Simulation de variables aléatoires

Probabilités 5. Simulation de variables aléatoires Probabilités 5. Simulation de variables aléatoires Céline Lacaux École des Mines de Nancy IECL 27 avril 2015 1 / 25 Plan 1 Méthodes de Monte-Carlo 2 3 4 2 / 25 Estimation d intégrales Fiabilité d un système

Plus en détail

Base : une axiomatique

Base : une axiomatique Autour des groupes de réflexions Master 2 Mathématiques fondamentales Cours : Michel Broué Université Paris VII Denis Diderot TD : Vincent Beck Année 2005 2006 Base : une axiomatique a) D après (i), on

Plus en détail

Simulations des Grecques : Malliavin vs Différences finies

Simulations des Grecques : Malliavin vs Différences finies 0.1. LES GRECQUES 1 Simulations des Grecques : iavin vs Différences finies Christophe Chorro Ce petit document vise à illustrer de manière numérique les techniques présentées lors du mini cours sur le

Plus en détail

Théorie des Graphes Cours 3: Forêts et Arbres II / Modélisation

Théorie des Graphes Cours 3: Forêts et Arbres II / Modélisation IFIPS S7 - informatique Université Paris-Sud 11 1er semestre 2009/2010 Théorie des Graphes Cours 3: Forêts et Arbres II / 1 Forêts et arbres II Théorème 1.1. Les assertions suivantes sont équivalentes

Plus en détail

Statistiques et probabilités : Loi Normale. Les I.P.R. et Formateurs de l Académie de LILLE

Statistiques et probabilités : Loi Normale. Les I.P.R. et Formateurs de l Académie de LILLE Statistiques et probabilités : Loi Normale Les I.P.R. et Formateurs de l Académie de LILLE Bulletin officiel spécial 8 du 13 octobre 2011 Cadre général : loi à densité Définition Une fonction f définie

Plus en détail

Cours d analyse 1ère année. Rhodes Rémi

Cours d analyse 1ère année. Rhodes Rémi Cours d analyse 1ère année Rhodes Rémi 10 décembre 2008 2 Table des matières 1 Propriétés des nombres réels 5 1.1 Sous-ensembles remarquables de R........................ 5 1.2 Relations d ordre..................................

Plus en détail

Lois de probabilité. Anita Burgun

Lois de probabilité. Anita Burgun Lois de probabilité Anita Burgun Problème posé Le problème posé en statistique: On s intéresse à une population On extrait un échantillon On se demande quelle sera la composition de l échantillon (pourcentage

Plus en détail

Cours d Analyse Réelle 4M003

Cours d Analyse Réelle 4M003 Cours d Analyse Réelle 4M003 Jean SAINT RAYMOND Université Pierre et Marie Curie Avant-propos Ce texte a été rédigé pour servir de support écrit à un cours de Master 1 de l Université Pierre-et-Marie Curie.

Plus en détail

Espérances et variances

Espérances et variances [http://mp.cpgedupuydelome.fr] édité le 29 décembre 201 Enoncés 1 Espérances et variances Exercice 1 [ 04018 ] [Correction] Soit X une variable aléatoire discrète à valeurs dans [a ; b]. a Montrer que

Plus en détail

Probabilités. Chapitre 2 : Le modèle probabiliste - Indépendance d évènements. Julian Tugaut. 15 janvier 2015

Probabilités. Chapitre 2 : Le modèle probabiliste - Indépendance d évènements. Julian Tugaut. 15 janvier 2015 Indépendance de deux évènements Chapitre 2 : Le modèle probabiliste - Indépendance d évènements 15 janvier 2015 Sommaire 1 Indépendance de deux évènements 2 Indépendance de deux évènements Approche intuitive

Plus en détail

Limites finies en un point

Limites finies en un point 8 Limites finies en un point Pour ce chapitre, sauf précision contraire, I désigne une partie non vide de R et f une fonction définie sur I et à valeurs réelles ou complees. Là encore, les fonctions usuelles,

Plus en détail

Moments des variables aléatoires réelles

Moments des variables aléatoires réelles Chapter 6 Moments des variables aléatoires réelles Sommaire 6.1 Espérance des variables aléatoires réelles................................ 46 6.1.1 Définition et calcul........................................

Plus en détail

Théorie et codage de l information

Théorie et codage de l information Théorie et codage de l information Les codes linéaires - Chapitre 6 - Principe Définition d un code linéaire Soient p un nombre premier et s est un entier positif. Il existe un unique corps de taille q

Plus en détail

Le théorème de Perron-Frobenius, les chaines de Markov et un célèbre moteur de recherche

Le théorème de Perron-Frobenius, les chaines de Markov et un célèbre moteur de recherche Le théorème de Perron-Frobenius, les chaines de Markov et un célèbre moteur de recherche Bachir Bekka Février 2007 Le théorème de Perron-Frobenius a d importantes applications en probabilités (chaines

Plus en détail

Chapitre 4 NOTIONS DE PROBABILITÉS

Chapitre 4 NOTIONS DE PROBABILITÉS Statistique appliquée à la gestion et au marketing http://foucart.thierry.free.fr/statpc Chapitre 4 NOTIONS DE PROBABILITÉS Les chapitres précédents donnent des méthodes graphiques et numériques pour caractériser

Plus en détail

Théorie et codage de l information

Théorie et codage de l information Théorie et codage de l information Canaux discrets - Chapitre 4 - Codage de canal Motivations Dans un système réel, le message reçu par le destinataire peut différer de celui qui rag replacements a été

Plus en détail

Précision d un résultat et calculs d incertitudes

Précision d un résultat et calculs d incertitudes Précision d un résultat et calculs d incertitudes PSI* 2012-2013 Lycée Chaptal 3 Table des matières Table des matières 1. Présentation d un résultat numérique................................ 4 1.1 Notations.........................................................

Plus en détail

TD2 Fonctions mesurables Corrigé

TD2 Fonctions mesurables Corrigé Intégration et probabilités 2012-2013 TD2 Fonctions mesurables Corrigé 0 Exercice qui avait été préparé chez soi Exercice 1. Soit (Ω, F, µ) un espace mesuré tel que µ (Ω) = 1. Soient A, B P (Ω) deux sousensembles

Plus en détail

Machines de Turing. Chapitre 14 14.1. DÉFINITION ET FONCTIONNEMENT

Machines de Turing. Chapitre 14 14.1. DÉFINITION ET FONCTIONNEMENT Chapitre 4 Machines de Turing Dans ce chapitre on présente un modèle de calcul introduit dans les années 3 par Turing, les machines de Turing. Ces machines formalisent la notion de calculabilité. La thèse

Plus en détail

Intégration et probabilités TD1 Espaces mesurés

Intégration et probabilités TD1 Espaces mesurés Intégration et probabilités TD1 Espaces mesurés 2012-2013 1 Petites questions 1) Est-ce que l ensemble des ouverts de R est une tribu? 2) Si F et G sont deux tribus, est-ce que F G est toujours une tribu?

Plus en détail

Corrigé de l examen partiel du 30 Octobre 2009 L2 Maths

Corrigé de l examen partiel du 30 Octobre 2009 L2 Maths Corrigé de l examen partiel du 30 Octobre 009 L Maths (a) Rappelons d abord le résultat suivant : Théorème 0.. Densité de Q dans R. QUESTIONS DE COURS. Preuve. Il nous faut nous montrer que tout réel est

Plus en détail

Fiche de révision sur les lois continues

Fiche de révision sur les lois continues Exercice 1 Voir la correction Le laboratoire de physique d un lycée dispose d un parc d oscilloscopes identiques. La durée de vie en années d un oscilloscope est une variable aléatoire notée X qui suit

Plus en détail

Jeux à somme nulle : le cas fini

Jeux à somme nulle : le cas fini CHAPITRE 2 Jeux à somme nulle : le cas fini Les jeux à somme nulle sont les jeux à deux joueurs où la somme des fonctions de paiement est nulle. Dans ce type d interaction stratégique, les intérêts des

Plus en détail

Exo7. Topologie générale. Enoncés : M. Quéffelec Corrections : A. Bodin

Exo7. Topologie générale. Enoncés : M. Quéffelec Corrections : A. Bodin Enoncés : M. Quéffelec Corrections : A. Bodin Exo7 Topologie générale Exercice 1 1. Rappeler les définitions d une borne supérieure (inférieure) d un ensemble de nombres réels. Si A et B sont deux ensembles

Plus en détail

INTRODUCTION À LA THÉORIE DE L INFORMATION POUR LE CODAGE

INTRODUCTION À LA THÉORIE DE L INFORMATION POUR LE CODAGE INTRODUCTION À LA THÉORIE DE L INFORMATION POUR LE CODAGE Master Systèmes de Radiocommunications, année 2007. Version : 2.1. Samson LASAULCE lasaulce@lss.supelec.fr 2 Table des matières 1 Introduction.

Plus en détail

Supplément théorique Inférence dans les réseaux bayésiens. Rappel théorique. Les processus aléatoires. Les réseaux bayésiens

Supplément théorique Inférence dans les réseaux bayésiens. Rappel théorique. Les processus aléatoires. Les réseaux bayésiens DÉPARTEMENT DE GÉNIE LOGICIEL ET DES TI LOG770 - SYSTÈMES INTELLIGENTS ÉTÉ 2011 Supplément théorique Inférence dans les réseaux bayésiens Rappel théorique Les processus aléatoires La plupart des processus

Plus en détail

Mathématiques assistées par ordinateur

Mathématiques assistées par ordinateur Mathématiques assistées par ordinateur Chapitre 4 : Racines des polynômes réels et complexes Michael Eisermann Mat249, DLST L2S4, Année 2008-2009 www-fourier.ujf-grenoble.fr/ eiserm/cours # mao Document

Plus en détail

Références. Compter les mots. Le langage comme donnée. Communication Langagière Ingénierie des langues et de la parole

Références. Compter les mots. Le langage comme donnée. Communication Langagière Ingénierie des langues et de la parole Communication Langagière Ingénierie des langues et de la parole 1. Introduction générale 2. Ingénierie des langues 2.1 Représentation et codage des textes 2.2 Théorie de l information et probabilités 2.3

Plus en détail

Théorie et Codage de l Information (IF01) exercices 2013-2014. Paul Honeine Université de technologie de Troyes France

Théorie et Codage de l Information (IF01) exercices 2013-2014. Paul Honeine Université de technologie de Troyes France Théorie et Codage de l Information (IF01) exercices 2013-2014 Paul Honeine Université de technologie de Troyes France TD-1 Rappels de calculs de probabilités Exercice 1. On dispose d un jeu de 52 cartes

Plus en détail

Problèmes de Décision : Définition. Problèmes Indécidables : Définition. Problèmes de Décision (définition moins informelle)

Problèmes de Décision : Définition. Problèmes Indécidables : Définition. Problèmes de Décision (définition moins informelle) Problèmes de Décision : Définition Problèmes de Décision (définition informelle) Un problème de décision est un problème dont la réponse est binaire (0 ou 1). Exemple (problème PREM) : est-ce qu un nombre

Plus en détail

Cours 4 : algorithmes de codage de source adaptatifs

Cours 4 : algorithmes de codage de source adaptatifs Cours 4 : algorithmes de codage de source adaptatifs 7 octobre 26 Théorie de l information Plan du cours 1. Motivation ; 2. Huffman adaptatif ; 3. Méthode de Gallager et Knuth ; 4. Méthode par dictionnaire

Plus en détail

+ 1. Qu est ce que cela donne pour notre calcul de 1,01? On pose x = 1,01 donc f (x) 1 + 1 0,01

+ 1. Qu est ce que cela donne pour notre calcul de 1,01? On pose x = 1,01 donc f (x) 1 + 1 0,01 Eo7 Dérivée d une fonction Vidéo partie. Définition Vidéo partie. Calculs Vidéo partie 3. Etremum local, théorème de Rolle Vidéo partie 4. Théorème des accroissements finis Eercices Fonctions dérivables

Plus en détail

Les fonctions de plusieurs variables (suite)

Les fonctions de plusieurs variables (suite) Les fonctions de plusieurs variables (suite) Exemple d application de ce résultat Comme x x (x, y) (x, y ) et y y (x, y) (x, y ), les applications définies par (x, y) x, (x, y) y sont continues sur R 2

Plus en détail

Répresenter l uncertain: Réseaux Bayesiens

Répresenter l uncertain: Réseaux Bayesiens Répresenter l uncertain: Réseaux Bayesiens M1 Miage 2015 2016 Intelligence Artificielle Stéphane Airiau LAMSADE M1 Miage 2015 2016 Intelligence Artificielle (Stéphane Airiau) Répresenter l uncertain: Réseaux

Plus en détail