S. Zozor Information, inégalités et relations d incertitude
|
|
- Philippe Bibeau
- il y a 8 ans
- Total affichages :
Transcription
1 Information, inégalités et relations d incertitude Steeve Zozor GIPSA-Lab CNRS Grenoble INP, Grenoble, France Mai 2010
2 Plan du cours 1 Entropie mesure d incertitude Axiomes, entropie de Shannon et ses propriétés Entropie différentielle cas vectoriel D autres mesures d information 2 Entropie conditionnelle, Information mutuelle Quelques exemples Divergences 3 Inégalités classiques Chaînes de Markov Inégalité de la puissance entropique Estimation relations entre informations 4 Relation d incertitude d Heisenberg et versions entropiques
3 Plan du cours 1 Entropie mesure d incertitude Axiomes, entropie de Shannon et ses propriétés Entropie différentielle cas vectoriel D autres mesures d information 2 Entropie conditionnelle, Information mutuelle Quelques exemples Divergences 3 Inégalités classiques Chaînes de Markov Inégalité de la puissance entropique Estimation relations entre informations 4 Relation d incertitude d Heisenberg et versions entropiques
4 Plan du cours 1 Entropie mesure d incertitude Axiomes, entropie de Shannon et ses propriétés Entropie différentielle cas vectoriel D autres mesures d information 2 Entropie conditionnelle, Information mutuelle Quelques exemples Divergences 3 Inégalités classiques Chaînes de Markov Inégalité de la puissance entropique Estimation relations entre informations 4 Relation d incertitude d Heisenberg et versions entropiques
5 Plan du cours 1 Entropie mesure d incertitude Axiomes, entropie de Shannon et ses propriétés Entropie différentielle cas vectoriel D autres mesures d information 2 Entropie conditionnelle, Information mutuelle Quelques exemples Divergences 3 Inégalités classiques Chaînes de Markov Inégalité de la puissance entropique Estimation relations entre informations 4 Relation d incertitude d Heisenberg et versions entropiques
6 Plan du cours Axiomes, entropie de Shannon et ses propriétés Entropie différentielle cas vectoriel D autres mesures d information 1 Entropie mesure d incertitude Axiomes, entropie de Shannon et ses propriétés Entropie différentielle cas vectoriel D autres mesures d information 2 Entropie conditionnelle, Information mutuelle Quelques exemples Divergences 3 Inégalités classiques Chaînes de Markov Inégalité de la puissance entropique Estimation relations entre informations 4 Relation d incertitude d Heisenberg et versions entropiques
7 Quelques exemples Quel est le point commun entre les problèmes suivants? Axiomes, entropie de Shannon et ses propriétés Entropie différentielle cas vectoriel D autres mesures d information On dispose d un dé à 8 faces. On souhaite coder chaque face par une séquence binaire (suite de 0 et 1) suivant les contraintes: à partir d une séquence binaire correspondant à une séquence de lancers, on souhaite retrouver la séquence des faces (décodage), on souhaite, en moyenne, utiliser le moins de bits possible. Une pièce a une probabilité p de tomber sur pile. X est le nombre de lancers nécessaires pour tomber sur face et Vali vient de faire l expérience. En lui posant le moins possible de questions binaires du type X {1, 2, 3} on souhaite deviner X. On dispose d un générateur aléatoire X binaire de ±1 dont on peut régler α = Pr[X = 1]. On émet une séquence à travers un canal qui distord le symbole (l inverse, le bruite... ). Comment fixer α pour commettre le moins d erreurs possible? N particule de gaz parfait occupent un volume Λ avec chacune sa vélocité : quelle la densité de probabilité des n vitesses des particules sachant que l énergie totale P 1 i 2 mv2 i = E est fixe?
8 Quelques exemples Quel est le point commun entre les problèmes suivants? Axiomes, entropie de Shannon et ses propriétés Entropie différentielle cas vectoriel D autres mesures d information On dispose d un dé à 8 faces. On souhaite coder chaque face par une séquence binaire (suite de 0 et 1) suivant les contraintes: à partir d une séquence binaire correspondant à une séquence de lancers, on souhaite retrouver la séquence des faces (décodage), on souhaite, en moyenne, utiliser le moins de bits possible. Une pièce a une probabilité p de tomber sur pile. X est le nombre de lancers nécessaires pour tomber sur face et Vali vient de faire l expérience. En lui posant le moins possible de questions binaires du type X {1, 2, 3} on souhaite deviner X. On dispose d un générateur aléatoire X binaire de ±1 dont on peut régler α = Pr[X = 1]. On émet une séquence à travers un canal qui distord le symbole (l inverse, le bruite... ). Comment fixer α pour commettre le moins d erreurs possible? N particule de gaz parfait occupent un volume Λ avec chacune sa vélocité : quelle la densité de probabilité des n vitesses des particules sachant que l énergie totale P 1 i 2 mv2 i = E est fixe?
9 Quelques exemples Quel est le point commun entre les problèmes suivants? Axiomes, entropie de Shannon et ses propriétés Entropie différentielle cas vectoriel D autres mesures d information On dispose d un dé à 8 faces. On souhaite coder chaque face par une séquence binaire (suite de 0 et 1) suivant les contraintes: à partir d une séquence binaire correspondant à une séquence de lancers, on souhaite retrouver la séquence des faces (décodage), on souhaite, en moyenne, utiliser le moins de bits possible. Une pièce a une probabilité p de tomber sur pile. X est le nombre de lancers nécessaires pour tomber sur face et Vali vient de faire l expérience. En lui posant le moins possible de questions binaires du type X {1, 2, 3} on souhaite deviner X. On dispose d un générateur aléatoire X binaire de ±1 dont on peut régler α = Pr[X = 1]. On émet une séquence à travers un canal qui distord le symbole (l inverse, le bruite... ). Comment fixer α pour commettre le moins d erreurs possible? N particule de gaz parfait occupent un volume Λ avec chacune sa vélocité : quelle la densité de probabilité des n vitesses des particules sachant que l énergie totale P 1 i 2 mv2 i = E est fixe?
10 Quelques exemples Quel est le point commun entre les problèmes suivants? Axiomes, entropie de Shannon et ses propriétés Entropie différentielle cas vectoriel D autres mesures d information On dispose d un dé à 8 faces. On souhaite coder chaque face par une séquence binaire (suite de 0 et 1) suivant les contraintes: à partir d une séquence binaire correspondant à une séquence de lancers, on souhaite retrouver la séquence des faces (décodage), on souhaite, en moyenne, utiliser le moins de bits possible. Une pièce a une probabilité p de tomber sur pile. X est le nombre de lancers nécessaires pour tomber sur face et Vali vient de faire l expérience. En lui posant le moins possible de questions binaires du type X {1, 2, 3} on souhaite deviner X. On dispose d un générateur aléatoire X binaire de ±1 dont on peut régler α = Pr[X = 1]. On émet une séquence à travers un canal qui distord le symbole (l inverse, le bruite... ). Comment fixer α pour commettre le moins d erreurs possible? N particule de gaz parfait occupent un volume Λ avec chacune sa vélocité : quelle la densité de probabilité des n vitesses des particules sachant que l énergie totale P 1 i 2 mv2 i = E est fixe?
11 Axiomes, entropie de Shannon et ses propriétés Entropie différentielle cas vectoriel D autres mesures d information Entropie de Shannon, 1948 Axiomes Variable aléatoire discrète X sur {x 1,..., x n}, de loi {p k = Pr[X = x k ]} k=1,...,n But : construire une mesure d incertitude/d information H(X) = H(p 1,..., p n) pas d incertitude obs. n apporte pas d information incertitude maximum Invariante par permutation, continue selon les p k p k = 1 alors H(n) croissante (incertitude croissante) n Récursivité H = H(p 1 + p 2, p 3,...) + (p 1 + p 2)H p1 p 1 +p 2, x 1 x 2 H p1 p 1 +p 2, p 2 p 1 +p 2 {x 1, x 2} p 2 p 1 +p 2 x 3 x 3 x n x n S. Zozor Information, H(p 1,. inégalités.., p n) et relations H(p d incertitude 1 + p 2,..., p n)
12 Axiomes, entropie de Shannon et ses propriétés Entropie différentielle cas vectoriel D autres mesures d information Entropie de Shannon, 1948 Axiomes équiv. Variable aléatoire discrète X sur {x 1,..., x n}, de loi {p k = Pr[X = x k ]} k=1,...,n But : construire une mesure d incertitude/d information H(X) = H(p 1,..., p n) pas d incertitude obs. n apporte pas d information incertitude maximum Incertitude élémentaire information de Hartley h(p k ), H(X) = P p k h(p k ) continue selon les p k et symétrique X, Y indépendantes, alors H(X, Y ) = H(X) + H(Y )
13 Axiomes, entropie de Shannon et ses propriétés Entropie différentielle cas vectoriel D autres mesures d information Entropie de Shannon, 1948 Définition Variable aléatoire discrète X sur {x 1,..., x n}, de loi {p k = Pr[X = x k ]} k=1,...,n But : construire une mesure d incertitude/d information H(X) = H(p 1,..., p n) pas d incertitude obs. n apporte pas d information incertitude maximum Intuitivement, h(p k q k ) = h(p k ) + h(q k ) impose h(p) = α log(p) Seule possibilité : H(X) = kt X k p k log(p k ) (0 log 0 = 0) S étend au cas k Z, kt def = 1 log b.
14 Quelques propriétés Axiomes, entropie de Shannon et ses propriétés Entropie différentielle cas vectoriel D autres mesures d information H 0 p k = δ k,l H = 0 minimum (pas d incertitude) p k = 1 H = log n (incertitude maximum dans le cas fini) n e.g. {p, 1 p} H p Concavité : P {p k }, Q {q k } et R {λp k + (1 λ)q k }, λ [0 ; 1] H(R) λh(p ) + (1 λ)h(q) H(aX) = H(X + c) = H(X) : indépendant des valeurs prises par X
15 Quelques propriétés Axiomes, entropie de Shannon et ses propriétés Entropie différentielle cas vectoriel D autres mesures d information H 0 p k = δ k,l H = 0 minimum (pas d incertitude) p k = 1 H = log n (incertitude maximum dans le cas fini) n e.g. {p, 1 p} H p Concavité : P {p k }, Q {q k } et R {λp k + (1 λ)q k }, λ [0 ; 1] f(moy) H(R) λh(p ) + (1 λ)h(q) moy(f) H(aX) = H(X + c) = H(X) : indépendant des valeurs prises par X
16 Quelques propriétés Axiomes, entropie de Shannon et ses propriétés Entropie différentielle cas vectoriel D autres mesures d information H 0 p k = δ k,l H = 0 minimum (pas d incertitude) p k = 1 H = log n (incertitude maximum dans le cas fini) n e.g. {p, 1 p} H p Concavité : P {p k }, Q {q k } et R {λp k + (1 λ)q k }, λ [0 ; 1] f(moy) H(R) λh(p ) + (1 λ)h(q) moy(f) H(aX) = H(X + c) = H(X) : indépendant des valeurs prises par X
17 Un problème de codage Axiomes, entropie de Shannon et ses propriétés Entropie différentielle cas vectoriel D autres mesures d information Soit un dé à 8 faces équiprobables, codage binaire de chaque face : Codage sur 3 bits : (000, 001, 010, 011, 100, 101, 110, 111) En moyenne on a besoin de P 1 3 = 3 bits 8 Entropie H(X) = P p k log 2 (p k ) = P 1 log ` = 3 bits Supposons cette fois le dé pipé, ` 1 2, 1 4, 1 8, 1 16, 1 64, 1 64, 1 64, 1 64 : Comme avant : codage sur 3 bits, & 3 bits en moyenne 0 forte proba. d apparition codage sur peu de bits 7 faible proba. d apparition codage sur plus de bits séquences décodable... on a besoin de... 6 bits! mais en moyenne = 2 bits Entropie H(X) = P p k log 2 (p k ) = 2 bits Code optimum de taille moyenne L : H(X) L < H(X) + 1
18 Un problème de codage Axiomes, entropie de Shannon et ses propriétés Entropie différentielle cas vectoriel D autres mesures d information Soit un dé à 8 faces équiprobables, codage binaire de chaque face : Codage sur 3 bits : (000, 001, 010, 011, 100, 101, 110, 111) En moyenne on a besoin de P 1 3 = 3 bits 8 Entropie H(X) = P p k log 2 (p k ) = P 1 log ` = 3 bits Supposons cette fois le dé pipé, ` 1 2, 1 4, 1 8, 1 16, 1 64, 1 64, 1 64, 1 64 : Comme avant : codage sur 3 bits, & 3 bits en moyenne 0 forte proba. d apparition codage sur peu de bits 7 faible proba. d apparition codage sur plus de bits séquences décodable... on a besoin de... 6 bits! mais en moyenne = 2 bits Entropie H(X) = P p k log 2 (p k ) = 2 bits Code optimum de taille moyenne L : H(X) L < H(X) + 1
19 Un problème de codage Axiomes, entropie de Shannon et ses propriétés Entropie différentielle cas vectoriel D autres mesures d information Soit un dé à 8 faces équiprobables, codage binaire de chaque face : Codage sur 3 bits : (000, 001, 010, 011, 100, 101, 110, 111) En moyenne on a besoin de P 1 3 = 3 bits 8 Entropie H(X) = P p k log 2 (p k ) = P 1 log ` = 3 bits Supposons cette fois le dé pipé, ` 1 2, 1 4, 1 8, 1 16, 1 64, 1 64, 1 64, 1 64 : Comme avant : codage sur 3 bits, & 3 bits en moyenne 0 forte proba. d apparition codage sur peu de bits 7 faible proba. d apparition codage sur plus de bits séquences décodable... on a besoin de... 6 bits! mais en moyenne = 2 bits Entropie H(X) = P p k log 2 (p k ) = 2 bits Code optimum de taille moyenne L : H(X) L < H(X) + 1
20 Un problème de codage Axiomes, entropie de Shannon et ses propriétés Entropie différentielle cas vectoriel D autres mesures d information Soit un dé à 8 faces équiprobables, codage binaire de chaque face : Codage sur 3 bits : (000, 001, 010, 011, 100, 101, 110, 111) En moyenne on a besoin de P 1 3 = 3 bits 8 Entropie H(X) = P p k log 2 (p k ) = P 1 log ` = 3 bits Supposons cette fois le dé pipé, ` 1 2, 1 4, 1 8, 1 16, 1 64, 1 64, 1 64, 1 64 : Comme avant : codage sur 3 bits, & 3 bits en moyenne 0 forte proba. d apparition codage sur peu de bits 7 faible proba. d apparition codage sur plus de bits séquences décodable... on a besoin de... 6 bits! mais en moyenne = 2 bits Entropie H(X) = P p k log 2 (p k ) = 2 bits Code optimum de taille moyenne L : H(X) L < H(X) + 1
21 Un problème de codage Axiomes, entropie de Shannon et ses propriétés Entropie différentielle cas vectoriel D autres mesures d information Soit un dé à 8 faces équiprobables, codage binaire de chaque face : Codage sur 3 bits : (000, 001, 010, 011, 100, 101, 110, 111) En moyenne on a besoin de P 1 3 = 3 bits 8 Entropie H(X) = P p k log 2 (p k ) = P 1 log ` = 3 bits Supposons cette fois le dé pipé, ` 1 2, 1 4, 1 8, 1 16, 1 64, 1 64, 1 64, 1 64 : Comme avant : codage sur 3 bits, & 3 bits en moyenne 0 forte proba. d apparition codage sur peu de bits 7 faible proba. d apparition codage sur plus de bits séquences décodable... on a besoin de... 6 bits! mais en moyenne = 2 bits Entropie H(X) = P p k log 2 (p k ) = 2 bits Code optimum de taille moyenne L : H(X) L < H(X) + 1
22 Un problème de codage Axiomes, entropie de Shannon et ses propriétés Entropie différentielle cas vectoriel D autres mesures d information Soit un dé à 8 faces équiprobables, codage binaire de chaque face : Codage sur 3 bits : (000, 001, 010, 011, 100, 101, 110, 111) En moyenne on a besoin de P 1 3 = 3 bits 8 Entropie H(X) = P p k log 2 (p k ) = P 1 log ` = 3 bits Supposons cette fois le dé pipé, ` 1 2, 1 4, 1 8, 1 16, 1 64, 1 64, 1 64, 1 64 : Comme avant : codage sur 3 bits, & 3 bits en moyenne 0 forte proba. d apparition codage sur peu de bits 7 faible proba. d apparition codage sur plus de bits choix (0, 10, 110, 1110, , , , ) séquences décodable... on a besoin de... 6 bits! mais en moyenne = 2 bits Entropie H(X) = P p k log 2 (p k ) = 2 bits Code optimum de taille moyenne L : H(X) L < H(X) + 1
23 Un problème de codage Axiomes, entropie de Shannon et ses propriétés Entropie différentielle cas vectoriel D autres mesures d information Soit un dé à 8 faces équiprobables, codage binaire de chaque face : Codage sur 3 bits : (000, 001, 010, 011, 100, 101, 110, 111) En moyenne on a besoin de P 1 3 = 3 bits 8 Entropie H(X) = P p k log 2 (p k ) = P 1 log ` = 3 bits Supposons cette fois le dé pipé, ` 1 2, 1 4, 1 8, 1 16, 1 64, 1 64, 1 64, 1 64 : Comme avant : codage sur 3 bits, & 3 bits en moyenne 0 forte proba. d apparition codage sur peu de bits 7 faible proba. d apparition codage sur plus de bits choix (0, 10, 110, 1110, , , , ) séquences décodable... on a besoin de... 6 bits! mais en moyenne = 2 bits Entropie H(X) = P p k log 2 (p k ) = 2 bits Code optimum de taille moyenne L : H(X) L < H(X) + 1
24 Un problème de codage Axiomes, entropie de Shannon et ses propriétés Entropie différentielle cas vectoriel D autres mesures d information Soit un dé à 8 faces équiprobables, codage binaire de chaque face : Codage sur 3 bits : (000, 001, 010, 011, 100, 101, 110, 111) En moyenne on a besoin de P 1 3 = 3 bits 8 Entropie H(X) = P p k log 2 (p k ) = P 1 log ` = 3 bits Supposons cette fois le dé pipé, ` 1 2, 1 4, 1 8, 1 16, 1 64, 1 64, 1 64, 1 64 : Comme avant : codage sur 3 bits, & 3 bits en moyenne 0 forte proba. d apparition codage sur peu de bits 7 faible proba. d apparition codage sur plus de bits choix (0, 10, 110, 1110, , , , ) séquences décodable... on a besoin de... 6 bits! mais en moyenne = 2 bits Entropie H(X) = P p k log 2 (p k ) = 2 bits Code optimum de taille moyenne L : H(X) L < H(X) + 1
25 Un problème de codage Axiomes, entropie de Shannon et ses propriétés Entropie différentielle cas vectoriel D autres mesures d information Soit un dé à 8 faces équiprobables, codage binaire de chaque face : Codage sur 3 bits : (000, 001, 010, 011, 100, 101, 110, 111) En moyenne on a besoin de P 1 3 = 3 bits 8 Entropie H(X) = P p k log 2 (p k ) = P 1 log ` = 3 bits Supposons cette fois le dé pipé, ` 1 2, 1 4, 1 8, 1 16, 1 64, 1 64, 1 64, 1 64 : Comme avant : codage sur 3 bits, & 3 bits en moyenne 0 forte proba. d apparition codage sur peu de bits 7 faible proba. d apparition codage sur plus de bits choix (0, 10, 110, 1110, , , , ) séquences décodable... on a besoin de... 6 bits! mais en moyenne = 2 bits Entropie H(X) = P p k log 2 (p k ) = 2 bits Code optimum de taille moyenne L : H(X) L < H(X) + 1
26 Axiomes, entropie de Shannon et ses propriétés Entropie différentielle cas vectoriel D autres mesures d information Application à un problème de pile ou face Une pièce a une probabilité p de tomber sur le coté pile. Soit X le nombre de lancers successifs nécessaires pour tomber sur face. Déterminer p k = Pr[X = k] puis l entropie H(X) = f(p) de X. Quelle séquence naive de questions permettrait de deviner x? Quel est le nombre moyen N de questions à poser pour trouver x? Comparer N et H(X) dans les cas p = 1 2 et p = 2 2. Peut-on trouver une séquence de questions plus courte (en moyenne)? Si oui, quel est le nombre moyen N de questions? Conclure.
27 Axiomes, entropie de Shannon et ses propriétés Entropie différentielle cas vectoriel D autres mesures d information Application à un problème de pile ou face Une pièce a une probabilité p de tomber sur le coté pile. Soit X le nombre de lancers successifs nécessaires pour tomber sur face. Déterminer p k = Pr[X = k] puis l entropie H(X) = f(p) de X. Vali vient de faire x lancers pour tomber enfin sur face. On veut deviner x en lui posant une suite de questions binaires x {x 1,... x k }? Quelle séquence naive de questions permettrait de deviner x? Quel est le nombre moyen N de questions à poser pour trouver x? Comparer N et H(X) dans les cas p = 1 2 et p = 2 2. Peut-on trouver une séquence de questions plus courte (en moyenne)? Si oui, quel est le nombre moyen N de questions? Conclure.
28 Axiomes, entropie de Shannon et ses propriétés Entropie différentielle cas vectoriel D autres mesures d information Application à un problème de pile ou face Une pièce a une probabilité p de tomber sur le coté pile. Soit X le nombre de lancers successifs nécessaires pour tomber sur face. Déterminer p k = Pr[X = k] puis l entropie H(X) = f(p) de X. Vali vient de faire x lancers pour tomber enfin sur face. On veut deviner x en lui posant une suite de questions binaires x {x 1,... x k }? Quelle séquence naive de questions permettrait de deviner x? Quel est le nombre moyen N de questions à poser pour trouver x? Comparer N et H(X) dans les cas p = 1 2 et p = 2 2. Peut-on trouver une séquence de questions plus courte (en moyenne)? Si oui, quel est le nombre moyen N de questions? Conclure.
29 Extension au cas continu Axiomes, entropie de Shannon et ses propriétés Entropie différentielle cas vectoriel D autres mesures d information Pour X variable aléatoire continue, par analogie : Z H(X) = p(x) log p(x) dx (entropie différentielle) Pas d approche axiomatique (à ma connaissance)
30 Extension au cas continu Axiomes, entropie de Shannon et ses propriétés Entropie différentielle cas vectoriel D autres mesures d information Pour X variable aléatoire continue, par analogie : Z H(X) = p(x) log p(x) dx (entropie différentielle) Pas d approche axiomatique (à ma connaissance) Lien avec l entropie discrète : p(x) Soit x k tel que p k = p(x k ) = Z (k+1) k p(x) dx X = x k sur [k ; (k + 1) ), X {p k } p k x k x
31 Extension au cas continu Axiomes, entropie de Shannon et ses propriétés Entropie différentielle cas vectoriel D autres mesures d information Pour X variable aléatoire continue, par analogie : Z H(X) = p(x) log p(x) dx (entropie différentielle) Pas d approche axiomatique (à ma connaissance) Lien avec l entropie discrète : p(x) Soit x k tel que p k = p(x k ) = Z (k+1) k p(x) dx X = x k sur [k ; (k + 1) ), X {p k } p k x k x H X = X p k log p k = X p(x k ) log(p(x k ) ) = log X p(x k ) log p(x k )
32 Extension au cas continu Axiomes, entropie de Shannon et ses propriétés Entropie différentielle cas vectoriel D autres mesures d information Pour X variable aléatoire continue, par analogie : Z H(X) = p(x) log p(x) dx (entropie différentielle) Pas d approche axiomatique (à ma connaissance) Lien avec l entropie discrète : p(x) Soit x k tel que p k = p(x k ) = Z (k+1) k p(x) dx X = x k sur [k ; (k + 1) ), X {p k } p k x k x H X = X p k log p k = X p(x k ) log(p(x k ) ) = log X p(x k ) log p(x k ) lim H X + log = H(X) 0
33 Axiomes, entropie de Shannon et ses propriétés Entropie différentielle cas vectoriel D autres mesures d information Quelques propriétés du cas continu X définie sur [a ; b] borné, maximum H = log(b a) X uniforme H peut être négative et pour b a (pas d incertitude) Concavité : H(λp + (1 λ)q) λh(p) + (1 λ)h(q) Support R, variance/puissance fixée σ 2, maximum H(X) = 1 1 log(2πe) + log σ p(x) = 2 2π σ exp x2 2σ 2 en Gaussien, σ 2 contient toute l information/incertitude sur X H(X + c) = H(X), mais H(aX) = H(X) + log( a ) : dépend des valeurs prises par X Puissance entropique N(X) = 1 exp (2H(X)) 2πe N(X) 0 Uniforme N(X) = (b a)2 2πe 0 si b a 0 Gaussien N(X) = σ 2 0 si σ 2 0
34 Axiomes, entropie de Shannon et ses propriétés Entropie différentielle cas vectoriel D autres mesures d information Quelques propriétés du cas continu X définie sur [a ; b] borné, maximum H = log(b a) X uniforme H peut être négative et pour b a (pas d incertitude) Concavité : H(λp + (1 λ)q) λh(p) + (1 λ)h(q) Support R, variance/puissance fixée σ 2, maximum H(X) = 1 1 log(2πe) + log σ p(x) = 2 2π σ exp x2 2σ 2 en Gaussien, σ 2 contient toute l information/incertitude sur X H(X + c) = H(X), mais H(aX) = H(X) + log( a ) : dépend des valeurs prises par X Puissance entropique N(X) = 1 exp (2H(X)) 2πe N(X) 0 Uniforme N(X) = (b a)2 2πe 0 si b a 0 Gaussien N(X) = σ 2 0 si σ 2 0
35 Axiomes, entropie de Shannon et ses propriétés Entropie différentielle cas vectoriel D autres mesures d information Quelques propriétés du cas continu X définie sur [a ; b] borné, maximum H = log(b a) X uniforme H peut être négative et pour b a (pas d incertitude) Concavité : H(λp + (1 λ)q) λh(p) + (1 λ)h(q) Support R, variance/puissance fixée σ 2, maximum H(X) = 1 1 log(2πe) + log σ p(x) = 2 2π σ exp x2 2σ 2 en Gaussien, σ 2 contient toute l information/incertitude sur X H(X + c) = H(X), mais H(aX) = H(X) + log( a ) : dépend des valeurs prises par X Puissance entropique N(X) = 1 exp (2H(X)) 2πe N(X) 0 Uniforme N(X) = (b a)2 2πe 0 si b a 0 Gaussien N(X) = σ 2 0 si σ 2 0
36 Axiomes, entropie de Shannon et ses propriétés Entropie différentielle cas vectoriel D autres mesures d information Quelques propriétés du cas continu X définie sur [a ; b] borné, maximum H = log(b a) X uniforme H peut être négative et pour b a (pas d incertitude) Concavité : H(λp + (1 λ)q) λh(p) + (1 λ)h(q) Support R, variance/puissance fixée σ 2, maximum H(X) = 1 1 log(2πe) + log σ p(x) = 2 2π σ exp x2 2σ 2 en Gaussien, σ 2 contient toute l information/incertitude sur X H(X + c) = H(X), mais H(aX) = H(X) + log( a ) : dépend des valeurs prises par X Puissance entropique N(X) = 1 exp (2H(X)) 2πe N(X) 0 Uniforme N(X) = (b a)2 2πe 0 si b a 0 Gaussien N(X) = σ 2 0 si σ 2 0
37 Axiomes, entropie de Shannon et ses propriétés Entropie différentielle cas vectoriel D autres mesures d information Quelques propriétés du cas continu X définie sur [a ; b] borné, maximum H = log(b a) X uniforme H peut être négative et pour b a (pas d incertitude) Concavité : H(λp + (1 λ)q) λh(p) + (1 λ)h(q) Support R, variance/puissance fixée σ 2, maximum H(X) = 1 1 log(2πe) + log σ p(x) = 2 2π σ exp x2 2σ 2 en Gaussien, σ 2 contient toute l information/incertitude sur X H(X + c) = H(X), mais H(aX) = H(X) + log( a ) : dépend des valeurs prises par X Puissance entropique N(X) = 1 exp (2H(X)) 2πe N(X) 0 Uniforme N(X) = (b a)2 2πe 0 si b a 0 Gaussien N(X) = σ 2 0 si σ 2 0
38 Axiomes, entropie de Shannon et ses propriétés Entropie différentielle cas vectoriel D autres mesures d information Entropie d un vecteur aléatoire Vecteur aléatoire X p(x) sur un domaine D de R d ou Z d, entropie de X Z H(X) = p(x) log p(x)dx ou X p k1,...,k d log p k1,...,k d D D aussi appelée entropie conjointe des X i et notée H(X 1,..., X d ) X défini sur un support D de R d de volume fini vol D H max(x) = log vol D X uniforme sur D support R d, matrice de covariance R donnée H max(x) = d log(2πe) + 1 log R X N (, R) 2 2 Puissance fixée P = Trace(R), l entropie décroit avec la corrélation Puissance entropique N(X) = 1 exp ` H(X) 2 2πe d
39 Axiomes, entropie de Shannon et ses propriétés Entropie différentielle cas vectoriel D autres mesures d information Entropie d un vecteur aléatoire Vecteur aléatoire X p(x) sur un domaine D de R d ou Z d, entropie de X Z H(X) = p(x) log p(x)dx ou X p k1,...,k d log p k1,...,k d D D aussi appelée entropie conjointe des X i et notée H(X 1,..., X d ) X défini sur un support D de R d de volume fini vol D H max(x) = log vol D X uniforme sur D support R d, matrice de covariance R donnée H max(x) = d log(2πe) + 1 log R X N (, R) 2 2 Puissance fixée P = Trace(R), l entropie décroit avec la corrélation Puissance entropique N(X) = 1 exp ` H(X) 2 2πe d
40 Axiomes, entropie de Shannon et ses propriétés Entropie différentielle cas vectoriel D autres mesures d information Entropie d un vecteur aléatoire Vecteur aléatoire X p(x) sur un domaine D de R d ou Z d, entropie de X Z H(X) = p(x) log p(x)dx ou X p k1,...,k d log p k1,...,k d D D aussi appelée entropie conjointe des X i et notée H(X 1,..., X d ) X défini sur un support D de R d de volume fini vol D H max(x) = log vol D X uniforme sur D support R d, matrice de covariance R donnée H max(x) = d log(2πe) + 1 log R X N (, R) 2 2 Puissance fixée P = Trace(R), l entropie décroit avec la corrélation Puissance entropique N(X) = 1 exp ` H(X) 2 2πe d
41 Axiomes, entropie de Shannon et ses propriétés Entropie différentielle cas vectoriel D autres mesures d information Entropie d un vecteur aléatoire Vecteur aléatoire X p(x) sur un domaine D de R d ou Z d, entropie de X Z H(X) = p(x) log p(x)dx ou X p k1,...,k d log p k1,...,k d D D aussi appelée entropie conjointe des X i et notée H(X 1,..., X d ) X défini sur un support D de R d de volume fini vol D H max(x) = log vol D X uniforme sur D support R d, matrice de covariance R donnée H max(x) = d log(2πe) + 1 log R X N (, R) 2 2 Puissance fixée P = Trace(R), l entropie décroit avec la corrélation Puissance entropique N(X) = 1 exp ` H(X) 2 2πe d Taux d entropie : H(X) = 1 H(X) ; iid H(X ) = H(X1) d
42 D autres mesure d incertitude Axiomes, entropie de Shannon et ses propriétés Entropie différentielle cas vectoriel D autres mesures d information (Co)variance : l incertitude est nulle si σ 2 = 0 et augmente avec σ 2 Z ( p) ( p) t Matrice/information de Fisher : et sa trace p Entropie de Rényi : H λ = 1 1 λ log R p λ (phys. stat., détec.) `R Entropie de Havrda et Charvat 67 : T q = 1 q 1 p q 1 (phys.) Entropies d ordre (r, s) (Varma 66) : H s,r = 1 R log p r R s r p s R Entropies de degré (r, s) (Kapur 67) : T s,r = 1 s r (p r p s ) f-entropies (Arimoto 71) : H f = inf p R pf ( p) f convexe, continuement dérivable ; A t = 1 t 1 R «1 t p t 1
43 D autres mesure d incertitude Axiomes, entropie de Shannon et ses propriétés Entropie différentielle cas vectoriel D autres mesures d information (Co)variance : l incertitude est nulle si σ 2 = 0 et augmente avec σ 2 Z ( p) ( p) t Matrice/information de Fisher : et sa trace p Entropie de Rényi : H λ = 1 1 λ log R p λ (phys. stat., détec.) `R Entropie de Havrda et Charvat 67 : T q = 1 q 1 p q 1 (phys.) Entropies d ordre (r, s) (Varma 66) : H s,r = 1 R log p r R s r p s R Entropies de degré (r, s) (Kapur 67) : T s,r = 1 s r (p r p s ) f-entropies (Arimoto 71) : H f = inf p R pf ( p) f convexe, continuement dérivable ; A t = 1 t 1 R «1 t p t 1
44 D autres mesure d incertitude Axiomes, entropie de Shannon et ses propriétés Entropie différentielle cas vectoriel D autres mesures d information (Co)variance : l incertitude est nulle si σ 2 = 0 et augmente avec σ 2 Z ( p) ( p) t Matrice/information de Fisher : et sa trace p Entropie de Rényi : H λ = 1 1 λ log R p λ (phys. stat., détec.) `R Entropie de Havrda et Charvat 67 : T q = 1 q 1 p q 1 (phys.) Entropies d ordre (r, s) (Varma 66) : H s,r = 1 R log p r R s r p s R Entropies de degré (r, s) (Kapur 67) : T s,r = 1 s r (p r p s ) f-entropies (Arimoto 71) : H f = inf p R pf ( p) f convexe, continuement dérivable ; A t = 1 t 1 R «1 t p t 1
45 Entropie de Rényi, 1961 Généralisation de Shannon : Continuité ; information élémentaire h(p k ) Indépendance H r(x, Y ) = H r(x) + H r(y ) h(p k q l ) = h(p k ) + h(q l ) implique h(p) = log(p) Moyenne quasi-linéaire (exponentielle) : Axiomes, entropie de Shannon et ses propriétés Entropie différentielle cas vectoriel D autres mesures d information H r(x) = ϕ 1 ( P p k ϕ(h(p k )) ) avec ϕ continue croissante (KN) ϕ(x) = ax + b, conduisant à Shannon ϕ(x) = a e (1 λ)x + b avec λ 0, 1 conduisant à Rényi : H λ (X) = 1 1 λ log X Z p λ 1 k 1 λ log p λ (x) dx k
46 Entropie de Rényi, 1961 Généralisation de Shannon : Continuité ; information élémentaire h(p k ) Indépendance H r(x, Y ) = H r(x) + H r(y ) h(p k q l ) = h(p k ) + h(q l ) implique h(p) = log(p) Moyenne quasi-linéaire (exponentielle) : Axiomes, entropie de Shannon et ses propriétés Entropie différentielle cas vectoriel D autres mesures d information H r(x) = ϕ 1 ( P p k ϕ(h(p k )) ) avec ϕ continue croissante (KN) ϕ(x) = ax + b, conduisant à Shannon ϕ(x) = a e (1 λ)x + b avec λ 0, 1 conduisant à Rényi : H λ (X) = 1 1 λ log X Z p λ 1 k 1 λ log p λ (x) dx k
47 Entropie de Rényi, 1961 Généralisation de Shannon : Continuité ; information élémentaire h(p k ) Indépendance H r(x, Y ) = H r(x) + H r(y ) h(p k q l ) = h(p k ) + h(q l ) implique h(p) = log(p) Moyenne quasi-linéaire (exponentielle) : Axiomes, entropie de Shannon et ses propriétés Entropie différentielle cas vectoriel D autres mesures d information H r(x) = ϕ 1 ( P p k ϕ(h(p k )) ) avec ϕ continue croissante (KN) Seules solutions admissibles : ϕ(x) = ax + b, conduisant à Shannon ϕ(x) = a e (1 λ)x + b avec λ 0, 1 conduisant à Rényi : H λ (X) = 1 1 λ log X Z p λ 1 k 1 λ log p λ (x) dx k
48 Entropie de Rényi, 1961 Généralisation de Shannon : Continuité ; information élémentaire h(p k ) Indépendance H r(x, Y ) = H r(x) + H r(y ) h(p k q l ) = h(p k ) + h(q l ) implique h(p) = log(p) Moyenne quasi-linéaire (exponentielle) : Axiomes, entropie de Shannon et ses propriétés Entropie différentielle cas vectoriel D autres mesures d information H r(x) = ϕ 1 ( P p k ϕ(h(p k )) ) avec ϕ continue croissante (KN) Seules solutions admissibles : ϕ(x) = ax + b, conduisant à Shannon ϕ(x) = a e (1 λ)x + b avec λ 0, 1 conduisant à Rényi : H λ (X) = 1 1 λ log X Z p λ 1 k 1 λ log p λ (x) dx k
49 Entropie de Rényi, 1961 Généralisation de Shannon : Continuité ; information élémentaire h(p k ) Indépendance H r(x, Y ) = H r(x) + H r(y ) h(p k q l ) = h(p k ) + h(q l ) implique h(p) = log(p) Moyenne quasi-linéaire (exponentielle) : Axiomes, entropie de Shannon et ses propriétés Entropie différentielle cas vectoriel D autres mesures d information H r(x) = ϕ 1 ( P p k ϕ(h(p k )) ) avec ϕ continue croissante (KN) Seules solutions admissibles : ϕ(x) = ax + b, conduisant à Shannon ϕ(x) = a e (1 λ)x + b avec λ 0, 1 conduisant à Rényi : H λ (X) = 1 1 λ log X Z p λ 1 k 1 λ log p λ (x) dx k λ 1 donne H λ H λ joue un rôle de loupe
50 Axiomes, entropie de Shannon et ses propriétés Entropie différentielle cas vectoriel D autres mesures d information Quelques propriétés des entropies de Rényi Concavité pour λ 1 H λ décroît avec λ de H 0 = log vol D à H = log sup p p k = δ k,l H λ = 0 minimum X Q i {1,..., ni} et p k = Qi 1 H n λ = log( Q n i i) maximum Discret H λ 0 continu N λ exp 2 Hλ d Continu, support fini, maximum en uniforme H λ = log(vol D) Contrainte de (co)variance, maximisantes : λ>1 : f(x) `1 x t R 1 x 1 λ d <λ<1 : f(x) `1 + x t R 1 x 1 λ 1 Student-r Student-t λ 1 λ 1 N N
51 Axiomes, entropie de Shannon et ses propriétés Entropie différentielle cas vectoriel D autres mesures d information Quelques propriétés des entropies de Rényi Concavité pour λ 1 H λ décroît avec λ de H 0 = log vol D à H = log sup p p k = δ k,l H λ = 0 minimum X Q i {1,..., ni} et p k = Qi 1 H n λ = log( Q n i i) maximum Discret H λ 0 continu N λ exp 2 Hλ d Continu, support fini, maximum en uniforme H λ = log(vol D) Contrainte de (co)variance, maximisantes : λ>1 : f(x) `1 x t R 1 x 1 λ d <λ<1 : f(x) `1 + x t R 1 x 1 λ 1 Student-r Student-t λ 1 λ 1 N N
52 Axiomes, entropie de Shannon et ses propriétés Entropie différentielle cas vectoriel D autres mesures d information Quelques propriétés des entropies de Rényi Concavité pour λ 1 H λ décroît avec λ de H 0 = log vol D à H = log sup p p k = δ k,l H λ = 0 minimum X Q i {1,..., ni} et p k = Qi 1 H n λ = log( Q n i i) maximum Discret H λ 0 continu N λ exp 2 Hλ d Continu, support fini, maximum en uniforme H λ = log(vol D) Contrainte de (co)variance, maximisantes : λ>1 : f(x) `1 x t R 1 x 1 λ d <λ<1 : f(x) `1 + x t R 1 x 1 λ 1 Student-r Student-t λ 1 λ 1 N N
53 Axiomes, entropie de Shannon et ses propriétés Entropie différentielle cas vectoriel D autres mesures d information Quelques propriétés des entropies de Rényi Concavité pour λ 1 H λ décroît avec λ de H 0 = log vol D à H = log sup p p k = δ k,l H λ = 0 minimum X Q i {1,..., ni} et p k = Qi 1 H n λ = log( Q n i i) maximum Discret H λ 0 continu N λ exp 2 Hλ d Continu, support fini, maximum en uniforme H λ = log(vol D) Contrainte de (co)variance, maximisantes : λ>1 : f(x) `1 x t R 1 x 1 λ d <λ<1 : f(x) `1 + x t R 1 x 1 λ 1 Student-r Student-t λ 1 λ 1 N N
54 Axiomes, entropie de Shannon et ses propriétés Entropie différentielle cas vectoriel D autres mesures d information Quelques propriétés des entropies de Rényi Concavité pour λ 1 H λ décroît avec λ de H 0 = log vol D à H = log sup p p k = δ k,l H λ = 0 minimum X Q i {1,..., ni} et p k = Qi 1 H n λ = log( Q n i i) maximum Discret H λ 0 continu N λ exp 2 Hλ d Continu, support fini, maximum en uniforme H λ = log(vol D) Contrainte de (co)variance, maximisantes : λ>1 : f(x) `1 x t R 1 x 1 λ d <λ<1 : f(x) `1 + x t R 1 x 1 λ 1 Rappel : λ joue un rôle de loupe Student-r Student-t λ 1 λ 1 N N
55 Axiomes, entropie de Shannon et ses propriétés Entropie différentielle cas vectoriel D autres mesures d information Exemple de codage Campbell 65, Bercher 09 Codage binaire des faces du dé à 8 faces pipé de loi ` 1 2, 1 4, 1 8, 1 16, 1 64, 1 64, 1 64, Code instantanné (mot non préfixe d un autre) Kraft P i 2 l i 1 de longueur moyenne: L = P i pili minimale l i = log 2 p i et L = H(X) (l i = log p i et L H(X)) choix (0, 10, 110, 1110, , , , ) L = 2 = H(X) mais malgré tout, besoin de 6 bits Pénalisation des mots longs : minimisation de C λ = 1 log α 2 C 0 = L et C = max i l i P i pi2αl i l i = log 2 ep i et C α = H λ (X), avec λ = 1 et 1+α epi = P pλ i k pλ k Pénalisation M λ = P i epili et code / distrib. compagne {epi}i α = 1, ( , , , , , , , ) L = 2.31 > L, mais besoin de 4 bits H.5(X) = 2.42 et C 1 = 2.46 ; H( e X) = 1.85 et M.5 = 2.69.
56 Axiomes, entropie de Shannon et ses propriétés Entropie différentielle cas vectoriel D autres mesures d information Exemple de codage Campbell 65, Bercher 09 Codage binaire des faces du dé à 8 faces pipé de loi ` 1 2, 1 4, 1 8, 1 16, 1 64, 1 64, 1 64, Code instantanné (mot non préfixe d un autre) Kraft P i 2 l i 1 de longueur moyenne: L = P i pili minimale l i = log 2 p i et L = H(X) (l i = log p i et L H(X)) choix (0, 10, 110, 1110, , , , ) L = 2 = H(X) mais malgré tout, besoin de 6 bits Pénalisation des mots longs : minimisation de C λ = 1 log α 2 C 0 = L et C = max i l i P i pi2αl i l i = log 2 ep i et C α = H λ (X), avec λ = 1 et 1+α epi = P pλ i k pλ k Pénalisation M λ = P i epili et code / distrib. compagne {epi}i α = 1, ( , , , , , , , ) L = 2.31 > L, mais besoin de 4 bits H.5(X) = 2.42 et C 1 = 2.46 ; H( e X) = 1.85 et M.5 = 2.69.
57 Axiomes, entropie de Shannon et ses propriétés Entropie différentielle cas vectoriel D autres mesures d information Exemple de codage Campbell 65, Bercher 09 Codage binaire des faces du dé à 8 faces pipé de loi ` 1 2, 1 4, 1 8, 1 16, 1 64, 1 64, 1 64, Code instantanné (mot non préfixe d un autre) Kraft P i 2 l i 1 de longueur moyenne: L = P i pili minimale l i = log 2 p i et L = H(X) (l i = log p i et L H(X)) choix (0, 10, 110, 1110, , , , ) L = 2 = H(X) mais malgré tout, besoin de 6 bits Pénalisation des mots longs : minimisation de C λ = 1 log α 2 C 0 = L et C = max i l i P i pi2αl i l i = log 2 ep i et C α = H λ (X), avec λ = 1 et 1+α epi = P pλ i k pλ k Pénalisation M λ = P i epili et code / distrib. compagne {epi}i α = 1, ( , , , , , , , ) L = 2.31 > L, mais besoin de 4 bits H.5(X) = 2.42 et C 1 = 2.46 ; H( e X) = 1.85 et M.5 = 2.69.
58 Axiomes, entropie de Shannon et ses propriétés Entropie différentielle cas vectoriel D autres mesures d information Exemple de codage Campbell 65, Bercher 09 Codage binaire des faces du dé à 8 faces pipé de loi ` 1 2, 1 4, 1 8, 1 16, 1 64, 1 64, 1 64, Code instantanné (mot non préfixe d un autre) Kraft P i 2 l i 1 de longueur moyenne: L = P i pili minimale l i = log 2 p i et L = H(X) (l i = log p i et L H(X)) choix (0, 10, 110, 1110, , , , ) L = 2 = H(X) mais malgré tout, besoin de 6 bits Pénalisation des mots longs : minimisation de C λ = 1 log α 2 C 0 = L et C = max i l i P i pi2αl i l i = log 2 ep i et C α = H λ (X), avec λ = 1 et 1+α epi = P pλ i k pλ k Pénalisation M λ = P i epili et code / distrib. compagne {epi}i α = 1, ( , , , , , , , ) L = 2.31 > L, mais besoin de 4 bits H.5(X) = 2.42 et C 1 = 2.46 ; H( e X) = 1.85 et M.5 = 2.69.
59 Axiomes, entropie de Shannon et ses propriétés Entropie différentielle cas vectoriel D autres mesures d information Exemple de codage Campbell 65, Bercher 09 Codage binaire des faces du dé à 8 faces pipé de loi ` 1 2, 1 4, 1 8, 1 16, 1 64, 1 64, 1 64, Code instantanné (mot non préfixe d un autre) Kraft P i 2 l i 1 de longueur moyenne: L = P i pili minimale l i = log 2 p i et L = H(X) (l i = log p i et L H(X)) choix (0, 10, 110, 1110, , , , ) L = 2 = H(X) mais malgré tout, besoin de 6 bits Pénalisation des mots longs : minimisation de C λ = 1 log α 2 C 0 = L et C = max i l i P i pi2αl i l i = log 2 ep i et C α = H λ (X), avec λ = 1 et 1+α epi = P pλ i k pλ k Pénalisation M λ = P i epili et code / distrib. compagne {epi}i α = 1, ( , , , , , , , ) L = 2.31 > L, mais besoin de 4 bits H.5(X) = 2.42 et C 1 = 2.46 ; H( e X) = 1.85 et M.5 = 2.69.
60 Axiomes, entropie de Shannon et ses propriétés Entropie différentielle cas vectoriel D autres mesures d information Exemple de codage Campbell 65, Bercher 09 Codage binaire des faces du dé à 8 faces pipé de loi ` 1 2, 1 4, 1 8, 1 16, 1 64, 1 64, 1 64, Code instantanné (mot non préfixe d un autre) Kraft P i 2 l i 1 de longueur moyenne: L = P i pili minimale l i = log 2 p i et L = H(X) (l i = log p i et L H(X)) choix (0, 10, 110, 1110, , , , ) L = 2 = H(X) mais malgré tout, besoin de 6 bits Pénalisation des mots longs : minimisation de C λ = 1 log α 2 C 0 = L et C = max i l i P i pi2αl i l i = log 2 ep i et C α = H λ (X), avec λ = 1 et 1+α epi = P pλ i k pλ k Pénalisation M λ = P i epili et code / distrib. compagne {epi}i α = 1, ( , , , , , , , ) L = 2.31 > L, mais besoin de 4 bits H.5(X) = 2.42 et C 1 = 2.46 ; H( e X) = 1.85 et M.5 = 2.69.
61 Axiomes, entropie de Shannon et ses propriétés Entropie différentielle cas vectoriel D autres mesures d information Exemple de codage Campbell 65, Bercher 09 Codage binaire des faces du dé à 8 faces pipé de loi ` 1 2, 1 4, 1 8, 1 16, 1 64, 1 64, 1 64, Code instantanné (mot non préfixe d un autre) Kraft P i 2 l i 1 de longueur moyenne: L = P i pili minimale l i = log 2 p i et L = H(X) (l i = log p i et L H(X)) choix (0, 10, 110, 1110, , , , ) L = 2 = H(X) mais malgré tout, besoin de 6 bits Pénalisation des mots longs : minimisation de C λ = 1 log α 2 C 0 = L et C = max i l i P i pi2αl i l i = log 2 ep i et C α = H λ (X), avec λ = 1 et 1+α epi = P pλ i k pλ k Pénalisation M λ = P i epili et code / distrib. compagne {epi}i α = 1, ( , , , , , , , ) L = 2.31 > L, mais besoin de 4 bits H.5(X) = 2.42 et C 1 = 2.46 ; H( e X) = 1.85 et M.5 = 2.69.
62 Axiomes, entropie de Shannon et ses propriétés Entropie différentielle cas vectoriel D autres mesures d information Exemple de codage Campbell 65, Bercher 09 Codage binaire des faces du dé à 8 faces pipé de loi ` 1 2, 1 4, 1 8, 1 16, 1 64, 1 64, 1 64, Code instantanné (mot non préfixe d un autre) Kraft P i 2 l i 1 de longueur moyenne: L = P i pili minimale l i = log 2 p i et L = H(X) (l i = log p i et L H(X)) choix (0, 10, 110, 1110, , , , ) L = 2 = H(X) mais malgré tout, besoin de 6 bits Pénalisation des mots longs : minimisation de C λ = 1 log α 2 C 0 = L et C = max i l i P i pi2αl i l i = log 2 ep i et C α = H λ (X), avec λ = 1 et 1+α epi = P pλ i k pλ k Pénalisation M λ = P i epili et code / distrib. compagne {epi}i α = 1, ( , , , , , , , ) L = 2.31 > L, mais besoin de 4 bits H.5(X) = 2.42 et C 1 = 2.46 ; H( e X) = 1.85 et M.5 = 2.69.
63 Axiomes, entropie de Shannon et ses propriétés Entropie différentielle cas vectoriel D autres mesures d information Exemple de codage Campbell 65, Bercher 09 Codage binaire des faces du dé à 8 faces pipé de loi ` 1 2, 1 4, 1 8, 1 16, 1 64, 1 64, 1 64, Code instantanné (mot non préfixe d un autre) Kraft P i 2 l i 1 de longueur moyenne: L = P i pili minimale l i = log 2 p i et L = H(X) (l i = log p i et L H(X)) choix (0, 10, 110, 1110, , , , ) L = 2 = H(X) mais malgré tout, besoin de 6 bits Pénalisation des mots longs : minimisation de C λ = 1 log α 2 C 0 = L et C = max i l i P i pi2αl i l i = log 2 ep i et C α = H λ (X), avec λ = 1 et 1+α epi = P pλ i k pλ k Pénalisation M λ = P i epili et code / distrib. compagne {epi}i α = 1, ( , , , , , , , ) L = 2.31 > L, mais besoin de 4 bits H.5(X) = 2.42 et C 1 = 2.46 ; H( e X) = 1.85 et M.5 = 2.69.
64 Axiomes, entropie de Shannon et ses propriétés Entropie différentielle cas vectoriel D autres mesures d information Exemple de codage Campbell 65, Bercher 09 Codage binaire des faces du dé à 8 faces pipé de loi ` 1 2, 1 4, 1 8, 1 16, 1 64, 1 64, 1 64, Code instantanné (mot non préfixe d un autre) Kraft P i 2 l i 1 de longueur moyenne: L = P i pili minimale l i = log 2 p i et L = H(X) (l i = log p i et L H(X)) choix (0, 10, 110, 1110, , , , ) L = 2 = H(X) mais malgré tout, besoin de 6 bits Pénalisation des mots longs : minimisation de C λ = 1 log α 2 C 0 = L et C = max i l i P i pi2αl i l i = log 2 ep i et C α = H λ (X), avec λ = 1 et 1+α epi = P pλ i k pλ k Pénalisation M λ = P i epili et code / distrib. compagne {epi}i α = 1, ( , , , , , , , ) Choix (00, 01, 100, 101, 1100, 1101, 1110, 1111) L = 2.31 > L, mais besoin de 4 bits H.5(X) = 2.42 et C 1 = 2.46 ; H( e X) = 1.85 et M.5 = 2.69.
65 Axiomes, entropie de Shannon et ses propriétés Entropie différentielle cas vectoriel D autres mesures d information Exemple de codage Campbell 65, Bercher 09 Codage binaire des faces du dé à 8 faces pipé de loi ` 1 2, 1 4, 1 8, 1 16, 1 64, 1 64, 1 64, Code instantanné (mot non préfixe d un autre) Kraft P i 2 l i 1 de longueur moyenne: L = P i pili minimale l i = log 2 p i et L = H(X) (l i = log p i et L H(X)) choix (0, 10, 110, 1110, , , , ) L = 2 = H(X) mais malgré tout, besoin de 6 bits Pénalisation des mots longs : minimisation de C λ = 1 log α 2 C 0 = L et C = max i l i P i pi2αl i l i = log 2 ep i et C α = H λ (X), avec λ = 1 et 1+α epi = P pλ i k pλ k Pénalisation M λ = P i epili et code / distrib. compagne {epi}i α = 1, ( , , , , , , , ) Choix (00, 01, 100, 101, 1100, 1101, 1110, 1111) L = 2.31 > L, mais besoin de 4 bits H.5(X) = 2.42 et C 1 = 2.46 ; H( e X) = 1.85 et M.5 = 2.69.
66 Axiomes, entropie de Shannon et ses propriétés Entropie différentielle cas vectoriel D autres mesures d information Exemple de codage Campbell 65, Bercher 09 Codage binaire des faces du dé à 8 faces pipé de loi ` 1 2, 1 4, 1 8, 1 16, 1 64, 1 64, 1 64, Code instantanné (mot non préfixe d un autre) Kraft P i 2 l i 1 de longueur moyenne: L = P i pili minimale l i = log 2 p i et L = H(X) (l i = log p i et L H(X)) choix (0, 10, 110, 1110, , , , ) L = 2 = H(X) mais malgré tout, besoin de 6 bits Pénalisation des mots longs : minimisation de C λ = 1 log α 2 C 0 = L et C = max i l i P i pi2αl i l i = log 2 ep i et C α = H λ (X), avec λ = 1 et 1+α epi = P pλ i k pλ k Pénalisation M λ = P i epili et code / distrib. compagne {epi}i α = 1, ( , , , , , , , ) Choix (00, 01, 100, 101, 1100, 1101, 1110, 1111) L = 2.31 > L, mais besoin de 4 bits H.5(X) = 2.42 et C 1 = 2.46 ; H( e X) = 1.85 et M.5 = 2.69.
67 Un peu de physique Axiomes, entropie de Shannon et ses propriétés Entropie différentielle cas vectoriel D autres mesures d information i=1 Gaz parfait : N particules, volume Λ, ( N ) Ω Λ,N,E = (v 1,..., v N ) H = X 1 2 mv2 i = E (hypersphère) répartition uniforme sur la surface Ω Λ,N,E (entropie maximum)
68 Un peu de physique Axiomes, entropie de Shannon et ses propriétés Entropie différentielle cas vectoriel D autres mesures d information i=1 Gaz parfait : N particules, volume Λ, ( N ) Ω Λ,N,E = (v 1,..., v N ) H = X 1 2 mv2 i = E (hypersphère) répartition uniforme sur la surface Ω Λ,N,E (entropie maximum) Sous-ensemble Λ 0 Λ de N 0 < N particules : p(v 1,..., v N0 ) 1 m 2E vt 0v 0 3 (N N 0 ) 2 2
69 Un peu de physique Axiomes, entropie de Shannon et ses propriétés Entropie différentielle cas vectoriel D autres mesures d information i=1 Gaz parfait : N particules, volume Λ, ( N ) Ω Λ,N,E = (v 1,..., v N ) H = X 1 2 mv2 i = E (hypersphère) répartition uniforme sur la surface Ω Λ,N,E (entropie maximum) Sous-ensemble Λ 0 Λ de N 0 < N particules : p(v 1,..., v N0 ) 1 m 2E vt 0v 0 3 (N N 0 ) 2 2 Limite thermodynamique : Λ R 3 N, ρ et E e Λ Λ p(v 1,..., v N0 ) exp 3mρ «4e vt 0v 0 (Boltzmann)
70 Un peu de physique Axiomes, entropie de Shannon et ses propriétés Entropie différentielle cas vectoriel D autres mesures d information i=1 Gaz parfait : N particules, volume Λ, ( N ) Ω Λ,N,E = (v 1,..., v N ) H = X 1 2 mv2 i = E (hypersphère) répartition uniforme sur la surface Ω Λ,N,E (entropie maximum) Sous-ensemble Λ 0 Λ de N 0 < N particules : p(v 1,..., v N0 ) 1 m 2E vt 0v 0 3 (N N 0 ) 2 2 Limite thermodynamique : Λ R 3 N, ρ et E e Λ Λ p(v 1,..., v N0 ) exp 3mρ «4e vt 0v 0 (Boltzmann) Shannon
71 Un peu de physique Axiomes, entropie de Shannon et ses propriétés Entropie différentielle cas vectoriel D autres mesures d information i=1 Gaz parfait : N particules, volume Λ, ( N ) Ω Λ,N,E = (v 1,..., v N ) H = X 1 2 mv2 i = E (hypersphère) répartition uniforme sur la surface Ω Λ,N,E (entropie maximum) Sous-ensemble Λ 0 Λ de N 0 < N particules : p(v 1,..., v N0 ) 1 m 2E vt 0v 0 3 (N N 0 ) 2 2 Rényi, α = 3N 3N0 3N 3N 0 2 > 1 Limite thermodynamique : Λ R 3 N, ρ et E e Λ Λ p(v 1,..., v N0 ) exp 3mρ «4e vt 0v 0 (Boltzmann) Shannon
72 Plan du cours Entropie conditionnelle, Information mutuelle Quelques exemples Divergences 1 Entropie mesure d incertitude Axiomes, entropie de Shannon et ses propriétés Entropie différentielle cas vectoriel D autres mesures d information 2 Entropie conditionnelle, Information mutuelle Quelques exemples Divergences 3 Inégalités classiques Chaînes de Markov Inégalité de la puissance entropique Estimation relations entre informations 4 Relation d incertitude d Heisenberg et versions entropiques
73 Entropie conditionnelle Soient X et Y : degré d incertitude H(X) et H(Y ) Entropie conditionnelle, Information mutuelle Quelques exemples Divergences Quelle information/incertitude commune X et Y partagent-ils?
Capacité d un canal Second Théorème de Shannon. Théorie de l information 1/34
Capacité d un canal Second Théorème de Shannon Théorie de l information 1/34 Plan du cours 1. Canaux discrets sans mémoire, exemples ; 2. Capacité ; 3. Canaux symétriques ; 4. Codage de canal ; 5. Second
Plus en détailThéorie et Codage de l Information (IF01) exercices 2013-2014. Paul Honeine Université de technologie de Troyes France
Théorie et Codage de l Information (IF01) exercices 2013-2014 Paul Honeine Université de technologie de Troyes France TD-1 Rappels de calculs de probabilités Exercice 1. On dispose d un jeu de 52 cartes
Plus en détailSimulation de variables aléatoires
Chapter 1 Simulation de variables aléatoires Références: [F] Fishman, A first course in Monte Carlo, chap 3. [B] Bouleau, Probabilités de l ingénieur, chap 4. [R] Rubinstein, Simulation and Monte Carlo
Plus en détailMoments des variables aléatoires réelles
Chapter 6 Moments des variables aléatoires réelles Sommaire 6.1 Espérance des variables aléatoires réelles................................ 46 6.1.1 Définition et calcul........................................
Plus en détail3. Conditionnement P (B)
Conditionnement 16 3. Conditionnement Dans cette section, nous allons rappeler un certain nombre de définitions et de propriétés liées au problème du conditionnement, c est à dire à la prise en compte
Plus en détailLoi d une variable discrète
MATHEMATIQUES TD N : VARIABLES DISCRETES - Corrigé. P[X = k] 0 k point de discontinuité de F et P[X = k] = F(k + ) F(k ) Ainsi, P[X = ] =, P[X = 0] =, P[X = ] = R&T Saint-Malo - nde année - 0/0 Loi d une
Plus en détailProgrammes des classes préparatoires aux Grandes Ecoles
Programmes des classes préparatoires aux Grandes Ecoles Filière : scientifique Voie : Biologie, chimie, physique et sciences de la Terre (BCPST) Discipline : Mathématiques Seconde année Préambule Programme
Plus en détailTravaux dirigés d introduction aux Probabilités
Travaux dirigés d introduction aux Probabilités - Dénombrement - - Probabilités Élémentaires - - Variables Aléatoires Discrètes - - Variables Aléatoires Continues - 1 - Dénombrement - Exercice 1 Combien
Plus en détailI3, Probabilités 2014 Travaux Dirigés F BM F BM F BM F BM F B M F B M F B M F B M 20 20 80 80 100 100 300 300
I3, Probabilités 2014 Travaux Dirigés TD 1 : rappels. Exercice 1 Poker simplié On tire 3 cartes d'un jeu de 52 cartes. Quelles sont les probabilités d'obtenir un brelan, une couleur, une paire, une suite,
Plus en détailTransmission d informations sur le réseau électrique
Transmission d informations sur le réseau électrique Introduction Remarques Toutes les questions en italique devront être préparées par écrit avant la séance du TP. Les préparations seront ramassées en
Plus en détailQuantification Scalaire et Prédictive
Quantification Scalaire et Prédictive Marco Cagnazzo Département Traitement du Signal et des Images TELECOM ParisTech 7 Décembre 2012 M. Cagnazzo Quantification Scalaire et Prédictive 1/64 Plan Introduction
Plus en détailCompression et Transmission des Signaux. Samson LASAULCE Laboratoire des Signaux et Systèmes, Gif/Yvette
Compression et Transmission des Signaux Samson LASAULCE Laboratoire des Signaux et Systèmes, Gif/Yvette 1 De Shannon à Mac Donalds Mac Donalds 1955 Claude Elwood Shannon 1916 2001 Monsieur X 1951 2 Où
Plus en détailProbabilités sur un univers fini
[http://mp.cpgedupuydelome.fr] édité le 7 août 204 Enoncés Probabilités sur un univers fini Evènements et langage ensembliste A quelle condition sur (a, b, c, d) ]0, [ 4 existe-t-il une probabilité P sur
Plus en détailProgrammation linéaire
Programmation linéaire DIDIER MAQUIN Ecole Nationale Supérieure d Electricité et de Mécanique Institut National Polytechnique de Lorraine Mathématiques discrètes cours de 2ème année Programmation linéaire
Plus en détailSéminaire TEST. 1 Présentation du sujet. October 18th, 2013
Séminaire ES Andrés SÁNCHEZ PÉREZ October 8th, 03 Présentation du sujet Le problème de régression non-paramétrique se pose de la façon suivante : Supposons que l on dispose de n couples indépendantes de
Plus en détailOptimisation non linéaire Irène Charon, Olivier Hudry École nationale supérieure des télécommunications
Optimisation non linéaire Irène Charon, Olivier Hudry École nationale supérieure des télécommunications A. Optimisation sans contrainte.... Généralités.... Condition nécessaire et condition suffisante
Plus en détailCours d introduction à la théorie de la détection
Olivier J.J. MICHEL Département EEA, UNSA v1.mars 06 olivier.michel@unice.fr Laboratoire LUAN UMR6525-CNRS Cours d introduction à la théorie de la détection L ensemble du document s appuie très largement
Plus en détailDifférentiabilité ; Fonctions de plusieurs variables réelles
Différentiabilité ; Fonctions de plusieurs variables réelles Denis Vekemans R n est muni de l une des trois normes usuelles. 1,. 2 ou.. x 1 = i i n Toutes les normes de R n sont équivalentes. x i ; x 2
Plus en détailEspérance conditionnelle
Espérance conditionnelle Samy Tindel Nancy-Université Master 1 - Nancy Samy T. (IECN) M1 - Espérance conditionnelle Nancy-Université 1 / 58 Plan 1 Définition 2 Exemples 3 Propriétés de l espérance conditionnelle
Plus en détailEconomie de l incertain et de l information Partie 1 : Décision en incertain probabilisé Chapitre 1 : Introduction à l incertitude et théorie de
Economie de l incertain et de l information Partie 1 : Décision en incertain probabilisé Chapitre 1 : Introduction à l incertitude et théorie de l espérance d utilité Olivier Bos olivier.bos@u-paris2.fr
Plus en détailM2 IAD UE MODE Notes de cours (3)
M2 IAD UE MODE Notes de cours (3) Jean-Yves Jaffray Patrice Perny 16 mars 2006 ATTITUDE PAR RAPPORT AU RISQUE 1 Attitude par rapport au risque Nousn avons pas encore fait d hypothèse sur la structure de
Plus en détailMODELES DE DUREE DE VIE
MODELES DE DUREE DE VIE Cours 1 : Introduction I- Contexte et définitions II- Les données III- Caractéristiques d intérêt IV- Evènements non renouvelables/renouvelables (unique/répété) I- Contexte et définitions
Plus en détailImage d un intervalle par une fonction continue
DOCUMENT 27 Image d un intervalle par une fonction continue La continuité d une fonction en un point est une propriété locale : une fonction est continue en un point x 0 si et seulement si sa restriction
Plus en détailExercice autour de densité, fonction de répatition, espérance et variance de variables quelconques.
14-3- 214 J.F.C. p. 1 I Exercice autour de densité, fonction de répatition, espérance et variance de variables quelconques. Exercice 1 Densité de probabilité. F { ln x si x ], 1] UN OVNI... On pose x R,
Plus en détailTSTI 2D CH X : Exemples de lois à densité 1
TSTI 2D CH X : Exemples de lois à densité I Loi uniforme sur ab ; ) Introduction Dans cette activité, on s intéresse à la modélisation du tirage au hasard d un nombre réel de l intervalle [0 ;], chacun
Plus en détail4 Distributions particulières de probabilités
4 Distributions particulières de probabilités 4.1 Distributions discrètes usuelles Les variables aléatoires discrètes sont réparties en catégories selon le type de leur loi. 4.1.1 Variable de Bernoulli
Plus en détailPrincipe de symétrisation pour la construction d un test adaptatif
Principe de symétrisation pour la construction d un test adaptatif Cécile Durot 1 & Yves Rozenholc 2 1 UFR SEGMI, Université Paris Ouest Nanterre La Défense, France, cecile.durot@gmail.com 2 Université
Plus en détailCommunications numériques
Communications numériques 1. Modulation numérique (a) message numérique/signal numérique (b) transmission binaire/m-aire en bande de base (c) modulation sur fréquence porteuse (d) paramètres, limite fondamentale
Plus en détailLa mesure de Lebesgue sur la droite réelle
Chapitre 1 La mesure de Lebesgue sur la droite réelle 1.1 Ensemble mesurable au sens de Lebesgue 1.1.1 Mesure extérieure Définition 1.1.1. Un intervalle est une partie convexe de R. L ensemble vide et
Plus en détailThéorie de l estimation et de la décision statistique
Théorie de l estimation et de la décision statistique Paul Honeine en collaboration avec Régis Lengellé Université de technologie de Troyes 2013-2014 Quelques références Decision and estimation theory
Plus en détailPrécision d un résultat et calculs d incertitudes
Précision d un résultat et calculs d incertitudes PSI* 2012-2013 Lycée Chaptal 3 Table des matières Table des matières 1. Présentation d un résultat numérique................................ 4 1.1 Notations.........................................................
Plus en détail3. Caractéristiques et fonctions d une v.a.
3. Caractéristiques et fonctions d une v.a. MTH2302D S. Le Digabel, École Polytechnique de Montréal H2015 (v2) MTH2302D: fonctions d une v.a. 1/32 Plan 1. Caractéristiques d une distribution 2. Fonctions
Plus en détailPROBABILITÉS: COURS DE LICENCE DE MATHÉMATIQUES APPLIQUÉES LM 390
PROBABILITÉS: COURS DE LICENCE DE MATHÉMATIQUES APPLIQUÉES LM 390 Université PARIS 6 2008/2009 Jean BERTOIN 1 Table des Matières ( ) ces parties peuvent ^etre omises en première lecture, et ne feront pas
Plus en détailDe même, le périmètre P d un cercle de rayon 1 vaut P = 2π (par définition de π). Mais, on peut démontrer (difficilement!) que
Introduction. On suppose connus les ensembles N (des entiers naturels), Z des entiers relatifs et Q (des nombres rationnels). On s est rendu compte, depuis l antiquité, que l on ne peut pas tout mesurer
Plus en détailMéthodes de Simulation
Méthodes de Simulation JEAN-YVES TOURNERET Institut de recherche en informatique de Toulouse (IRIT) ENSEEIHT, Toulouse, France Peyresq06 p. 1/41 Remerciements Christian Robert : pour ses excellents transparents
Plus en détailExercices - Fonctions de plusieurs variables : corrigé. Pour commencer
Pour commencer Exercice 1 - Ensembles de définition - Première année - 1. Le logarithme est défini si x + y > 0. On trouve donc le demi-plan supérieur délimité par la droite d équation x + y = 0.. 1 xy
Plus en détailFiltrage stochastique non linéaire par la théorie de représentation des martingales
Filtrage stochastique non linéaire par la théorie de représentation des martingales Adriana Climescu-Haulica Laboratoire de Modélisation et Calcul Institut d Informatique et Mathématiques Appliquées de
Plus en détailDétection en environnement non-gaussien Cas du fouillis de mer et extension aux milieux
Détection en environnement non-gaussien Cas du fouillis de mer et extension aux milieux hétérogènes Laurent Déjean Thales Airborne Systems/ENST-Bretagne Le 20 novembre 2006 Laurent Déjean Détection en
Plus en détailCalculs de probabilités
Calculs de probabilités Mathématiques Générales B Université de Genève Sylvain Sardy 13 mars 2008 1. Définitions et notations 1 L origine des probabilités est l analyse de jeux de hasard, tels que pile
Plus en détailLe théorème de Perron-Frobenius, les chaines de Markov et un célèbre moteur de recherche
Le théorème de Perron-Frobenius, les chaines de Markov et un célèbre moteur de recherche Bachir Bekka Février 2007 Le théorème de Perron-Frobenius a d importantes applications en probabilités (chaines
Plus en détailModélisation et simulation
Modélisation et simulation p. 1/36 Modélisation et simulation INFO-F-305 Gianluca Bontempi Département d Informatique Boulevard de Triomphe - CP 212 http://www.ulb.ac.be/di Modélisation et simulation p.
Plus en détailÉquations non linéaires
Équations non linéaires Objectif : trouver les zéros de fonctions (ou systèmes) non linéaires, c-à-d les valeurs α R telles que f(α) = 0. y f(x) α 1 α 2 α 3 x Equations non lineaires p. 1/49 Exemples et
Plus en détailFonctions de plusieurs variables
Module : Analyse 03 Chapitre 00 : Fonctions de plusieurs variables Généralités et Rappels des notions topologiques dans : Qu est- ce que?: Mathématiquement, n étant un entier non nul, on définit comme
Plus en détailMA6.06 : Mesure et Probabilités
Année universitaire 2002-2003 UNIVERSITÉ D ORLÉANS Olivier GARET MA6.06 : Mesure et Probabilités 2 Table des matières Table des matières i 1 Un peu de théorie de la mesure 1 1.1 Tribus...............................
Plus en détailQu est-ce qu une probabilité?
Chapitre 1 Qu est-ce qu une probabilité? 1 Modéliser une expérience dont on ne peut prédire le résultat 1.1 Ensemble fondamental d une expérience aléatoire Une expérience aléatoire est une expérience dont
Plus en détail1.1 Codage de source et test d hypothèse
Théorie de l information et codage 200/20 Cours 8février20 Enseignant: Marc Lelarge Scribe: Marc Lelarge Pour information Page webdu cours http://www.di.ens.fr/~lelarge/info.html Notations Pour des variables
Plus en détailSouad EL Bernoussi. Groupe d Analyse Numérique et Optimisation Rabat http ://www.fsr.ac.ma/ano/
Recherche opérationnelle Les démonstrations et les exemples seront traités en cours Souad EL Bernoussi Groupe d Analyse Numérique et Optimisation Rabat http ://www.fsr.ac.ma/ano/ Table des matières 1 Programmation
Plus en détailSystèmes de communications numériques 2
Systèmes de Communications Numériques Philippe Ciuciu, Christophe Vignat Laboratoire des Signaux et Systèmes CNRS SUPÉLEC UPS SUPÉLEC, Plateau de Moulon, 91192 Gif-sur-Yvette ciuciu@lss.supelec.fr Université
Plus en détailMéthodes de quadrature. Polytech Paris-UPMC. - p. 1/48
Méthodes de Polytech Paris-UPMC - p. 1/48 Polynôme d interpolation de Preuve et polynôme de Calcul de l erreur d interpolation Étude de la formule d erreur Autres méthodes - p. 2/48 Polynôme d interpolation
Plus en détailCapes 2002 - Première épreuve
Cette correction a été rédigée par Frédéric Bayart. Si vous avez des remarques à faire, ou pour signaler des erreurs, n hésitez pas à écrire à : mathweb@free.fr Mots-clés : équation fonctionnelle, série
Plus en détailPROBABILITES ET STATISTIQUE I&II
PROBABILITES ET STATISTIQUE I&II TABLE DES MATIERES CHAPITRE I - COMBINATOIRE ELEMENTAIRE I.1. Rappel des notations de la théorie des ensemble I.1.a. Ensembles et sous-ensembles I.1.b. Diagrammes (dits
Plus en détail4. Martingales à temps discret
Martingales à temps discret 25 4. Martingales à temps discret 4.1. Généralités. On fixe un espace de probabilités filtré (Ω, (F n ) n, F, IP ). On pose que F contient ses ensembles négligeables mais les
Plus en détailDYNAMIQUE DE FORMATION DES ÉTOILES
A 99 PHYS. II ÉCOLE NATIONALE DES PONTS ET CHAUSSÉES, ÉCOLES NATIONALES SUPÉRIEURES DE L'AÉRONAUTIQUE ET DE L'ESPACE, DE TECHNIQUES AVANCÉES, DES TÉLÉCOMMUNICATIONS, DES MINES DE PARIS, DES MINES DE SAINT-ÉTIENNE,
Plus en détailProbabilités sur un univers fini
[http://mp.cpgedupuydelome.fr] édité le 10 août 2015 Enoncés 1 Proailités sur un univers fini Evènements et langage ensemliste A quelle condition sur (a,, c, d) ]0, 1[ 4 existe-t-il une proailité P sur
Plus en détail3 Approximation de solutions d équations
3 Approximation de solutions d équations Une équation scalaire a la forme générale f(x) =0où f est une fonction de IR dans IR. Un système de n équations à n inconnues peut aussi se mettre sous une telle
Plus en détailChapitre 3. Mesures stationnaires. et théorèmes de convergence
Chapitre 3 Mesures stationnaires et théorèmes de convergence Christiane Cocozza-Thivent, Université de Marne-la-Vallée p.1 I. Mesures stationnaires Christiane Cocozza-Thivent, Université de Marne-la-Vallée
Plus en détailTexte Agrégation limitée par diffusion interne
Page n 1. Texte Agrégation limitée par diffusion interne 1 Le phénomène observé Un fût de déchets radioactifs est enterré secrètement dans le Cantal. Au bout de quelques années, il devient poreux et laisse
Plus en détailIntroduction à la Statistique Inférentielle
UNIVERSITE MOHAMMED V-AGDAL SCIENCES FACULTE DES DEPARTEMENT DE MATHEMATIQUES SMI semestre 4 : Probabilités - Statistique Introduction à la Statistique Inférentielle Prinemps 2013 0 INTRODUCTION La statistique
Plus en détailModèles à Événements Discrets. Réseaux de Petri Stochastiques
Modèles à Événements Discrets Réseaux de Petri Stochastiques Table des matières 1 Chaînes de Markov Définition formelle Idée générale Discrete Time Markov Chains Continuous Time Markov Chains Propriétés
Plus en détailTable des matières. I Mise à niveau 11. Préface
Table des matières Préface v I Mise à niveau 11 1 Bases du calcul commercial 13 1.1 Alphabet grec...................................... 13 1.2 Symboles mathématiques............................... 14 1.3
Plus en détailMÉTHODE DE MONTE CARLO.
MÉTHODE DE MONTE CARLO. Alexandre Popier Université du Maine, Le Mans A. Popier (Le Mans) Méthode de Monte Carlo. 1 / 95 PLAN DU COURS 1 MÉTHODE DE MONTE CARLO 2 PROBLÈME DE SIMULATION Théorème fondamental
Plus en détailProbabilités. I Petits rappels sur le vocabulaire des ensembles 2 I.1 Définitions... 2 I.2 Propriétés... 2
Probabilités Table des matières I Petits rappels sur le vocabulaire des ensembles 2 I.1 s................................................... 2 I.2 Propriétés...................................................
Plus en détailLa Licence Mathématiques et Economie-MASS Université de Sciences Sociales de Toulouse 1
La Licence Mathématiques et Economie-MASS Université de Sciences Sociales de Toulouse 1 La licence Mathématiques et Economie-MASS de l Université des Sciences Sociales de Toulouse propose sur les trois
Plus en détailArbres binaires de décision
1 Arbres binaires de décision Résumé Arbres binaires de décision Méthodes de construction d arbres binaires de décision, modélisant une discrimination (classification trees) ou une régression (regression
Plus en détail1 TD1 : rappels sur les ensembles et notion de probabilité
1 TD1 : rappels sur les ensembles et notion de probabilité 1.1 Ensembles et dénombrement Exercice 1 Soit Ω = {1, 2, 3, 4}. Décrire toutes les parties de Ω, puis vérier que card(p(ω)) = 2 4. Soit k n (
Plus en détailÉTUDE ASYMPTOTIQUE D UNE MARCHE ALÉATOIRE CENTRIFUGE
ÉTUDE ASYMPTOTIQUE D UNE MARCHE ALÉATOIRE CENTRIFUGE JEAN-DENIS FOUKS, EMMANUEL LESIGNE ET MARC PEIGNÉ J.-D. Fouks. École Supérieure d Ingénieurs de Poitiers. 40 avenue du Recteur Pineau, 860 Poitiers
Plus en détailVariables Aléatoires. Chapitre 2
Chapitre 2 Variables Aléatoires Après avoir réalisé une expérience, on ne s intéresse bien souvent à une certaine fonction du résultat et non au résultat en lui-même. Lorsqu on regarde une portion d ADN,
Plus en détailOptimisation des fonctions de plusieurs variables
Optimisation des fonctions de plusieurs variables Hervé Hocquard Université de Bordeaux, France 8 avril 2013 Extrema locaux et globaux Définition On étudie le comportement d une fonction de plusieurs variables
Plus en détailThéorie de la Mesure et Intégration
Ecole Nationale de la Statistique et de l Administration Economique Théorie de la Mesure et Intégration Xavier MARY 2 Table des matières I Théorie de la mesure 11 1 Algèbres et tribus de parties d un ensemble
Plus en détailPRÉCIS DE SIMULATION
PRÉCIS DE SIMULATION P. Del Moral Centre INRIA Bordeaux Sud-Ouest & Institut de Mathématiques de Bordeaux Université Bordeaux I, 351, cours de la Libération 33405 Talence, France Table des matières 1
Plus en détailDualité dans les espaces de Lebesgue et mesures de Radon finies
Chapitre 6 Dualité dans les espaces de Lebesgue et mesures de Radon finies Nous allons maintenant revenir sur les espaces L p du Chapitre 4, à la lumière de certains résultats du Chapitre 5. Sauf mention
Plus en détailMESURE ET INTÉGRATION EN UNE DIMENSION. Notes de cours
MSUR T INTÉGRATION N UN DIMNSION Notes de cours André Giroux Département de Mathématiques et Statistique Université de Montréal Mai 2004 Table des matières 1 INTRODUCTION 2 1.1 xercices.............................
Plus en détailAlgorithmes d'apprentissage
Algorithmes d'apprentissage 1 Agents qui apprennent à partir d'exemples La problématique : prise de décision automatisée à partir d'un ensemble d'exemples Diagnostic médical Réponse à une demande de prêt
Plus en détailModèles et Méthodes de Réservation
Modèles et Méthodes de Réservation Petit Cours donné à l Université de Strasbourg en Mai 2003 par Klaus D Schmidt Lehrstuhl für Versicherungsmathematik Technische Universität Dresden D 01062 Dresden E
Plus en détailIntroduction au pricing d option en finance
Introduction au pricing d option en finance Olivier Pironneau Cours d informatique Scientifique 1 Modélisation du prix d un actif financier Les actions, obligations et autres produits financiers cotés
Plus en détailLa fonction exponentielle
DERNIÈRE IMPRESSION LE 2 novembre 204 à :07 La fonction exponentielle Table des matières La fonction exponentielle 2. Définition et théorèmes.......................... 2.2 Approche graphique de la fonction
Plus en détailChapitre 7. Statistique des échantillons gaussiens. 7.1 Projection de vecteurs gaussiens
Chapitre 7 Statistique des échantillons gaussiens Le théorème central limite met en évidence le rôle majeur tenu par la loi gaussienne en modélisation stochastique. De ce fait, les modèles statistiques
Plus en détailLe modèle de Black et Scholes
Le modèle de Black et Scholes Alexandre Popier février 21 1 Introduction : exemple très simple de modèle financier On considère un marché avec une seule action cotée, sur une période donnée T. Dans un
Plus en détailPremière partie. Préliminaires : noyaux itérés. MPSI B 6 juin 2015
Énoncé Soit V un espace vectoriel réel. L espace vectoriel des endomorphismes de V est désigné par L(V ). Lorsque f L(V ) et k N, on désigne par f 0 = Id V, f k = f k f la composée de f avec lui même k
Plus en détailFIMA, 7 juillet 2005
F. Corset 1 S. 2 1 LabSAD Université Pierre Mendes France 2 Département de Mathématiques Université de Franche-Comté FIMA, 7 juillet 2005 Plan de l exposé plus court chemin Origine du problème Modélisation
Plus en détailDunod, Paris, 2014 ISBN 978-2-10-059615-7
Illustration de couverture : Federo-istock.com Dunod, Paris, 2014 ISBN 978-2-10-059615-7 1.1 Symétrie du hasard et probabilité uniforme 3 1.2 Loi de probabilité sur un ensemble fini 6 1.3 Probabilité sur
Plus en détailActuariat I ACT2121. septième séance. Arthur Charpentier. Automne 2012. charpentier.arthur@uqam.ca. http ://freakonometrics.blog.free.
Actuariat I ACT2121 septième séance Arthur Charpentier charpentier.arthur@uqam.ca http ://freakonometrics.blog.free.fr/ Automne 2012 1 Exercice 1 En analysant le temps d attente X avant un certain événement
Plus en détailProgrammation linéaire
1 Programmation linéaire 1. Le problème, un exemple. 2. Le cas b = 0 3. Théorème de dualité 4. L algorithme du simplexe 5. Problèmes équivalents 6. Complexité de l Algorithme 2 Position du problème Soit
Plus en détailIntroduction à la statistique non paramétrique
Introduction à la statistique non paramétrique Catherine MATIAS CNRS, Laboratoire Statistique & Génome, Évry http://stat.genopole.cnrs.fr/ cmatias Atelier SFDS 27/28 septembre 2012 Partie 2 : Tests non
Plus en détailFonctions de plusieurs variables, intégrales multiples, et intégrales dépendant d un paramètre
IUFM du Limousin 2009-10 PLC1 Mathématiques S. Vinatier Rappels de cours Fonctions de plusieurs variables, intégrales multiples, et intégrales dépendant d un paramètre 1 Fonctions de plusieurs variables
Plus en détailProbabilités et Statistiques. Feuille 2 : variables aléatoires discrètes
IUT HSE Probabilités et Statistiques Feuille : variables aléatoires discrètes 1 Exercices Dénombrements Exercice 1. On souhaite ranger sur une étagère 4 livres de mathématiques (distincts), 6 livres de
Plus en détailCours d analyse numérique SMI-S4
ours d analyse numérique SMI-S4 Introduction L objet de l analyse numérique est de concevoir et d étudier des méthodes de résolution de certains problèmes mathématiques, en général issus de problèmes réels,
Plus en détailCalcul fonctionnel holomorphe dans les algèbres de Banach
Chapitre 7 Calcul fonctionnel holomorphe dans les algèbres de Banach L objet de ce chapitre est de définir un calcul fonctionnel holomorphe qui prolonge le calcul fonctionnel polynômial et qui respecte
Plus en détailAmphi 3: Espaces complets - Applications linéaires continues
Amphi 3: Espaces complets - Applications linéaires continues Département de Mathématiques École polytechnique Remise en forme mathématique 2013 Suite de Cauchy Soit (X, d) un espace métrique. Une suite
Plus en détailÉTUDE DE CRYPTOGRAPHIE ET DE TÉLÉPORTATION QUANTIQUES ET PROPOSITION DE QUELQUES PROTOCOLES QUANTIQUES
UNIVERSITÉ MOHAMMED V-AGDAL FACULTÉ DES SCIENCES RABAT CENTRE D ÉTUDES DOCTORALES EN SCIENCES ET TECHNOLOGIES N d ordre 564 THÈSE DE DOCTORAT Présentée par Abderrahim EL ALLATI Discipline : Physique Théorique
Plus en détailTP1 Méthodes de Monte Carlo et techniques de réduction de variance, application au pricing d options
Université de Lorraine Modélisation Stochastique Master 2 IMOI 2014-2015 TP1 Méthodes de Monte Carlo et techniques de réduction de variance, application au pricing d options 1 Les options Le but de ce
Plus en détailMesures de dépendance pour la séparation aveugle de sources. Application aux mélanges post non linéaires
Mesures de dépendance pour la séparation aveugle de sources. Application aux mélanges post non linéaires Sophie Achard To cite this version: Sophie Achard. Mesures de dépendance pour la séparation aveugle
Plus en détailProcessus aléatoires avec application en finance
Genève, le 16 juin 2007. Processus aléatoires avec application en finance La durée de l examen est de deux heures. N oubliez pas d indiquer votre nom et prénom sur chaque feuille. Toute documentation et
Plus en détailIntégrale de Lebesgue
Intégrale de Lebesgue L3 Mathématiques Jean-Christophe Breton Université de Rennes 1 Septembre Décembre 2014 version du 2/12/14 Table des matières 1 Tribus (σ-algèbres) et mesures 1 1.1 Rappels ensemblistes..............................
Plus en détailTD1 Signaux, énergie et puissance, signaux aléatoires
TD1 Signaux, énergie et puissance, signaux aléatoires I ) Ecrire l'expression analytique des signaux représentés sur les figures suivantes à l'aide de signaux particuliers. Dans le cas du signal y(t) trouver
Plus en détailLes indices à surplus constant
Les indices à surplus constant Une tentative de généralisation des indices à utilité constante On cherche ici en s inspirant des indices à utilité constante à définir un indice de prix de référence adapté
Plus en détailUniversité de La Rochelle. Réseaux TD n 6
Réseaux TD n 6 Rappels : Théorème de Nyquist (ligne non bruitée) : Dmax = 2H log 2 V Théorème de Shannon (ligne bruitée) : C = H log 2 (1+ S/B) Relation entre débit binaire et rapidité de modulation :
Plus en détailContexte. Pour cela, elles doivent être très compliquées, c est-à-dire elles doivent être très différentes des fonctions simples,
Non-linéarité Contexte Pour permettre aux algorithmes de cryptographie d être sûrs, les fonctions booléennes qu ils utilisent ne doivent pas être inversées facilement. Pour cela, elles doivent être très
Plus en détailIntroduction au Data-Mining
Introduction au Data-Mining Alain Rakotomamonjy - Gilles Gasso. INSA Rouen -Département ASI Laboratoire PSI Introduction au Data-Mining p. 1/25 Data-Mining : Kèkecé? Traduction : Fouille de données. Terme
Plus en détail