S. Zozor Information, inégalités et relations d incertitude

Dimension: px
Commencer à balayer dès la page:

Download "S. Zozor Information, inégalités et relations d incertitude"

Transcription

1 Information, inégalités et relations d incertitude Steeve Zozor GIPSA-Lab CNRS Grenoble INP, Grenoble, France Mai 2010

2 Plan du cours 1 Entropie mesure d incertitude Axiomes, entropie de Shannon et ses propriétés Entropie différentielle cas vectoriel D autres mesures d information 2 Entropie conditionnelle, Information mutuelle Quelques exemples Divergences 3 Inégalités classiques Chaînes de Markov Inégalité de la puissance entropique Estimation relations entre informations 4 Relation d incertitude d Heisenberg et versions entropiques

3 Plan du cours 1 Entropie mesure d incertitude Axiomes, entropie de Shannon et ses propriétés Entropie différentielle cas vectoriel D autres mesures d information 2 Entropie conditionnelle, Information mutuelle Quelques exemples Divergences 3 Inégalités classiques Chaînes de Markov Inégalité de la puissance entropique Estimation relations entre informations 4 Relation d incertitude d Heisenberg et versions entropiques

4 Plan du cours 1 Entropie mesure d incertitude Axiomes, entropie de Shannon et ses propriétés Entropie différentielle cas vectoriel D autres mesures d information 2 Entropie conditionnelle, Information mutuelle Quelques exemples Divergences 3 Inégalités classiques Chaînes de Markov Inégalité de la puissance entropique Estimation relations entre informations 4 Relation d incertitude d Heisenberg et versions entropiques

5 Plan du cours 1 Entropie mesure d incertitude Axiomes, entropie de Shannon et ses propriétés Entropie différentielle cas vectoriel D autres mesures d information 2 Entropie conditionnelle, Information mutuelle Quelques exemples Divergences 3 Inégalités classiques Chaînes de Markov Inégalité de la puissance entropique Estimation relations entre informations 4 Relation d incertitude d Heisenberg et versions entropiques

6 Plan du cours Axiomes, entropie de Shannon et ses propriétés Entropie différentielle cas vectoriel D autres mesures d information 1 Entropie mesure d incertitude Axiomes, entropie de Shannon et ses propriétés Entropie différentielle cas vectoriel D autres mesures d information 2 Entropie conditionnelle, Information mutuelle Quelques exemples Divergences 3 Inégalités classiques Chaînes de Markov Inégalité de la puissance entropique Estimation relations entre informations 4 Relation d incertitude d Heisenberg et versions entropiques

7 Quelques exemples Quel est le point commun entre les problèmes suivants? Axiomes, entropie de Shannon et ses propriétés Entropie différentielle cas vectoriel D autres mesures d information On dispose d un dé à 8 faces. On souhaite coder chaque face par une séquence binaire (suite de 0 et 1) suivant les contraintes: à partir d une séquence binaire correspondant à une séquence de lancers, on souhaite retrouver la séquence des faces (décodage), on souhaite, en moyenne, utiliser le moins de bits possible. Une pièce a une probabilité p de tomber sur pile. X est le nombre de lancers nécessaires pour tomber sur face et Vali vient de faire l expérience. En lui posant le moins possible de questions binaires du type X {1, 2, 3} on souhaite deviner X. On dispose d un générateur aléatoire X binaire de ±1 dont on peut régler α = Pr[X = 1]. On émet une séquence à travers un canal qui distord le symbole (l inverse, le bruite... ). Comment fixer α pour commettre le moins d erreurs possible? N particule de gaz parfait occupent un volume Λ avec chacune sa vélocité : quelle la densité de probabilité des n vitesses des particules sachant que l énergie totale P 1 i 2 mv2 i = E est fixe?

8 Quelques exemples Quel est le point commun entre les problèmes suivants? Axiomes, entropie de Shannon et ses propriétés Entropie différentielle cas vectoriel D autres mesures d information On dispose d un dé à 8 faces. On souhaite coder chaque face par une séquence binaire (suite de 0 et 1) suivant les contraintes: à partir d une séquence binaire correspondant à une séquence de lancers, on souhaite retrouver la séquence des faces (décodage), on souhaite, en moyenne, utiliser le moins de bits possible. Une pièce a une probabilité p de tomber sur pile. X est le nombre de lancers nécessaires pour tomber sur face et Vali vient de faire l expérience. En lui posant le moins possible de questions binaires du type X {1, 2, 3} on souhaite deviner X. On dispose d un générateur aléatoire X binaire de ±1 dont on peut régler α = Pr[X = 1]. On émet une séquence à travers un canal qui distord le symbole (l inverse, le bruite... ). Comment fixer α pour commettre le moins d erreurs possible? N particule de gaz parfait occupent un volume Λ avec chacune sa vélocité : quelle la densité de probabilité des n vitesses des particules sachant que l énergie totale P 1 i 2 mv2 i = E est fixe?

9 Quelques exemples Quel est le point commun entre les problèmes suivants? Axiomes, entropie de Shannon et ses propriétés Entropie différentielle cas vectoriel D autres mesures d information On dispose d un dé à 8 faces. On souhaite coder chaque face par une séquence binaire (suite de 0 et 1) suivant les contraintes: à partir d une séquence binaire correspondant à une séquence de lancers, on souhaite retrouver la séquence des faces (décodage), on souhaite, en moyenne, utiliser le moins de bits possible. Une pièce a une probabilité p de tomber sur pile. X est le nombre de lancers nécessaires pour tomber sur face et Vali vient de faire l expérience. En lui posant le moins possible de questions binaires du type X {1, 2, 3} on souhaite deviner X. On dispose d un générateur aléatoire X binaire de ±1 dont on peut régler α = Pr[X = 1]. On émet une séquence à travers un canal qui distord le symbole (l inverse, le bruite... ). Comment fixer α pour commettre le moins d erreurs possible? N particule de gaz parfait occupent un volume Λ avec chacune sa vélocité : quelle la densité de probabilité des n vitesses des particules sachant que l énergie totale P 1 i 2 mv2 i = E est fixe?

10 Quelques exemples Quel est le point commun entre les problèmes suivants? Axiomes, entropie de Shannon et ses propriétés Entropie différentielle cas vectoriel D autres mesures d information On dispose d un dé à 8 faces. On souhaite coder chaque face par une séquence binaire (suite de 0 et 1) suivant les contraintes: à partir d une séquence binaire correspondant à une séquence de lancers, on souhaite retrouver la séquence des faces (décodage), on souhaite, en moyenne, utiliser le moins de bits possible. Une pièce a une probabilité p de tomber sur pile. X est le nombre de lancers nécessaires pour tomber sur face et Vali vient de faire l expérience. En lui posant le moins possible de questions binaires du type X {1, 2, 3} on souhaite deviner X. On dispose d un générateur aléatoire X binaire de ±1 dont on peut régler α = Pr[X = 1]. On émet une séquence à travers un canal qui distord le symbole (l inverse, le bruite... ). Comment fixer α pour commettre le moins d erreurs possible? N particule de gaz parfait occupent un volume Λ avec chacune sa vélocité : quelle la densité de probabilité des n vitesses des particules sachant que l énergie totale P 1 i 2 mv2 i = E est fixe?

11 Axiomes, entropie de Shannon et ses propriétés Entropie différentielle cas vectoriel D autres mesures d information Entropie de Shannon, 1948 Axiomes Variable aléatoire discrète X sur {x 1,..., x n}, de loi {p k = Pr[X = x k ]} k=1,...,n But : construire une mesure d incertitude/d information H(X) = H(p 1,..., p n) pas d incertitude obs. n apporte pas d information incertitude maximum Invariante par permutation, continue selon les p k p k = 1 alors H(n) croissante (incertitude croissante) n Récursivité H = H(p 1 + p 2, p 3,...) + (p 1 + p 2)H p1 p 1 +p 2, x 1 x 2 H p1 p 1 +p 2, p 2 p 1 +p 2 {x 1, x 2} p 2 p 1 +p 2 x 3 x 3 x n x n S. Zozor Information, H(p 1,. inégalités.., p n) et relations H(p d incertitude 1 + p 2,..., p n)

12 Axiomes, entropie de Shannon et ses propriétés Entropie différentielle cas vectoriel D autres mesures d information Entropie de Shannon, 1948 Axiomes équiv. Variable aléatoire discrète X sur {x 1,..., x n}, de loi {p k = Pr[X = x k ]} k=1,...,n But : construire une mesure d incertitude/d information H(X) = H(p 1,..., p n) pas d incertitude obs. n apporte pas d information incertitude maximum Incertitude élémentaire information de Hartley h(p k ), H(X) = P p k h(p k ) continue selon les p k et symétrique X, Y indépendantes, alors H(X, Y ) = H(X) + H(Y )

13 Axiomes, entropie de Shannon et ses propriétés Entropie différentielle cas vectoriel D autres mesures d information Entropie de Shannon, 1948 Définition Variable aléatoire discrète X sur {x 1,..., x n}, de loi {p k = Pr[X = x k ]} k=1,...,n But : construire une mesure d incertitude/d information H(X) = H(p 1,..., p n) pas d incertitude obs. n apporte pas d information incertitude maximum Intuitivement, h(p k q k ) = h(p k ) + h(q k ) impose h(p) = α log(p) Seule possibilité : H(X) = kt X k p k log(p k ) (0 log 0 = 0) S étend au cas k Z, kt def = 1 log b.

14 Quelques propriétés Axiomes, entropie de Shannon et ses propriétés Entropie différentielle cas vectoriel D autres mesures d information H 0 p k = δ k,l H = 0 minimum (pas d incertitude) p k = 1 H = log n (incertitude maximum dans le cas fini) n e.g. {p, 1 p} H p Concavité : P {p k }, Q {q k } et R {λp k + (1 λ)q k }, λ [0 ; 1] H(R) λh(p ) + (1 λ)h(q) H(aX) = H(X + c) = H(X) : indépendant des valeurs prises par X

15 Quelques propriétés Axiomes, entropie de Shannon et ses propriétés Entropie différentielle cas vectoriel D autres mesures d information H 0 p k = δ k,l H = 0 minimum (pas d incertitude) p k = 1 H = log n (incertitude maximum dans le cas fini) n e.g. {p, 1 p} H p Concavité : P {p k }, Q {q k } et R {λp k + (1 λ)q k }, λ [0 ; 1] f(moy) H(R) λh(p ) + (1 λ)h(q) moy(f) H(aX) = H(X + c) = H(X) : indépendant des valeurs prises par X

16 Quelques propriétés Axiomes, entropie de Shannon et ses propriétés Entropie différentielle cas vectoriel D autres mesures d information H 0 p k = δ k,l H = 0 minimum (pas d incertitude) p k = 1 H = log n (incertitude maximum dans le cas fini) n e.g. {p, 1 p} H p Concavité : P {p k }, Q {q k } et R {λp k + (1 λ)q k }, λ [0 ; 1] f(moy) H(R) λh(p ) + (1 λ)h(q) moy(f) H(aX) = H(X + c) = H(X) : indépendant des valeurs prises par X

17 Un problème de codage Axiomes, entropie de Shannon et ses propriétés Entropie différentielle cas vectoriel D autres mesures d information Soit un dé à 8 faces équiprobables, codage binaire de chaque face : Codage sur 3 bits : (000, 001, 010, 011, 100, 101, 110, 111) En moyenne on a besoin de P 1 3 = 3 bits 8 Entropie H(X) = P p k log 2 (p k ) = P 1 log ` = 3 bits Supposons cette fois le dé pipé, ` 1 2, 1 4, 1 8, 1 16, 1 64, 1 64, 1 64, 1 64 : Comme avant : codage sur 3 bits, & 3 bits en moyenne 0 forte proba. d apparition codage sur peu de bits 7 faible proba. d apparition codage sur plus de bits séquences décodable... on a besoin de... 6 bits! mais en moyenne = 2 bits Entropie H(X) = P p k log 2 (p k ) = 2 bits Code optimum de taille moyenne L : H(X) L < H(X) + 1

18 Un problème de codage Axiomes, entropie de Shannon et ses propriétés Entropie différentielle cas vectoriel D autres mesures d information Soit un dé à 8 faces équiprobables, codage binaire de chaque face : Codage sur 3 bits : (000, 001, 010, 011, 100, 101, 110, 111) En moyenne on a besoin de P 1 3 = 3 bits 8 Entropie H(X) = P p k log 2 (p k ) = P 1 log ` = 3 bits Supposons cette fois le dé pipé, ` 1 2, 1 4, 1 8, 1 16, 1 64, 1 64, 1 64, 1 64 : Comme avant : codage sur 3 bits, & 3 bits en moyenne 0 forte proba. d apparition codage sur peu de bits 7 faible proba. d apparition codage sur plus de bits séquences décodable... on a besoin de... 6 bits! mais en moyenne = 2 bits Entropie H(X) = P p k log 2 (p k ) = 2 bits Code optimum de taille moyenne L : H(X) L < H(X) + 1

19 Un problème de codage Axiomes, entropie de Shannon et ses propriétés Entropie différentielle cas vectoriel D autres mesures d information Soit un dé à 8 faces équiprobables, codage binaire de chaque face : Codage sur 3 bits : (000, 001, 010, 011, 100, 101, 110, 111) En moyenne on a besoin de P 1 3 = 3 bits 8 Entropie H(X) = P p k log 2 (p k ) = P 1 log ` = 3 bits Supposons cette fois le dé pipé, ` 1 2, 1 4, 1 8, 1 16, 1 64, 1 64, 1 64, 1 64 : Comme avant : codage sur 3 bits, & 3 bits en moyenne 0 forte proba. d apparition codage sur peu de bits 7 faible proba. d apparition codage sur plus de bits séquences décodable... on a besoin de... 6 bits! mais en moyenne = 2 bits Entropie H(X) = P p k log 2 (p k ) = 2 bits Code optimum de taille moyenne L : H(X) L < H(X) + 1

20 Un problème de codage Axiomes, entropie de Shannon et ses propriétés Entropie différentielle cas vectoriel D autres mesures d information Soit un dé à 8 faces équiprobables, codage binaire de chaque face : Codage sur 3 bits : (000, 001, 010, 011, 100, 101, 110, 111) En moyenne on a besoin de P 1 3 = 3 bits 8 Entropie H(X) = P p k log 2 (p k ) = P 1 log ` = 3 bits Supposons cette fois le dé pipé, ` 1 2, 1 4, 1 8, 1 16, 1 64, 1 64, 1 64, 1 64 : Comme avant : codage sur 3 bits, & 3 bits en moyenne 0 forte proba. d apparition codage sur peu de bits 7 faible proba. d apparition codage sur plus de bits séquences décodable... on a besoin de... 6 bits! mais en moyenne = 2 bits Entropie H(X) = P p k log 2 (p k ) = 2 bits Code optimum de taille moyenne L : H(X) L < H(X) + 1

21 Un problème de codage Axiomes, entropie de Shannon et ses propriétés Entropie différentielle cas vectoriel D autres mesures d information Soit un dé à 8 faces équiprobables, codage binaire de chaque face : Codage sur 3 bits : (000, 001, 010, 011, 100, 101, 110, 111) En moyenne on a besoin de P 1 3 = 3 bits 8 Entropie H(X) = P p k log 2 (p k ) = P 1 log ` = 3 bits Supposons cette fois le dé pipé, ` 1 2, 1 4, 1 8, 1 16, 1 64, 1 64, 1 64, 1 64 : Comme avant : codage sur 3 bits, & 3 bits en moyenne 0 forte proba. d apparition codage sur peu de bits 7 faible proba. d apparition codage sur plus de bits séquences décodable... on a besoin de... 6 bits! mais en moyenne = 2 bits Entropie H(X) = P p k log 2 (p k ) = 2 bits Code optimum de taille moyenne L : H(X) L < H(X) + 1

22 Un problème de codage Axiomes, entropie de Shannon et ses propriétés Entropie différentielle cas vectoriel D autres mesures d information Soit un dé à 8 faces équiprobables, codage binaire de chaque face : Codage sur 3 bits : (000, 001, 010, 011, 100, 101, 110, 111) En moyenne on a besoin de P 1 3 = 3 bits 8 Entropie H(X) = P p k log 2 (p k ) = P 1 log ` = 3 bits Supposons cette fois le dé pipé, ` 1 2, 1 4, 1 8, 1 16, 1 64, 1 64, 1 64, 1 64 : Comme avant : codage sur 3 bits, & 3 bits en moyenne 0 forte proba. d apparition codage sur peu de bits 7 faible proba. d apparition codage sur plus de bits choix (0, 10, 110, 1110, , , , ) séquences décodable... on a besoin de... 6 bits! mais en moyenne = 2 bits Entropie H(X) = P p k log 2 (p k ) = 2 bits Code optimum de taille moyenne L : H(X) L < H(X) + 1

23 Un problème de codage Axiomes, entropie de Shannon et ses propriétés Entropie différentielle cas vectoriel D autres mesures d information Soit un dé à 8 faces équiprobables, codage binaire de chaque face : Codage sur 3 bits : (000, 001, 010, 011, 100, 101, 110, 111) En moyenne on a besoin de P 1 3 = 3 bits 8 Entropie H(X) = P p k log 2 (p k ) = P 1 log ` = 3 bits Supposons cette fois le dé pipé, ` 1 2, 1 4, 1 8, 1 16, 1 64, 1 64, 1 64, 1 64 : Comme avant : codage sur 3 bits, & 3 bits en moyenne 0 forte proba. d apparition codage sur peu de bits 7 faible proba. d apparition codage sur plus de bits choix (0, 10, 110, 1110, , , , ) séquences décodable... on a besoin de... 6 bits! mais en moyenne = 2 bits Entropie H(X) = P p k log 2 (p k ) = 2 bits Code optimum de taille moyenne L : H(X) L < H(X) + 1

24 Un problème de codage Axiomes, entropie de Shannon et ses propriétés Entropie différentielle cas vectoriel D autres mesures d information Soit un dé à 8 faces équiprobables, codage binaire de chaque face : Codage sur 3 bits : (000, 001, 010, 011, 100, 101, 110, 111) En moyenne on a besoin de P 1 3 = 3 bits 8 Entropie H(X) = P p k log 2 (p k ) = P 1 log ` = 3 bits Supposons cette fois le dé pipé, ` 1 2, 1 4, 1 8, 1 16, 1 64, 1 64, 1 64, 1 64 : Comme avant : codage sur 3 bits, & 3 bits en moyenne 0 forte proba. d apparition codage sur peu de bits 7 faible proba. d apparition codage sur plus de bits choix (0, 10, 110, 1110, , , , ) séquences décodable... on a besoin de... 6 bits! mais en moyenne = 2 bits Entropie H(X) = P p k log 2 (p k ) = 2 bits Code optimum de taille moyenne L : H(X) L < H(X) + 1

25 Un problème de codage Axiomes, entropie de Shannon et ses propriétés Entropie différentielle cas vectoriel D autres mesures d information Soit un dé à 8 faces équiprobables, codage binaire de chaque face : Codage sur 3 bits : (000, 001, 010, 011, 100, 101, 110, 111) En moyenne on a besoin de P 1 3 = 3 bits 8 Entropie H(X) = P p k log 2 (p k ) = P 1 log ` = 3 bits Supposons cette fois le dé pipé, ` 1 2, 1 4, 1 8, 1 16, 1 64, 1 64, 1 64, 1 64 : Comme avant : codage sur 3 bits, & 3 bits en moyenne 0 forte proba. d apparition codage sur peu de bits 7 faible proba. d apparition codage sur plus de bits choix (0, 10, 110, 1110, , , , ) séquences décodable... on a besoin de... 6 bits! mais en moyenne = 2 bits Entropie H(X) = P p k log 2 (p k ) = 2 bits Code optimum de taille moyenne L : H(X) L < H(X) + 1

26 Axiomes, entropie de Shannon et ses propriétés Entropie différentielle cas vectoriel D autres mesures d information Application à un problème de pile ou face Une pièce a une probabilité p de tomber sur le coté pile. Soit X le nombre de lancers successifs nécessaires pour tomber sur face. Déterminer p k = Pr[X = k] puis l entropie H(X) = f(p) de X. Quelle séquence naive de questions permettrait de deviner x? Quel est le nombre moyen N de questions à poser pour trouver x? Comparer N et H(X) dans les cas p = 1 2 et p = 2 2. Peut-on trouver une séquence de questions plus courte (en moyenne)? Si oui, quel est le nombre moyen N de questions? Conclure.

27 Axiomes, entropie de Shannon et ses propriétés Entropie différentielle cas vectoriel D autres mesures d information Application à un problème de pile ou face Une pièce a une probabilité p de tomber sur le coté pile. Soit X le nombre de lancers successifs nécessaires pour tomber sur face. Déterminer p k = Pr[X = k] puis l entropie H(X) = f(p) de X. Vali vient de faire x lancers pour tomber enfin sur face. On veut deviner x en lui posant une suite de questions binaires x {x 1,... x k }? Quelle séquence naive de questions permettrait de deviner x? Quel est le nombre moyen N de questions à poser pour trouver x? Comparer N et H(X) dans les cas p = 1 2 et p = 2 2. Peut-on trouver une séquence de questions plus courte (en moyenne)? Si oui, quel est le nombre moyen N de questions? Conclure.

28 Axiomes, entropie de Shannon et ses propriétés Entropie différentielle cas vectoriel D autres mesures d information Application à un problème de pile ou face Une pièce a une probabilité p de tomber sur le coté pile. Soit X le nombre de lancers successifs nécessaires pour tomber sur face. Déterminer p k = Pr[X = k] puis l entropie H(X) = f(p) de X. Vali vient de faire x lancers pour tomber enfin sur face. On veut deviner x en lui posant une suite de questions binaires x {x 1,... x k }? Quelle séquence naive de questions permettrait de deviner x? Quel est le nombre moyen N de questions à poser pour trouver x? Comparer N et H(X) dans les cas p = 1 2 et p = 2 2. Peut-on trouver une séquence de questions plus courte (en moyenne)? Si oui, quel est le nombre moyen N de questions? Conclure.

29 Extension au cas continu Axiomes, entropie de Shannon et ses propriétés Entropie différentielle cas vectoriel D autres mesures d information Pour X variable aléatoire continue, par analogie : Z H(X) = p(x) log p(x) dx (entropie différentielle) Pas d approche axiomatique (à ma connaissance)

30 Extension au cas continu Axiomes, entropie de Shannon et ses propriétés Entropie différentielle cas vectoriel D autres mesures d information Pour X variable aléatoire continue, par analogie : Z H(X) = p(x) log p(x) dx (entropie différentielle) Pas d approche axiomatique (à ma connaissance) Lien avec l entropie discrète : p(x) Soit x k tel que p k = p(x k ) = Z (k+1) k p(x) dx X = x k sur [k ; (k + 1) ), X {p k } p k x k x

31 Extension au cas continu Axiomes, entropie de Shannon et ses propriétés Entropie différentielle cas vectoriel D autres mesures d information Pour X variable aléatoire continue, par analogie : Z H(X) = p(x) log p(x) dx (entropie différentielle) Pas d approche axiomatique (à ma connaissance) Lien avec l entropie discrète : p(x) Soit x k tel que p k = p(x k ) = Z (k+1) k p(x) dx X = x k sur [k ; (k + 1) ), X {p k } p k x k x H X = X p k log p k = X p(x k ) log(p(x k ) ) = log X p(x k ) log p(x k )

32 Extension au cas continu Axiomes, entropie de Shannon et ses propriétés Entropie différentielle cas vectoriel D autres mesures d information Pour X variable aléatoire continue, par analogie : Z H(X) = p(x) log p(x) dx (entropie différentielle) Pas d approche axiomatique (à ma connaissance) Lien avec l entropie discrète : p(x) Soit x k tel que p k = p(x k ) = Z (k+1) k p(x) dx X = x k sur [k ; (k + 1) ), X {p k } p k x k x H X = X p k log p k = X p(x k ) log(p(x k ) ) = log X p(x k ) log p(x k ) lim H X + log = H(X) 0

33 Axiomes, entropie de Shannon et ses propriétés Entropie différentielle cas vectoriel D autres mesures d information Quelques propriétés du cas continu X définie sur [a ; b] borné, maximum H = log(b a) X uniforme H peut être négative et pour b a (pas d incertitude) Concavité : H(λp + (1 λ)q) λh(p) + (1 λ)h(q) Support R, variance/puissance fixée σ 2, maximum H(X) = 1 1 log(2πe) + log σ p(x) = 2 2π σ exp x2 2σ 2 en Gaussien, σ 2 contient toute l information/incertitude sur X H(X + c) = H(X), mais H(aX) = H(X) + log( a ) : dépend des valeurs prises par X Puissance entropique N(X) = 1 exp (2H(X)) 2πe N(X) 0 Uniforme N(X) = (b a)2 2πe 0 si b a 0 Gaussien N(X) = σ 2 0 si σ 2 0

34 Axiomes, entropie de Shannon et ses propriétés Entropie différentielle cas vectoriel D autres mesures d information Quelques propriétés du cas continu X définie sur [a ; b] borné, maximum H = log(b a) X uniforme H peut être négative et pour b a (pas d incertitude) Concavité : H(λp + (1 λ)q) λh(p) + (1 λ)h(q) Support R, variance/puissance fixée σ 2, maximum H(X) = 1 1 log(2πe) + log σ p(x) = 2 2π σ exp x2 2σ 2 en Gaussien, σ 2 contient toute l information/incertitude sur X H(X + c) = H(X), mais H(aX) = H(X) + log( a ) : dépend des valeurs prises par X Puissance entropique N(X) = 1 exp (2H(X)) 2πe N(X) 0 Uniforme N(X) = (b a)2 2πe 0 si b a 0 Gaussien N(X) = σ 2 0 si σ 2 0

35 Axiomes, entropie de Shannon et ses propriétés Entropie différentielle cas vectoriel D autres mesures d information Quelques propriétés du cas continu X définie sur [a ; b] borné, maximum H = log(b a) X uniforme H peut être négative et pour b a (pas d incertitude) Concavité : H(λp + (1 λ)q) λh(p) + (1 λ)h(q) Support R, variance/puissance fixée σ 2, maximum H(X) = 1 1 log(2πe) + log σ p(x) = 2 2π σ exp x2 2σ 2 en Gaussien, σ 2 contient toute l information/incertitude sur X H(X + c) = H(X), mais H(aX) = H(X) + log( a ) : dépend des valeurs prises par X Puissance entropique N(X) = 1 exp (2H(X)) 2πe N(X) 0 Uniforme N(X) = (b a)2 2πe 0 si b a 0 Gaussien N(X) = σ 2 0 si σ 2 0

36 Axiomes, entropie de Shannon et ses propriétés Entropie différentielle cas vectoriel D autres mesures d information Quelques propriétés du cas continu X définie sur [a ; b] borné, maximum H = log(b a) X uniforme H peut être négative et pour b a (pas d incertitude) Concavité : H(λp + (1 λ)q) λh(p) + (1 λ)h(q) Support R, variance/puissance fixée σ 2, maximum H(X) = 1 1 log(2πe) + log σ p(x) = 2 2π σ exp x2 2σ 2 en Gaussien, σ 2 contient toute l information/incertitude sur X H(X + c) = H(X), mais H(aX) = H(X) + log( a ) : dépend des valeurs prises par X Puissance entropique N(X) = 1 exp (2H(X)) 2πe N(X) 0 Uniforme N(X) = (b a)2 2πe 0 si b a 0 Gaussien N(X) = σ 2 0 si σ 2 0

37 Axiomes, entropie de Shannon et ses propriétés Entropie différentielle cas vectoriel D autres mesures d information Quelques propriétés du cas continu X définie sur [a ; b] borné, maximum H = log(b a) X uniforme H peut être négative et pour b a (pas d incertitude) Concavité : H(λp + (1 λ)q) λh(p) + (1 λ)h(q) Support R, variance/puissance fixée σ 2, maximum H(X) = 1 1 log(2πe) + log σ p(x) = 2 2π σ exp x2 2σ 2 en Gaussien, σ 2 contient toute l information/incertitude sur X H(X + c) = H(X), mais H(aX) = H(X) + log( a ) : dépend des valeurs prises par X Puissance entropique N(X) = 1 exp (2H(X)) 2πe N(X) 0 Uniforme N(X) = (b a)2 2πe 0 si b a 0 Gaussien N(X) = σ 2 0 si σ 2 0

38 Axiomes, entropie de Shannon et ses propriétés Entropie différentielle cas vectoriel D autres mesures d information Entropie d un vecteur aléatoire Vecteur aléatoire X p(x) sur un domaine D de R d ou Z d, entropie de X Z H(X) = p(x) log p(x)dx ou X p k1,...,k d log p k1,...,k d D D aussi appelée entropie conjointe des X i et notée H(X 1,..., X d ) X défini sur un support D de R d de volume fini vol D H max(x) = log vol D X uniforme sur D support R d, matrice de covariance R donnée H max(x) = d log(2πe) + 1 log R X N (, R) 2 2 Puissance fixée P = Trace(R), l entropie décroit avec la corrélation Puissance entropique N(X) = 1 exp ` H(X) 2 2πe d

39 Axiomes, entropie de Shannon et ses propriétés Entropie différentielle cas vectoriel D autres mesures d information Entropie d un vecteur aléatoire Vecteur aléatoire X p(x) sur un domaine D de R d ou Z d, entropie de X Z H(X) = p(x) log p(x)dx ou X p k1,...,k d log p k1,...,k d D D aussi appelée entropie conjointe des X i et notée H(X 1,..., X d ) X défini sur un support D de R d de volume fini vol D H max(x) = log vol D X uniforme sur D support R d, matrice de covariance R donnée H max(x) = d log(2πe) + 1 log R X N (, R) 2 2 Puissance fixée P = Trace(R), l entropie décroit avec la corrélation Puissance entropique N(X) = 1 exp ` H(X) 2 2πe d

40 Axiomes, entropie de Shannon et ses propriétés Entropie différentielle cas vectoriel D autres mesures d information Entropie d un vecteur aléatoire Vecteur aléatoire X p(x) sur un domaine D de R d ou Z d, entropie de X Z H(X) = p(x) log p(x)dx ou X p k1,...,k d log p k1,...,k d D D aussi appelée entropie conjointe des X i et notée H(X 1,..., X d ) X défini sur un support D de R d de volume fini vol D H max(x) = log vol D X uniforme sur D support R d, matrice de covariance R donnée H max(x) = d log(2πe) + 1 log R X N (, R) 2 2 Puissance fixée P = Trace(R), l entropie décroit avec la corrélation Puissance entropique N(X) = 1 exp ` H(X) 2 2πe d

41 Axiomes, entropie de Shannon et ses propriétés Entropie différentielle cas vectoriel D autres mesures d information Entropie d un vecteur aléatoire Vecteur aléatoire X p(x) sur un domaine D de R d ou Z d, entropie de X Z H(X) = p(x) log p(x)dx ou X p k1,...,k d log p k1,...,k d D D aussi appelée entropie conjointe des X i et notée H(X 1,..., X d ) X défini sur un support D de R d de volume fini vol D H max(x) = log vol D X uniforme sur D support R d, matrice de covariance R donnée H max(x) = d log(2πe) + 1 log R X N (, R) 2 2 Puissance fixée P = Trace(R), l entropie décroit avec la corrélation Puissance entropique N(X) = 1 exp ` H(X) 2 2πe d Taux d entropie : H(X) = 1 H(X) ; iid H(X ) = H(X1) d

42 D autres mesure d incertitude Axiomes, entropie de Shannon et ses propriétés Entropie différentielle cas vectoriel D autres mesures d information (Co)variance : l incertitude est nulle si σ 2 = 0 et augmente avec σ 2 Z ( p) ( p) t Matrice/information de Fisher : et sa trace p Entropie de Rényi : H λ = 1 1 λ log R p λ (phys. stat., détec.) `R Entropie de Havrda et Charvat 67 : T q = 1 q 1 p q 1 (phys.) Entropies d ordre (r, s) (Varma 66) : H s,r = 1 R log p r R s r p s R Entropies de degré (r, s) (Kapur 67) : T s,r = 1 s r (p r p s ) f-entropies (Arimoto 71) : H f = inf p R pf ( p) f convexe, continuement dérivable ; A t = 1 t 1 R «1 t p t 1

43 D autres mesure d incertitude Axiomes, entropie de Shannon et ses propriétés Entropie différentielle cas vectoriel D autres mesures d information (Co)variance : l incertitude est nulle si σ 2 = 0 et augmente avec σ 2 Z ( p) ( p) t Matrice/information de Fisher : et sa trace p Entropie de Rényi : H λ = 1 1 λ log R p λ (phys. stat., détec.) `R Entropie de Havrda et Charvat 67 : T q = 1 q 1 p q 1 (phys.) Entropies d ordre (r, s) (Varma 66) : H s,r = 1 R log p r R s r p s R Entropies de degré (r, s) (Kapur 67) : T s,r = 1 s r (p r p s ) f-entropies (Arimoto 71) : H f = inf p R pf ( p) f convexe, continuement dérivable ; A t = 1 t 1 R «1 t p t 1

44 D autres mesure d incertitude Axiomes, entropie de Shannon et ses propriétés Entropie différentielle cas vectoriel D autres mesures d information (Co)variance : l incertitude est nulle si σ 2 = 0 et augmente avec σ 2 Z ( p) ( p) t Matrice/information de Fisher : et sa trace p Entropie de Rényi : H λ = 1 1 λ log R p λ (phys. stat., détec.) `R Entropie de Havrda et Charvat 67 : T q = 1 q 1 p q 1 (phys.) Entropies d ordre (r, s) (Varma 66) : H s,r = 1 R log p r R s r p s R Entropies de degré (r, s) (Kapur 67) : T s,r = 1 s r (p r p s ) f-entropies (Arimoto 71) : H f = inf p R pf ( p) f convexe, continuement dérivable ; A t = 1 t 1 R «1 t p t 1

45 Entropie de Rényi, 1961 Généralisation de Shannon : Continuité ; information élémentaire h(p k ) Indépendance H r(x, Y ) = H r(x) + H r(y ) h(p k q l ) = h(p k ) + h(q l ) implique h(p) = log(p) Moyenne quasi-linéaire (exponentielle) : Axiomes, entropie de Shannon et ses propriétés Entropie différentielle cas vectoriel D autres mesures d information H r(x) = ϕ 1 ( P p k ϕ(h(p k )) ) avec ϕ continue croissante (KN) ϕ(x) = ax + b, conduisant à Shannon ϕ(x) = a e (1 λ)x + b avec λ 0, 1 conduisant à Rényi : H λ (X) = 1 1 λ log X Z p λ 1 k 1 λ log p λ (x) dx k

46 Entropie de Rényi, 1961 Généralisation de Shannon : Continuité ; information élémentaire h(p k ) Indépendance H r(x, Y ) = H r(x) + H r(y ) h(p k q l ) = h(p k ) + h(q l ) implique h(p) = log(p) Moyenne quasi-linéaire (exponentielle) : Axiomes, entropie de Shannon et ses propriétés Entropie différentielle cas vectoriel D autres mesures d information H r(x) = ϕ 1 ( P p k ϕ(h(p k )) ) avec ϕ continue croissante (KN) ϕ(x) = ax + b, conduisant à Shannon ϕ(x) = a e (1 λ)x + b avec λ 0, 1 conduisant à Rényi : H λ (X) = 1 1 λ log X Z p λ 1 k 1 λ log p λ (x) dx k

47 Entropie de Rényi, 1961 Généralisation de Shannon : Continuité ; information élémentaire h(p k ) Indépendance H r(x, Y ) = H r(x) + H r(y ) h(p k q l ) = h(p k ) + h(q l ) implique h(p) = log(p) Moyenne quasi-linéaire (exponentielle) : Axiomes, entropie de Shannon et ses propriétés Entropie différentielle cas vectoriel D autres mesures d information H r(x) = ϕ 1 ( P p k ϕ(h(p k )) ) avec ϕ continue croissante (KN) Seules solutions admissibles : ϕ(x) = ax + b, conduisant à Shannon ϕ(x) = a e (1 λ)x + b avec λ 0, 1 conduisant à Rényi : H λ (X) = 1 1 λ log X Z p λ 1 k 1 λ log p λ (x) dx k

48 Entropie de Rényi, 1961 Généralisation de Shannon : Continuité ; information élémentaire h(p k ) Indépendance H r(x, Y ) = H r(x) + H r(y ) h(p k q l ) = h(p k ) + h(q l ) implique h(p) = log(p) Moyenne quasi-linéaire (exponentielle) : Axiomes, entropie de Shannon et ses propriétés Entropie différentielle cas vectoriel D autres mesures d information H r(x) = ϕ 1 ( P p k ϕ(h(p k )) ) avec ϕ continue croissante (KN) Seules solutions admissibles : ϕ(x) = ax + b, conduisant à Shannon ϕ(x) = a e (1 λ)x + b avec λ 0, 1 conduisant à Rényi : H λ (X) = 1 1 λ log X Z p λ 1 k 1 λ log p λ (x) dx k

49 Entropie de Rényi, 1961 Généralisation de Shannon : Continuité ; information élémentaire h(p k ) Indépendance H r(x, Y ) = H r(x) + H r(y ) h(p k q l ) = h(p k ) + h(q l ) implique h(p) = log(p) Moyenne quasi-linéaire (exponentielle) : Axiomes, entropie de Shannon et ses propriétés Entropie différentielle cas vectoriel D autres mesures d information H r(x) = ϕ 1 ( P p k ϕ(h(p k )) ) avec ϕ continue croissante (KN) Seules solutions admissibles : ϕ(x) = ax + b, conduisant à Shannon ϕ(x) = a e (1 λ)x + b avec λ 0, 1 conduisant à Rényi : H λ (X) = 1 1 λ log X Z p λ 1 k 1 λ log p λ (x) dx k λ 1 donne H λ H λ joue un rôle de loupe

50 Axiomes, entropie de Shannon et ses propriétés Entropie différentielle cas vectoriel D autres mesures d information Quelques propriétés des entropies de Rényi Concavité pour λ 1 H λ décroît avec λ de H 0 = log vol D à H = log sup p p k = δ k,l H λ = 0 minimum X Q i {1,..., ni} et p k = Qi 1 H n λ = log( Q n i i) maximum Discret H λ 0 continu N λ exp 2 Hλ d Continu, support fini, maximum en uniforme H λ = log(vol D) Contrainte de (co)variance, maximisantes : λ>1 : f(x) `1 x t R 1 x 1 λ d <λ<1 : f(x) `1 + x t R 1 x 1 λ 1 Student-r Student-t λ 1 λ 1 N N

51 Axiomes, entropie de Shannon et ses propriétés Entropie différentielle cas vectoriel D autres mesures d information Quelques propriétés des entropies de Rényi Concavité pour λ 1 H λ décroît avec λ de H 0 = log vol D à H = log sup p p k = δ k,l H λ = 0 minimum X Q i {1,..., ni} et p k = Qi 1 H n λ = log( Q n i i) maximum Discret H λ 0 continu N λ exp 2 Hλ d Continu, support fini, maximum en uniforme H λ = log(vol D) Contrainte de (co)variance, maximisantes : λ>1 : f(x) `1 x t R 1 x 1 λ d <λ<1 : f(x) `1 + x t R 1 x 1 λ 1 Student-r Student-t λ 1 λ 1 N N

52 Axiomes, entropie de Shannon et ses propriétés Entropie différentielle cas vectoriel D autres mesures d information Quelques propriétés des entropies de Rényi Concavité pour λ 1 H λ décroît avec λ de H 0 = log vol D à H = log sup p p k = δ k,l H λ = 0 minimum X Q i {1,..., ni} et p k = Qi 1 H n λ = log( Q n i i) maximum Discret H λ 0 continu N λ exp 2 Hλ d Continu, support fini, maximum en uniforme H λ = log(vol D) Contrainte de (co)variance, maximisantes : λ>1 : f(x) `1 x t R 1 x 1 λ d <λ<1 : f(x) `1 + x t R 1 x 1 λ 1 Student-r Student-t λ 1 λ 1 N N

53 Axiomes, entropie de Shannon et ses propriétés Entropie différentielle cas vectoriel D autres mesures d information Quelques propriétés des entropies de Rényi Concavité pour λ 1 H λ décroît avec λ de H 0 = log vol D à H = log sup p p k = δ k,l H λ = 0 minimum X Q i {1,..., ni} et p k = Qi 1 H n λ = log( Q n i i) maximum Discret H λ 0 continu N λ exp 2 Hλ d Continu, support fini, maximum en uniforme H λ = log(vol D) Contrainte de (co)variance, maximisantes : λ>1 : f(x) `1 x t R 1 x 1 λ d <λ<1 : f(x) `1 + x t R 1 x 1 λ 1 Student-r Student-t λ 1 λ 1 N N

54 Axiomes, entropie de Shannon et ses propriétés Entropie différentielle cas vectoriel D autres mesures d information Quelques propriétés des entropies de Rényi Concavité pour λ 1 H λ décroît avec λ de H 0 = log vol D à H = log sup p p k = δ k,l H λ = 0 minimum X Q i {1,..., ni} et p k = Qi 1 H n λ = log( Q n i i) maximum Discret H λ 0 continu N λ exp 2 Hλ d Continu, support fini, maximum en uniforme H λ = log(vol D) Contrainte de (co)variance, maximisantes : λ>1 : f(x) `1 x t R 1 x 1 λ d <λ<1 : f(x) `1 + x t R 1 x 1 λ 1 Rappel : λ joue un rôle de loupe Student-r Student-t λ 1 λ 1 N N

55 Axiomes, entropie de Shannon et ses propriétés Entropie différentielle cas vectoriel D autres mesures d information Exemple de codage Campbell 65, Bercher 09 Codage binaire des faces du dé à 8 faces pipé de loi ` 1 2, 1 4, 1 8, 1 16, 1 64, 1 64, 1 64, Code instantanné (mot non préfixe d un autre) Kraft P i 2 l i 1 de longueur moyenne: L = P i pili minimale l i = log 2 p i et L = H(X) (l i = log p i et L H(X)) choix (0, 10, 110, 1110, , , , ) L = 2 = H(X) mais malgré tout, besoin de 6 bits Pénalisation des mots longs : minimisation de C λ = 1 log α 2 C 0 = L et C = max i l i P i pi2αl i l i = log 2 ep i et C α = H λ (X), avec λ = 1 et 1+α epi = P pλ i k pλ k Pénalisation M λ = P i epili et code / distrib. compagne {epi}i α = 1, ( , , , , , , , ) L = 2.31 > L, mais besoin de 4 bits H.5(X) = 2.42 et C 1 = 2.46 ; H( e X) = 1.85 et M.5 = 2.69.

56 Axiomes, entropie de Shannon et ses propriétés Entropie différentielle cas vectoriel D autres mesures d information Exemple de codage Campbell 65, Bercher 09 Codage binaire des faces du dé à 8 faces pipé de loi ` 1 2, 1 4, 1 8, 1 16, 1 64, 1 64, 1 64, Code instantanné (mot non préfixe d un autre) Kraft P i 2 l i 1 de longueur moyenne: L = P i pili minimale l i = log 2 p i et L = H(X) (l i = log p i et L H(X)) choix (0, 10, 110, 1110, , , , ) L = 2 = H(X) mais malgré tout, besoin de 6 bits Pénalisation des mots longs : minimisation de C λ = 1 log α 2 C 0 = L et C = max i l i P i pi2αl i l i = log 2 ep i et C α = H λ (X), avec λ = 1 et 1+α epi = P pλ i k pλ k Pénalisation M λ = P i epili et code / distrib. compagne {epi}i α = 1, ( , , , , , , , ) L = 2.31 > L, mais besoin de 4 bits H.5(X) = 2.42 et C 1 = 2.46 ; H( e X) = 1.85 et M.5 = 2.69.

57 Axiomes, entropie de Shannon et ses propriétés Entropie différentielle cas vectoriel D autres mesures d information Exemple de codage Campbell 65, Bercher 09 Codage binaire des faces du dé à 8 faces pipé de loi ` 1 2, 1 4, 1 8, 1 16, 1 64, 1 64, 1 64, Code instantanné (mot non préfixe d un autre) Kraft P i 2 l i 1 de longueur moyenne: L = P i pili minimale l i = log 2 p i et L = H(X) (l i = log p i et L H(X)) choix (0, 10, 110, 1110, , , , ) L = 2 = H(X) mais malgré tout, besoin de 6 bits Pénalisation des mots longs : minimisation de C λ = 1 log α 2 C 0 = L et C = max i l i P i pi2αl i l i = log 2 ep i et C α = H λ (X), avec λ = 1 et 1+α epi = P pλ i k pλ k Pénalisation M λ = P i epili et code / distrib. compagne {epi}i α = 1, ( , , , , , , , ) L = 2.31 > L, mais besoin de 4 bits H.5(X) = 2.42 et C 1 = 2.46 ; H( e X) = 1.85 et M.5 = 2.69.

58 Axiomes, entropie de Shannon et ses propriétés Entropie différentielle cas vectoriel D autres mesures d information Exemple de codage Campbell 65, Bercher 09 Codage binaire des faces du dé à 8 faces pipé de loi ` 1 2, 1 4, 1 8, 1 16, 1 64, 1 64, 1 64, Code instantanné (mot non préfixe d un autre) Kraft P i 2 l i 1 de longueur moyenne: L = P i pili minimale l i = log 2 p i et L = H(X) (l i = log p i et L H(X)) choix (0, 10, 110, 1110, , , , ) L = 2 = H(X) mais malgré tout, besoin de 6 bits Pénalisation des mots longs : minimisation de C λ = 1 log α 2 C 0 = L et C = max i l i P i pi2αl i l i = log 2 ep i et C α = H λ (X), avec λ = 1 et 1+α epi = P pλ i k pλ k Pénalisation M λ = P i epili et code / distrib. compagne {epi}i α = 1, ( , , , , , , , ) L = 2.31 > L, mais besoin de 4 bits H.5(X) = 2.42 et C 1 = 2.46 ; H( e X) = 1.85 et M.5 = 2.69.

59 Axiomes, entropie de Shannon et ses propriétés Entropie différentielle cas vectoriel D autres mesures d information Exemple de codage Campbell 65, Bercher 09 Codage binaire des faces du dé à 8 faces pipé de loi ` 1 2, 1 4, 1 8, 1 16, 1 64, 1 64, 1 64, Code instantanné (mot non préfixe d un autre) Kraft P i 2 l i 1 de longueur moyenne: L = P i pili minimale l i = log 2 p i et L = H(X) (l i = log p i et L H(X)) choix (0, 10, 110, 1110, , , , ) L = 2 = H(X) mais malgré tout, besoin de 6 bits Pénalisation des mots longs : minimisation de C λ = 1 log α 2 C 0 = L et C = max i l i P i pi2αl i l i = log 2 ep i et C α = H λ (X), avec λ = 1 et 1+α epi = P pλ i k pλ k Pénalisation M λ = P i epili et code / distrib. compagne {epi}i α = 1, ( , , , , , , , ) L = 2.31 > L, mais besoin de 4 bits H.5(X) = 2.42 et C 1 = 2.46 ; H( e X) = 1.85 et M.5 = 2.69.

60 Axiomes, entropie de Shannon et ses propriétés Entropie différentielle cas vectoriel D autres mesures d information Exemple de codage Campbell 65, Bercher 09 Codage binaire des faces du dé à 8 faces pipé de loi ` 1 2, 1 4, 1 8, 1 16, 1 64, 1 64, 1 64, Code instantanné (mot non préfixe d un autre) Kraft P i 2 l i 1 de longueur moyenne: L = P i pili minimale l i = log 2 p i et L = H(X) (l i = log p i et L H(X)) choix (0, 10, 110, 1110, , , , ) L = 2 = H(X) mais malgré tout, besoin de 6 bits Pénalisation des mots longs : minimisation de C λ = 1 log α 2 C 0 = L et C = max i l i P i pi2αl i l i = log 2 ep i et C α = H λ (X), avec λ = 1 et 1+α epi = P pλ i k pλ k Pénalisation M λ = P i epili et code / distrib. compagne {epi}i α = 1, ( , , , , , , , ) L = 2.31 > L, mais besoin de 4 bits H.5(X) = 2.42 et C 1 = 2.46 ; H( e X) = 1.85 et M.5 = 2.69.

61 Axiomes, entropie de Shannon et ses propriétés Entropie différentielle cas vectoriel D autres mesures d information Exemple de codage Campbell 65, Bercher 09 Codage binaire des faces du dé à 8 faces pipé de loi ` 1 2, 1 4, 1 8, 1 16, 1 64, 1 64, 1 64, Code instantanné (mot non préfixe d un autre) Kraft P i 2 l i 1 de longueur moyenne: L = P i pili minimale l i = log 2 p i et L = H(X) (l i = log p i et L H(X)) choix (0, 10, 110, 1110, , , , ) L = 2 = H(X) mais malgré tout, besoin de 6 bits Pénalisation des mots longs : minimisation de C λ = 1 log α 2 C 0 = L et C = max i l i P i pi2αl i l i = log 2 ep i et C α = H λ (X), avec λ = 1 et 1+α epi = P pλ i k pλ k Pénalisation M λ = P i epili et code / distrib. compagne {epi}i α = 1, ( , , , , , , , ) L = 2.31 > L, mais besoin de 4 bits H.5(X) = 2.42 et C 1 = 2.46 ; H( e X) = 1.85 et M.5 = 2.69.

62 Axiomes, entropie de Shannon et ses propriétés Entropie différentielle cas vectoriel D autres mesures d information Exemple de codage Campbell 65, Bercher 09 Codage binaire des faces du dé à 8 faces pipé de loi ` 1 2, 1 4, 1 8, 1 16, 1 64, 1 64, 1 64, Code instantanné (mot non préfixe d un autre) Kraft P i 2 l i 1 de longueur moyenne: L = P i pili minimale l i = log 2 p i et L = H(X) (l i = log p i et L H(X)) choix (0, 10, 110, 1110, , , , ) L = 2 = H(X) mais malgré tout, besoin de 6 bits Pénalisation des mots longs : minimisation de C λ = 1 log α 2 C 0 = L et C = max i l i P i pi2αl i l i = log 2 ep i et C α = H λ (X), avec λ = 1 et 1+α epi = P pλ i k pλ k Pénalisation M λ = P i epili et code / distrib. compagne {epi}i α = 1, ( , , , , , , , ) L = 2.31 > L, mais besoin de 4 bits H.5(X) = 2.42 et C 1 = 2.46 ; H( e X) = 1.85 et M.5 = 2.69.

63 Axiomes, entropie de Shannon et ses propriétés Entropie différentielle cas vectoriel D autres mesures d information Exemple de codage Campbell 65, Bercher 09 Codage binaire des faces du dé à 8 faces pipé de loi ` 1 2, 1 4, 1 8, 1 16, 1 64, 1 64, 1 64, Code instantanné (mot non préfixe d un autre) Kraft P i 2 l i 1 de longueur moyenne: L = P i pili minimale l i = log 2 p i et L = H(X) (l i = log p i et L H(X)) choix (0, 10, 110, 1110, , , , ) L = 2 = H(X) mais malgré tout, besoin de 6 bits Pénalisation des mots longs : minimisation de C λ = 1 log α 2 C 0 = L et C = max i l i P i pi2αl i l i = log 2 ep i et C α = H λ (X), avec λ = 1 et 1+α epi = P pλ i k pλ k Pénalisation M λ = P i epili et code / distrib. compagne {epi}i α = 1, ( , , , , , , , ) L = 2.31 > L, mais besoin de 4 bits H.5(X) = 2.42 et C 1 = 2.46 ; H( e X) = 1.85 et M.5 = 2.69.

64 Axiomes, entropie de Shannon et ses propriétés Entropie différentielle cas vectoriel D autres mesures d information Exemple de codage Campbell 65, Bercher 09 Codage binaire des faces du dé à 8 faces pipé de loi ` 1 2, 1 4, 1 8, 1 16, 1 64, 1 64, 1 64, Code instantanné (mot non préfixe d un autre) Kraft P i 2 l i 1 de longueur moyenne: L = P i pili minimale l i = log 2 p i et L = H(X) (l i = log p i et L H(X)) choix (0, 10, 110, 1110, , , , ) L = 2 = H(X) mais malgré tout, besoin de 6 bits Pénalisation des mots longs : minimisation de C λ = 1 log α 2 C 0 = L et C = max i l i P i pi2αl i l i = log 2 ep i et C α = H λ (X), avec λ = 1 et 1+α epi = P pλ i k pλ k Pénalisation M λ = P i epili et code / distrib. compagne {epi}i α = 1, ( , , , , , , , ) Choix (00, 01, 100, 101, 1100, 1101, 1110, 1111) L = 2.31 > L, mais besoin de 4 bits H.5(X) = 2.42 et C 1 = 2.46 ; H( e X) = 1.85 et M.5 = 2.69.

65 Axiomes, entropie de Shannon et ses propriétés Entropie différentielle cas vectoriel D autres mesures d information Exemple de codage Campbell 65, Bercher 09 Codage binaire des faces du dé à 8 faces pipé de loi ` 1 2, 1 4, 1 8, 1 16, 1 64, 1 64, 1 64, Code instantanné (mot non préfixe d un autre) Kraft P i 2 l i 1 de longueur moyenne: L = P i pili minimale l i = log 2 p i et L = H(X) (l i = log p i et L H(X)) choix (0, 10, 110, 1110, , , , ) L = 2 = H(X) mais malgré tout, besoin de 6 bits Pénalisation des mots longs : minimisation de C λ = 1 log α 2 C 0 = L et C = max i l i P i pi2αl i l i = log 2 ep i et C α = H λ (X), avec λ = 1 et 1+α epi = P pλ i k pλ k Pénalisation M λ = P i epili et code / distrib. compagne {epi}i α = 1, ( , , , , , , , ) Choix (00, 01, 100, 101, 1100, 1101, 1110, 1111) L = 2.31 > L, mais besoin de 4 bits H.5(X) = 2.42 et C 1 = 2.46 ; H( e X) = 1.85 et M.5 = 2.69.

66 Axiomes, entropie de Shannon et ses propriétés Entropie différentielle cas vectoriel D autres mesures d information Exemple de codage Campbell 65, Bercher 09 Codage binaire des faces du dé à 8 faces pipé de loi ` 1 2, 1 4, 1 8, 1 16, 1 64, 1 64, 1 64, Code instantanné (mot non préfixe d un autre) Kraft P i 2 l i 1 de longueur moyenne: L = P i pili minimale l i = log 2 p i et L = H(X) (l i = log p i et L H(X)) choix (0, 10, 110, 1110, , , , ) L = 2 = H(X) mais malgré tout, besoin de 6 bits Pénalisation des mots longs : minimisation de C λ = 1 log α 2 C 0 = L et C = max i l i P i pi2αl i l i = log 2 ep i et C α = H λ (X), avec λ = 1 et 1+α epi = P pλ i k pλ k Pénalisation M λ = P i epili et code / distrib. compagne {epi}i α = 1, ( , , , , , , , ) Choix (00, 01, 100, 101, 1100, 1101, 1110, 1111) L = 2.31 > L, mais besoin de 4 bits H.5(X) = 2.42 et C 1 = 2.46 ; H( e X) = 1.85 et M.5 = 2.69.

67 Un peu de physique Axiomes, entropie de Shannon et ses propriétés Entropie différentielle cas vectoriel D autres mesures d information i=1 Gaz parfait : N particules, volume Λ, ( N ) Ω Λ,N,E = (v 1,..., v N ) H = X 1 2 mv2 i = E (hypersphère) répartition uniforme sur la surface Ω Λ,N,E (entropie maximum)

68 Un peu de physique Axiomes, entropie de Shannon et ses propriétés Entropie différentielle cas vectoriel D autres mesures d information i=1 Gaz parfait : N particules, volume Λ, ( N ) Ω Λ,N,E = (v 1,..., v N ) H = X 1 2 mv2 i = E (hypersphère) répartition uniforme sur la surface Ω Λ,N,E (entropie maximum) Sous-ensemble Λ 0 Λ de N 0 < N particules : p(v 1,..., v N0 ) 1 m 2E vt 0v 0 3 (N N 0 ) 2 2

69 Un peu de physique Axiomes, entropie de Shannon et ses propriétés Entropie différentielle cas vectoriel D autres mesures d information i=1 Gaz parfait : N particules, volume Λ, ( N ) Ω Λ,N,E = (v 1,..., v N ) H = X 1 2 mv2 i = E (hypersphère) répartition uniforme sur la surface Ω Λ,N,E (entropie maximum) Sous-ensemble Λ 0 Λ de N 0 < N particules : p(v 1,..., v N0 ) 1 m 2E vt 0v 0 3 (N N 0 ) 2 2 Limite thermodynamique : Λ R 3 N, ρ et E e Λ Λ p(v 1,..., v N0 ) exp 3mρ «4e vt 0v 0 (Boltzmann)

70 Un peu de physique Axiomes, entropie de Shannon et ses propriétés Entropie différentielle cas vectoriel D autres mesures d information i=1 Gaz parfait : N particules, volume Λ, ( N ) Ω Λ,N,E = (v 1,..., v N ) H = X 1 2 mv2 i = E (hypersphère) répartition uniforme sur la surface Ω Λ,N,E (entropie maximum) Sous-ensemble Λ 0 Λ de N 0 < N particules : p(v 1,..., v N0 ) 1 m 2E vt 0v 0 3 (N N 0 ) 2 2 Limite thermodynamique : Λ R 3 N, ρ et E e Λ Λ p(v 1,..., v N0 ) exp 3mρ «4e vt 0v 0 (Boltzmann) Shannon

71 Un peu de physique Axiomes, entropie de Shannon et ses propriétés Entropie différentielle cas vectoriel D autres mesures d information i=1 Gaz parfait : N particules, volume Λ, ( N ) Ω Λ,N,E = (v 1,..., v N ) H = X 1 2 mv2 i = E (hypersphère) répartition uniforme sur la surface Ω Λ,N,E (entropie maximum) Sous-ensemble Λ 0 Λ de N 0 < N particules : p(v 1,..., v N0 ) 1 m 2E vt 0v 0 3 (N N 0 ) 2 2 Rényi, α = 3N 3N0 3N 3N 0 2 > 1 Limite thermodynamique : Λ R 3 N, ρ et E e Λ Λ p(v 1,..., v N0 ) exp 3mρ «4e vt 0v 0 (Boltzmann) Shannon

72 Plan du cours Entropie conditionnelle, Information mutuelle Quelques exemples Divergences 1 Entropie mesure d incertitude Axiomes, entropie de Shannon et ses propriétés Entropie différentielle cas vectoriel D autres mesures d information 2 Entropie conditionnelle, Information mutuelle Quelques exemples Divergences 3 Inégalités classiques Chaînes de Markov Inégalité de la puissance entropique Estimation relations entre informations 4 Relation d incertitude d Heisenberg et versions entropiques

73 Entropie conditionnelle Soient X et Y : degré d incertitude H(X) et H(Y ) Entropie conditionnelle, Information mutuelle Quelques exemples Divergences Quelle information/incertitude commune X et Y partagent-ils?

Théorie et codage de l information

Théorie et codage de l information Théorie et codage de l information Mesure quantitative de l information - Chapitre 2 - Information propre et mutuelle Quantité d information propre d un événement Soit A un événement de probabilité P (A)

Plus en détail

Capacité d un canal Second Théorème de Shannon. Théorie de l information 1/34

Capacité d un canal Second Théorème de Shannon. Théorie de l information 1/34 Capacité d un canal Second Théorème de Shannon Théorie de l information 1/34 Plan du cours 1. Canaux discrets sans mémoire, exemples ; 2. Capacité ; 3. Canaux symétriques ; 4. Codage de canal ; 5. Second

Plus en détail

Théorie de l information : historique

Théorie de l information : historique Théorie de l information : historique Développée dans les années quarante par Claude Shannon. Objectif : maximiser la quantité d information pouvant être transmise par un canal de communication imparfait.

Plus en détail

Théorie de l Information Notes de Cours 2006-2007

Théorie de l Information Notes de Cours 2006-2007 Théorie de l Information Notes de Cours 26-27 SIC-SICOM Maria-João Rendas October, 26 2 Chapter Mesures d Information et leurs propriétés Nous pésentons dans ce Chapitre les mesures fondamentales de la

Plus en détail

D.I.I.C. 3 - INC Module COMV - Contrôle 1

D.I.I.C. 3 - INC Module COMV - Contrôle 1 Université de Rennes 1 année 2009-2010 I.F.S.I.C. 11 Décembre 2009 D.I.I.C. 3 - INC Module COMV - Contrôle 1 cours d Olivier LE MEUR Durée : 2 heures Documents autorisés : documents des cours, TD et TP,

Plus en détail

Probabilités. I- Expérience aléatoire, espace probabilisé : ShotGun. 1- Définitions :

Probabilités. I- Expérience aléatoire, espace probabilisé : ShotGun. 1- Définitions : Probabilités I- Expérience aléatoire, espace probabilisé : 1- Définitions : Ω : Ensemble dont les points w sont les résultats possibles de l expérience Des évènements A parties de Ω appartiennent à A une

Plus en détail

Majeure d informatique

Majeure d informatique Nicolas Sendrier Majeure d informatique Introduction la théorie de l information Cours n 1 Une mesure de l information Espace probabilisé discret L alphabet est X (fini en pratique) Variable aléatoire

Plus en détail

Théorie et Codage de l Information (IF01) exercices 2013-2014. Paul Honeine Université de technologie de Troyes France

Théorie et Codage de l Information (IF01) exercices 2013-2014. Paul Honeine Université de technologie de Troyes France Théorie et Codage de l Information (IF01) exercices 2013-2014 Paul Honeine Université de technologie de Troyes France TD-1 Rappels de calculs de probabilités Exercice 1. On dispose d un jeu de 52 cartes

Plus en détail

Sujets HEC B/L 2013-36-

Sujets HEC B/L 2013-36- -36- -37- Sujet HEC 2012 B/L Exercice principal B/L1 1. Question de cours : Définition et propriétés de la fonction de répartition d une variable aléatoire à densité. Soit f la fonction définie par : f(x)

Plus en détail

DEFINITION et PROPRIETES des PRINCIPALES LOIS de PROBABILITES

DEFINITION et PROPRIETES des PRINCIPALES LOIS de PROBABILITES Université Paris1, Licence 00-003, Mme Pradel : Principales lois de Probabilité 1 DEFINITION et PROPRIETES des PRINCIPALES LOIS de PROBABILITES Notations Si la variable aléatoire X suit la loi L, onnoterax

Plus en détail

1 Sujets donnés en option scientifique

1 Sujets donnés en option scientifique Les sujets suivants, posés aux candidats des options scientifique, économique, technologique et littéraire BL constituent la première version d un échantillon des sujets proposés lors des épreuves orales

Plus en détail

Principes généraux de codage entropique d'une source. Cours : Compression d'images Master II: IASIG Dr. Mvogo Ngono Joseph

Principes généraux de codage entropique d'une source. Cours : Compression d'images Master II: IASIG Dr. Mvogo Ngono Joseph Principes généraux de codage entropique d'une source Cours : Compression d'images Master II: IASIG Dr. Mvogo Ngono Joseph Table des matières Objectifs 5 Introduction 7 I - Entropie d'une source 9 II -

Plus en détail

Probabilités 5. Simulation de variables aléatoires

Probabilités 5. Simulation de variables aléatoires Probabilités 5. Simulation de variables aléatoires Céline Lacaux École des Mines de Nancy IECL 27 avril 2015 1 / 25 Plan 1 Méthodes de Monte-Carlo 2 3 4 2 / 25 Estimation d intégrales Fiabilité d un système

Plus en détail

Cours 1: lois discrétes classiques en probabilités

Cours 1: lois discrétes classiques en probabilités Cours 1: lois discrétes classiques en probabilités Laboratoire de Mathématiques de Toulouse Université Paul Sabatier-IUT GEA Ponsan Module: Stat inférentielles Définition Quelques exemples loi d une v.a

Plus en détail

Sommaire. Chapitre 1 Variables et vecteurs aléatoires... 5. Chapitre 2 Variables aléatoires à densité... 65

Sommaire. Chapitre 1 Variables et vecteurs aléatoires... 5. Chapitre 2 Variables aléatoires à densité... 65 Sommaire Chapitre 1 Variables et vecteurs aléatoires............... 5 A. Généralités sur les variables aléatoires réelles.................... 6 B. Séries doubles..................................... 9

Plus en détail

Simulation de variables aléatoires

Simulation de variables aléatoires Simulation de variables aléatoires S. Robin INA PG, Biométrie Décembre 1997 Table des matières 1 Introduction Variables aléatoires discrètes 3.1 Pile ou face................................... 3. Loi de

Plus en détail

Analyse de données et méthodes numériques

Analyse de données et méthodes numériques Analyse de données et méthodes numériques Analyse de données: Que faire avec un résultat? Comment le décrire? Comment l analyser? Quels sont les «modèles» mathématiques associés? Analyse de données et

Plus en détail

Master Modélisation Statistique M2 Finance - chapitre 1. Gestion optimale de portefeuille, l approche de Markowitz

Master Modélisation Statistique M2 Finance - chapitre 1. Gestion optimale de portefeuille, l approche de Markowitz Master Modélisation Statistique M2 Finance - chapitre 1 Gestion optimale de portefeuille, l approche de Markowitz Clément Dombry, Laboratoire de Mathématiques de Besançon, Université de Franche-Comté.

Plus en détail

Codes Correcteurs d Erreurs Les codes binaires linéaires parfaits + Code de Hamming, + Code de Golay

Codes Correcteurs d Erreurs Les codes binaires linéaires parfaits + Code de Hamming, + Code de Golay Codes Correcteurs d Erreurs Les codes binaires linéaires parfaits + Code de Hamming, + Code de Golay November 12, 2008 Plan 1 2 Rappel : la borne de Hamming pour un code linéaire est t i=0 ( n i ) 2 n

Plus en détail

Références. Compter les mots. Le langage comme donnée. Communication Langagière Ingénierie des langues et de la parole

Références. Compter les mots. Le langage comme donnée. Communication Langagière Ingénierie des langues et de la parole Communication Langagière Ingénierie des langues et de la parole 1. Introduction générale 2. Ingénierie des langues 2.1 Représentation et codage des textes 2.2 Théorie de l information et probabilités 2.3

Plus en détail

Mth2302B - Intra Été 2011

Mth2302B - Intra Été 2011 École Polytechnique de Montréal page 1 Contrôle périodique Été 2011--------------------------------Corrigé--------------------------------------T.Hammouche Question 1 (12 points) Mth2302B - Intra Été 2011

Plus en détail

Techniques de Codage pour la Sécurité Couche Physique

Techniques de Codage pour la Sécurité Couche Physique Techniques de Codage pour la Sécurité Couche Physique LAURA LUZZI SÉMINAIRE ETIS 4 FÉVRIER 2014 Laura Luzzi Codage pour la Sécurité Couche Physique 1 Plan 1 Introduction : sécurité couche physique 2 Canaux

Plus en détail

Outils mathématiques pour le datamining. http://www.elseware.fr/univevry

Outils mathématiques pour le datamining. http://www.elseware.fr/univevry Outils mathématiques pour le datamining http://wwwelsewarefr/univevry Géométrie Distance Distance entre parties Matrice de variance/covariance Inertie Minimisation Probabilités Définition Théorème de Bayes

Plus en détail

Codage des sources discrètes sans mémoire 1/34

Codage des sources discrètes sans mémoire 1/34 Codage des sources discrètes sans mémoire 1/34 Plan du cours 1. Historique : codage de Morse ; 2. Définitions : codage ; efficacité d un codage ; 3. codes de longueur fixe, codage des chiffres ; 4. condition

Plus en détail

Probabilité conditionnelle et indépendance. Couples de variables aléatoires. Exemples

Probabilité conditionnelle et indépendance. Couples de variables aléatoires. Exemples 36 Probabilité conditionnelle et indépendance. Couples de variables aléatoires. Exemples (Ω, B, P est un espace probabilisé. 36.1 Définition et propriétés des probabilités conditionnelles Définition 36.1

Plus en détail

Théorie de l information et codage pour les canaux de Rayleigh MIMO

Théorie de l information et codage pour les canaux de Rayleigh MIMO Théorie de l information et codage pour les canaux de Rayleigh MIMO Philippe Ciblat École Nationale Supérieure des Télécommunications, Paris, France Plan 1 Canal de Rayleigh Modèle Diversité Système MIMO

Plus en détail

Initiation à la théorie de l information (Claude Shannon 1948)

Initiation à la théorie de l information (Claude Shannon 1948) Initiation à la théorie de l information (Claude Shannon 1948) Emergence Paris - Santacafé Philippe Picard, le 26/04/2006 Page 1 Avant propos La théorie de l information, sans faire appel - du moins dans

Plus en détail

Moments des variables aléatoires réelles

Moments des variables aléatoires réelles Chapter 6 Moments des variables aléatoires réelles Sommaire 6.1 Espérance des variables aléatoires réelles................................ 46 6.1.1 Définition et calcul........................................

Plus en détail

Information et Codage

Information et Codage Information et Codage Chaps. 1 5 Olivier RIOUL TELECOM ParisTech olivier.rioul@telecom-paristech.fr Chaps. 6 7 Benoît GELLER ENSTA ParisTech benoit.geller@ensta-paristech.fr Avant-propos Ce cours vise

Plus en détail

Probabilité mathématique et distributions théoriques

Probabilité mathématique et distributions théoriques Probabilité mathématique et distributions théoriques 3 3.1 Notion de probabilité 3.1.1 classique de la probabilité s Une expérience ou une épreuve est dite aléatoire lorsqu on ne peut en prévoir exactement

Plus en détail

COUPLES DE VARIABLES ALÉATOIRES

COUPLES DE VARIABLES ALÉATOIRES CHAPITRE 13 COUPLES DE VARIABLES ALÉATOIRES Dans tout le chapitre, (Ω, P) désignera un espace probabilisé fini. 1 Couple de variables aléatoires Définition 13.1 On appelle couple de variables aléatoires

Plus en détail

INTRODUCTION : EDP ET FINANCE.

INTRODUCTION : EDP ET FINANCE. INTRODUCTION : EDP ET FINANCE. Alexandre Popier Université du Maine, Le Mans A. Popier (Le Mans) EDP et finance. 1 / 16 PLAN DU COURS 1 MODÈLE ET ÉQUATION DE BLACK SCHOLES 2 QUELQUES EXTENSIONS A. Popier

Plus en détail

Entropie. P. Pansu 20 mai 2012. En bleu, les paragraphes qui n ont pas été traités, ou alors de façon évasive.

Entropie. P. Pansu 20 mai 2012. En bleu, les paragraphes qui n ont pas été traités, ou alors de façon évasive. Entropie P. Pansu 20 mai 202 Conventions En bleu, les paragraphes qui n ont pas été traités, ou alors de façon évasive. Motivation. L entropie dans les sciences L entropie est une invention de physiciens.

Plus en détail

TELEVISION NUMERIQUE

TELEVISION NUMERIQUE REPUBLIQUE DU CAMEROUN Paix - Travail Patrie --------------------- UNIVERSITE DE YAOUNDE I ---------------------- ECOLE NATIONALE SUPERIEURE POLYTECHNIQUE ---------------------- REPUBLIC OF CAMEROUN Peace

Plus en détail

Introduction aux Support Vector Machines (SVM)

Introduction aux Support Vector Machines (SVM) Introduction aux Support Vector Machines (SVM) Olivier Bousquet Centre de Mathématiques Appliquées Ecole Polytechnique, Palaiseau Orsay, 15 Novembre 2001 But de l exposé 2 Présenter les SVM Encourager

Plus en détail

Introduction au cours STA 102 Analyse des données : Méthodes explicatives

Introduction au cours STA 102 Analyse des données : Méthodes explicatives Analyse des données - Méthodes explicatives (STA102) Introduction au cours STA 102 Analyse des données : Méthodes explicatives Giorgio Russolillo giorgio.russolillo@cnam.fr Infos et support du cours Slide

Plus en détail

Simulation de variables aléatoires

Simulation de variables aléatoires Chapter 1 Simulation de variables aléatoires Références: [F] Fishman, A first course in Monte Carlo, chap 3. [B] Bouleau, Probabilités de l ingénieur, chap 4. [R] Rubinstein, Simulation and Monte Carlo

Plus en détail

Arbres de décisions et forêts aléatoires.

Arbres de décisions et forêts aléatoires. Arbres de décisions et forêts aléatoires. Pierre Gaillard 7 janvier 2014 1 Plan 1 Arbre de décision 2 Les méthodes d ensembles et les forêts aléatoires 2 Introduction 3 Introduction Jeu de données (ex

Plus en détail

GEL-7064 : Théorie et pratique des codes correcteurs Codes cycliques Notes de cours

GEL-7064 : Théorie et pratique des codes correcteurs Codes cycliques Notes de cours linéaires GEL-7064 : Théorie et pratique des codes correcteurs Notes de cours Département de génie électrique et de génie informatique Université Laval jean-yves.chouinard@gel.ulaval.ca 12 février 2013

Plus en détail

Exercices de simulation 1

Exercices de simulation 1 Licence MIA 2ème année Année universitaire 2009-2010 Simulation stochastique C. Léonard Exercices de simulation 1 Les simulations qui suivent sont à effectuer avec Scilab. Le générateur aléatoire de Scilab.

Plus en détail

THÉORIE DE L'INFORMATION : RAPPELS

THÉORIE DE L'INFORMATION : RAPPELS THÉORIE DE L'INFORMATION : RAPPELS 1920 : premières tentatives de définition de mesure de l'information à partir de 1948 : travaux de Shannon Théorie de l'information discipline fondamentale qui s'applique

Plus en détail

PROBABILITES ET STATISTIQUE I&II

PROBABILITES ET STATISTIQUE I&II PROBABILITES ET STATISTIQUE I&II TABLE DES MATIERES CHAPITRE I - COMBINATOIRE ELEMENTAIRE I.1. Rappel des notations de la théorie des ensemble I.1.a. Ensembles et sous-ensembles I.1.b. Diagrammes (dits

Plus en détail

Examen d accès - 28 Septembre 2012

Examen d accès - 28 Septembre 2012 Examen d accès - 28 Septembre 2012 Aucun document autorisé - Calculatrice fournie par le centre d examen Cet examen est un questionnaire à choix multiples constitué de 50 questions. Plusieurs réponses

Plus en détail

: 3 si x 2 [0; ] 0 sinon

: 3 si x 2 [0; ] 0 sinon Oral HEC 2007 Question de cours : Dé nition d un estimateur ; dé nitions du biais et du risque quadratique d un estimateur. On considère n (n > 2) variables aléatoires réelles indépendantes X 1,..., X

Plus en détail

Théorie de l information

Théorie de l information Théorie de l information Exercices Dpt. Génie Electrique Théorie de l information T. Grenier Exercices A Exercice n A. Dans un processus d'automatisation, une source génère de façon indépendante quatre

Plus en détail

Quantification Vectorielle

Quantification Vectorielle Quantification Vectorielle Marco Cagnazzo Département Traitement du Signal et des Images TELECOM ParisTech 14 Décembre 2012 M. Cagnazzo Quantification Vectorielle 1/65 Plan Introduction 1 Introduction

Plus en détail

Théorie de l Information

Théorie de l Information Massih-Reza Amini Université Joseph Fourier Laboratoire d Informatique de Grenoble 2/31 Rappel Canal de communication Codage par répétition Table des matières 1 Rappel 2 Canal de communication 3 Codage

Plus en détail

Théorie de l information et codage (Notes de cours)

Théorie de l information et codage (Notes de cours) Théorie de l information et codage (Notes de cours) Marie-Pierre Béal Nicolas Sendrier 2 novembre 202 Institut Gaspard Monge, Université de Marne-la-Vallée, 77454 Marne-la-Vallée Cedex 2, France. beal@univ-mlv.fr.

Plus en détail

Simulation de variables aléatoires

Simulation de variables aléatoires CHAPITRE I. SIMULATION DE VARIABLES ALÉATOIRES 25 Chapitre I Simulation de variables aléatoires La simulation informatique de variables aléatoires, aussi complexes soient elles, repose sur la simulation

Plus en détail

Espérance, variance, quantiles

Espérance, variance, quantiles Espérance, variance, quantiles Mathématiques Générales B Université de Genève Sylvain Sardy 22 mai 2008 0. Motivation Mesures de centralité (ex. espérance) et de dispersion (ex. variance) 1 f(x) 0.0 0.1

Plus en détail

Cours 2 6 octobre. 2.1 Maximum de vraisemblance pour une loi Gaussienne multivariée

Cours 2 6 octobre. 2.1 Maximum de vraisemblance pour une loi Gaussienne multivariée Introduction aux modèles graphiques 2010/2011 Cours 2 6 octobre Enseignant: Francis Bach Scribe: Nicolas Cheifetz, Issam El Alaoui 2.1 Maximum de vraisemblance pour une loi Gaussienne multivariée Soit

Plus en détail

UV Théorie de l Information. Codes à longueur variable

UV Théorie de l Information. Codes à longueur variable Cours n 5 : UV Théorie de l Information Compression de l information : Codage de source sans distorsion Ex 1 : Code de Shannon Fano Ex 2 : Code de Huffman Ex 3 : Codage par plage Ex 4 : Codage de Lempel

Plus en détail

Quelques clés pour approcher la théorie de l information selon Claude Shannon. Philippe Picard, le 26/04/2010 Page 1

Quelques clés pour approcher la théorie de l information selon Claude Shannon. Philippe Picard, le 26/04/2010 Page 1 Quelques clés pour approcher la théorie de l information selon Claude Shannon Philippe Picard, le 26/04/2010 Page 1 Avant propos La théorie de l information, sans faire appel - du moins dans ses théorèmes

Plus en détail

Arithmétique Algorithmique. http://www.math.univ-lyon1.fr/~roblot/ens.html

Arithmétique Algorithmique. http://www.math.univ-lyon1.fr/~roblot/ens.html Arithmétique Algorithmique http://www.math.univ-lyon1.fr/~roblot/ens.html Partie III Algorithmes classiques 1 Coût de la multiplication et de la division 2 Exponentiation rapide 3 Algorithme d Euclide

Plus en détail

Master IAD Module PS. Reconnaissance de la parole (suite) Modèles de Markov et bases de données. Gaël RICHARD Février 2008

Master IAD Module PS. Reconnaissance de la parole (suite) Modèles de Markov et bases de données. Gaël RICHARD Février 2008 Master IAD Module PS Reconnaissance de la parole (suite) Modèles de Markov et bases de données Gaël RICHARD Février 2008 1 Reconnaissance de la parole Introduction Approches pour la reconnaissance vocale

Plus en détail

Théorie de l information

Théorie de l information Théorie de l information Master 1 Cryptographie Université de Rennes 1 oumar.diao@univ-rennes1.fr Janvier 2012 Introduction Ethymologie : information vient du verbe latin informare qui signifie "donner

Plus en détail

Génération aléatoire de structures ordonnées

Génération aléatoire de structures ordonnées Génération aléatoire de structures ordonnées Olivier Roussel Équipe APR Laboratoire d Informatique de Paris 6 Université Pierre et Marie Curie ALÉA 2011 7 mars 2011 Olivier Roussel (LIP6) Génération de

Plus en détail

UV Théorie de l Information. Introduction

UV Théorie de l Information. Introduction Cours n 1 2 UV Théorie de l Information Introduction à la théorie de l information Caractérisation des sources d information Notions de probabilité (Rappel) Entropie et Information Entropie des sources

Plus en détail

Qu est-ce qu une probabilité?

Qu est-ce qu une probabilité? Chapitre 1 Qu est-ce qu une probabilité? 1 Modéliser une expérience dont on ne peut prédire le résultat 1.1 Ensemble fondamental d une expérience aléatoire Une expérience aléatoire est une expérience dont

Plus en détail

INTRODUCTION À LA THÉORIE DE L INFORMATION POUR LE CODAGE

INTRODUCTION À LA THÉORIE DE L INFORMATION POUR LE CODAGE INTRODUCTION À LA THÉORIE DE L INFORMATION POUR LE CODAGE Master Systèmes de Radiocommunications, année 2007. Version : 2.1. Samson LASAULCE lasaulce@lss.supelec.fr 2 Table des matières 1 Introduction.

Plus en détail

Modèles à Événements Discrets. Réseaux de Petri Stochastiques

Modèles à Événements Discrets. Réseaux de Petri Stochastiques Modèles à Événements Discrets Réseaux de Petri Stochastiques Table des matières 1 Chaînes de Markov Définition formelle Idée générale Discrete Time Markov Chains Continuous Time Markov Chains Propriétés

Plus en détail

Multimédia Rappels. François Cayre Grenoble-INP. F. Cayre (G-INP) Multimédia Rappels / 43

Multimédia Rappels. François Cayre Grenoble-INP. F. Cayre (G-INP) Multimédia Rappels / 43 Multimédia Rappels François Cayre francois.cayre@grenoble-inp.fr Grenoble-INP 2012 2013 F. Cayre (G-INP) Multimédia Rappels 2012 2013 1 / 43 Plan Rappels de probabilités Définitions 1 Rappels de probabilités

Plus en détail

Un corrigé de l épreuve de mathématiques du baccalauréat blanc

Un corrigé de l épreuve de mathématiques du baccalauréat blanc Terminale ES Un corrigé de l épreuve de mathématiques du baccalauréat blanc EXERCICE ( points). Commun à tous les candidats On considère une fonction f : définie, continue et doublement dérivable sur l

Plus en détail

Logique informatique 2013-2014. Examen

Logique informatique 2013-2014. Examen Logique informatique 2013-2014. Examen 30 mai 2013. Durée 3h. Tous les documents sont autorisés. Seuls les résultats du cours peuvent être utilisés sans démonstration. Le barême et la longueur des solutions

Plus en détail

Différentiabilité ; Fonctions de plusieurs variables réelles

Différentiabilité ; Fonctions de plusieurs variables réelles Différentiabilité ; Fonctions de plusieurs variables réelles Denis Vekemans R n est muni de l une des trois normes usuelles. 1,. 2 ou.. x 1 = i i n Toutes les normes de R n sont équivalentes. x i ; x 2

Plus en détail

Modèle probabiliste: Algorithmes et Complexité

Modèle probabiliste: Algorithmes et Complexité Modèles de calcul, Complexité, Approximation et Heuristiques Modèle probabiliste: Algorithmes et Complexité Jean-Louis Roch Master-2 Mathématique Informatique Grenoble-INP UJF Grenoble University, France

Plus en détail

Plan. Codes Correcteurs d Erreurs Les codes cycliques. Division Euclidienne. Définition. Exercice. Marc Chaumont. Exercice.

Plan. Codes Correcteurs d Erreurs Les codes cycliques. Division Euclidienne. Définition. Exercice. Marc Chaumont. Exercice. Plan Codes Correcteurs d Erreurs Les codes cycliques November 12, 2008 1 2 Définition Division Euclidienne Un polynôme à coefficients dans F 2 est une fonction de la forme P(X ) = a 0 + a 1 X + a 2 X 2

Plus en détail

Devoir Surveillé n 5 BTS 2009 groupement B

Devoir Surveillé n 5 BTS 2009 groupement B EXERCICE 1 (12 points) Devoir Surveillé n 5 BTS 2009 groupement B Les trois parties de cet exercice peuvent être traitées de façon indépendante. A. Résolution d une équation différentielle On considère

Plus en détail

Séminaire TEST. 1 Présentation du sujet. October 18th, 2013

Séminaire TEST. 1 Présentation du sujet. October 18th, 2013 Séminaire ES Andrés SÁNCHEZ PÉREZ October 8th, 03 Présentation du sujet Le problème de régression non-paramétrique se pose de la façon suivante : Supposons que l on dispose de n couples indépendantes de

Plus en détail

Probabilités sur un univers fini

Probabilités sur un univers fini [http://mp.cpgedupuydelome.fr] édité le 7 août 204 Enoncés Probabilités sur un univers fini Evènements et langage ensembliste A quelle condition sur (a, b, c, d) ]0, [ 4 existe-t-il une probabilité P sur

Plus en détail

Arbres binaires. Hélène Milhem. Institut de Mathématiques de Toulouse, INSA Toulouse, France IUP SID, 2011-2012

Arbres binaires. Hélène Milhem. Institut de Mathématiques de Toulouse, INSA Toulouse, France IUP SID, 2011-2012 Arbres binaires Hélène Milhem Institut de Mathématiques de Toulouse, INSA Toulouse, France IUP SID, 2011-2012 H. Milhem (IMT, INSA Toulouse) Arbres binaires IUP SID 2011-2012 1 / 35 PLAN Introduction Construction

Plus en détail

Communications numériques

Communications numériques Communications numériques 1. Modulation numérique (a) message numérique/signal numérique (b) transmission binaire/m-aire en bande de base (c) modulation sur fréquence porteuse (d) paramètres, limite fondamentale

Plus en détail

Probabilités. I Petits rappels sur le vocabulaire des ensembles 2 I.1 Définitions... 2 I.2 Propriétés... 2

Probabilités. I Petits rappels sur le vocabulaire des ensembles 2 I.1 Définitions... 2 I.2 Propriétés... 2 Probabilités Table des matières I Petits rappels sur le vocabulaire des ensembles 2 I.1 s................................................... 2 I.2 Propriétés...................................................

Plus en détail

Support du cours de Probabilités IUT d Orléans, Département d informatique

Support du cours de Probabilités IUT d Orléans, Département d informatique Support du cours de Probabilités IUT d Orléans, Département d informatique Pierre Andreoletti IUT d Orléans Laboratoire MAPMO (Bât. de Mathématiques UFR Sciences) - Bureau 126 email: pierre.andreoletti@univ-orleans.fr

Plus en détail

3. Conditionnement P (B)

3. Conditionnement P (B) Conditionnement 16 3. Conditionnement Dans cette section, nous allons rappeler un certain nombre de définitions et de propriétés liées au problème du conditionnement, c est à dire à la prise en compte

Plus en détail

Travaux dirigés d introduction aux Probabilités

Travaux dirigés d introduction aux Probabilités Travaux dirigés d introduction aux Probabilités - Dénombrement - - Probabilités Élémentaires - - Variables Aléatoires Discrètes - - Variables Aléatoires Continues - 1 - Dénombrement - Exercice 1 Combien

Plus en détail

STATISTIQUES. Cours I : Test d hypothèses. Télécom Physique Strasbourg Module 2101. Fabrice Heitz. Octobre 2014

STATISTIQUES. Cours I : Test d hypothèses. Télécom Physique Strasbourg Module 2101. Fabrice Heitz. Octobre 2014 Télécom Physique Strasbourg Module 2101 STATISTIQUES Cours I : Test d hypothèses Fabrice Heitz Octobre 2014 Fabrice Heitz (Télécom PS) Statistiques 2014 1 / 75 Cours I TESTS D HYPOTHÈSES Fabrice Heitz

Plus en détail

M2 IAD UE MODE Notes de cours (3)

M2 IAD UE MODE Notes de cours (3) M2 IAD UE MODE Notes de cours (3) Jean-Yves Jaffray Patrice Perny 16 mars 2006 ATTITUDE PAR RAPPORT AU RISQUE 1 Attitude par rapport au risque Nousn avons pas encore fait d hypothèse sur la structure de

Plus en détail

Quantification Scalaire et Prédictive

Quantification Scalaire et Prédictive Quantification Scalaire et Prédictive Marco Cagnazzo Département Traitement du Signal et des Images TELECOM ParisTech 7 Décembre 2012 M. Cagnazzo Quantification Scalaire et Prédictive 1/64 Plan Introduction

Plus en détail

Cours de Probabilités. Jean-Yves DAUXOIS

Cours de Probabilités. Jean-Yves DAUXOIS Cours de Probabilités Jean-Yves DAUXOIS Septembre 2013 Table des matières 1 Introduction au calcul des probabilités 7 1.1 Espace probabilisable et loi de variable aléatoire........ 8 1.1.1 Un exemple

Plus en détail

Deuxième partie II. Cours 4 à 6 : Construction d estimateurs, Modèle linéaire, Tests et intervalles de confiance

Deuxième partie II. Cours 4 à 6 : Construction d estimateurs, Modèle linéaire, Tests et intervalles de confiance Deuxième partie II Cours 4 à 6 : Construction d estimateurs, Modèle linéaire, Tests et intervalles de confiance (version corrigée, 4 avril 27) Construction d estimateurs 4 Construction d estimateurs Estimateur

Plus en détail

Fonctions de plusieurs variables

Fonctions de plusieurs variables Module : Analyse 03 Chapitre 00 : Fonctions de plusieurs variables Généralités et Rappels des notions topologiques dans : Qu est- ce que?: Mathématiquement, n étant un entier non nul, on définit comme

Plus en détail

Examen d accès - 1 Octobre 2009

Examen d accès - 1 Octobre 2009 Examen d accès - 1 Octobre 2009 Aucun document autorisé - Calculatrice fournie par le centre d examen Ce examen est un questionnaire à choix multiples constitué de 50 questions. Plusieurs réponses sont

Plus en détail

1 Générateurs pseudo-aléatoires.

1 Générateurs pseudo-aléatoires. Université de Provence. Préparation Agrégation. Épreuve de modélisation, option Probabilité-Statistique... Quelques références. Simulation de variables aléatoires. Fabienne CASTELL N. BOULEAU. Probabilités

Plus en détail

Examen du cours de Mesures de risque en finance

Examen du cours de Mesures de risque en finance Examen du cours de Mesures de risque en finance Mercredi 15 Décembre 21 (9h-11h) Seul document autorisé: une feuille A4 manuscrite recto-verso. Important : rédiger sur une même copie les exercices 1 et

Plus en détail

Hélène Desmier ab, Pascale Kuntz a & Ivan Kojadinovic a. Pauc, 44306 Nantes. {prenom.nom}@polytech.univ-nantes.fr

Hélène Desmier ab, Pascale Kuntz a & Ivan Kojadinovic a. Pauc, 44306 Nantes. {prenom.nom}@polytech.univ-nantes.fr Une classification hiérarchique de variables discrètes basée sur l information mutuelle en pré-traitement d un algorithme de sélection de variables pertinentes. Hélène Desmier ab, Pascale Kuntz a & Ivan

Plus en détail

Théorie et codage de l information

Théorie et codage de l information Théorie et codage de l information Canaux discrets - Chapitre 4 - Codage de canal Motivations Dans un système réel, le message reçu par le destinataire peut différer de celui qui rag replacements a été

Plus en détail

1.1 Codage de source et test d hypothèse

1.1 Codage de source et test d hypothèse Théorie de l information et codage 200/20 Cours 8février20 Enseignant: Marc Lelarge Scribe: Marc Lelarge Pour information Page webdu cours http://www.di.ens.fr/~lelarge/info.html Notations Pour des variables

Plus en détail

Probabilités et Statistiques. Feuille 2 : variables aléatoires discrètes

Probabilités et Statistiques. Feuille 2 : variables aléatoires discrètes IUT HSE Probabilités et Statistiques Feuille : variables aléatoires discrètes 1 Exercices Dénombrements Exercice 1. On souhaite ranger sur une étagère 4 livres de mathématiques (distincts), 6 livres de

Plus en détail

Exercices corrigés de probabilités et statistique

Exercices corrigés de probabilités et statistique Exercices corrigés de probabilités et statistique Université Paris 1 Panthéon-Sorbonne Cours de deuxième année de licence de sciences économiques Fabrice Rossi Cette œuvre est mise à disposition selon

Plus en détail

Exercices corrigés, tome 04 : les énoncés

Exercices corrigés, tome 04 : les énoncés Exercices corrigés, tome 4 : les énoncés Table des matières : 1. Applications linéaires, p.2. 2. Variables aléatoires, p.6. 3. Intégrales, p.12. 4. Polynômes, p.16. 1 1 Applications linéaires Exercice

Plus en détail

INF4420: Sécurité Informatique Cryptographie I

INF4420: Sécurité Informatique Cryptographie I INF4420: Cryptographie I José M. Fernandez M-3109 340-4711 poste 5433 Aperçu du module Cryptographie (3 sem.) Définitions et histoire Notions de base (théorie de l'information) Chiffrement Méthodes "classiques"

Plus en détail

Introduction à la programmation en variables entières Cours 3

Introduction à la programmation en variables entières Cours 3 Introduction à la programmation en variables entières Cours 3 F. Clautiaux francois.clautiaux@math.u-bordeaux1.fr Université Bordeaux 1 Bât A33 - Bur 272 Sommaire Notion d heuristique Les algorithmes gloutons

Plus en détail

Fouille de Données et Media Sociaux Cours 2 Master DAC Data Science UPMC - LIP6

Fouille de Données et Media Sociaux Cours 2 Master DAC Data Science UPMC - LIP6 Fouille de Données et Media Sociaux Cours 2 Master DAC Data Science UPMC - LIP6 Ludovic Denoyer 21 septembre 2015 Ludovic Denoyer () FDMS 21 septembre 2015 1 / 1 Contexte Observation La plupart des bonnes

Plus en détail

3. Caractéristiques et fonctions d une v.a.

3. Caractéristiques et fonctions d une v.a. 3. Caractéristiques et fonctions d une v.a. MTH2302D S. Le Digabel, École Polytechnique de Montréal H2015 (v2) MTH2302D: fonctions d une v.a. 1/32 Plan 1. Caractéristiques d une distribution 2. Fonctions

Plus en détail

Seconde Partie. Cours de Mathématiques. Semestre

Seconde Partie. Cours de Mathématiques. Semestre Année 2009-2010 ntégration et Probabilités Seconde Partie Cours de Mathématiques Takéo Takahashi Première Année FICM Semestre Table des matières 5 Indépendance et Convolution 3 5.1 Indépendance..............................................

Plus en détail

Problèmes de fiabilité dépendant du temps

Problèmes de fiabilité dépendant du temps Problèmes de fiabilité dépendant du temps Bruno Sudret Dépt. Matériaux et Mécanique des Composants Pourquoi la dimension temporelle? Rappel Résistance g( RS, ) = R S Sollicitation g( Rt (), St (),) t =

Plus en détail

ACCQ204 4 Jan. 2016. Cours 3. Définition 1 Pour tout entier r 2 un code de Hamming (binaire) a pour matrice de parité H r telle que : 1 0 1 0 1.

ACCQ204 4 Jan. 2016. Cours 3. Définition 1 Pour tout entier r 2 un code de Hamming (binaire) a pour matrice de parité H r telle que : 1 0 1 0 1. ACCQ4 4 Jan 6 Cours 3 Enseignant: Aslan Tchamkerten Crédit: Pierre de Sainte Agathe Code de Hamming Définition Pour tout entier r un code de Hamming (binaire) a pour matrice de parité H r telle que : H

Plus en détail

ENSIL Troisième Année ELT

ENSIL Troisième Année ELT IFORMATIQUE APPLIQUEE TD1 Dans le cadre de ces TD, nous procédons à la simulation d'un système de télécommunication numérique. Cette opération va nous permettre d'étudier la performance du système sous

Plus en détail

Prévention et gestion des risques naturels et environnementaux

Prévention et gestion des risques naturels et environnementaux Prévention et gestion des risques naturels et environnementaux Risque et assurance : quelques éléments théoriques Ecole des Ponts - Le 6 Avril 01 Jacques Pelletan 1 Théorie du risque et pérennité de l

Plus en détail