Multimédia Rappels. François Cayre Grenoble-INP. F. Cayre (G-INP) Multimédia Rappels / 43

Transcription

1 Multimédia Rappels François Cayre Grenoble-INP F. Cayre (G-INP) Multimédia Rappels / 43

2 Plan Rappels de probabilités Définitions 1 Rappels de probabilités Définitions Variables jointes et indépendance Variables conditionnelles 2 Rappels de statistiques 3 Eléments de théorie de l information F. Cayre (G-INP) Multimédia Rappels / 43

3 Rappels de probabilités Définitions Evénements et mesure de probabilité Définition (Ensemble des possibles) SoitA un ensemble de taille A. A est appelé l ensemble des événements possibles. Soit a i un singleton dea. SoitA i A un sous-ensemble dea. Définition (Mesure de probabilité) P est une mesure de probabilité sura ssi : a i A, 0 P(a i ) 1 ; P(A) = 1 ; Si (A n ) est une suite d événements t.q. i j,a i A j =, alors P ( n=1 A n) = n=1 P(A n). F. Cayre (G-INP) Multimédia Rappels / 43

4 Rappels de probabilités Définitions Variables aléatoires Définition (Variable aléatoire) Une variable aléatoire (v.a.) X est définie par un triplet X = (x,a X, p X ), avec : x : le résultat de l expérience aléatoire (un tirage) ; A X : les valeurs possibles pour x ; p X = { p 1,...,p AX } la loi de probabilité deax. On a alors : Pr[x = a i ] = p i = P(x), (1) et : P(A i ) = a j A i p j. (2) F. Cayre (G-INP) Multimédia Rappels / 43

5 Rappels de probabilités Probabilités (illustration) Définitions Probabilité d occurence des caractères Source : Biographical Essays de Thomas de Quincey Fréquence d'apparition des lettres Fréquence a b c d e f g h i j k l m n o p q r s t u v w x y z F. Cayre (G-INP) Multimédia Rappels / 43

6 Rappels de probabilités Probabilités (illustration) Définitions Probabilité d occurence des caractères Source : Candide de Voltaire Fréquence d'apparition des lettres Fréquence a b c d e f g h i j k l m n o p q r s t u v w x y z F. Cayre (G-INP) Multimédia Rappels / 43

7 Rappels de probabilités Définitions Espérance et variance Définition (Espérance) Soit X = (x,a X, p X ) une v.a. à valeurs réelles (v.a.r.), i.e.a X R. L espérance d une telle v.a. est : E[X] = a i A X a i p i. (3) Définition (Variance) La variance d une v.a.r. est : Var[X] = E [ (X E[X]) 2] = E [ X 2] E[X] 2 =σ 2 X. (4) F. Cayre (G-INP) Multimédia Rappels / 43

8 Plan Rappels de probabilités Variables jointes et indépendance 1 Rappels de probabilités Définitions Variables jointes et indépendance Variables conditionnelles 2 Rappels de statistiques 3 Eléments de théorie de l information F. Cayre (G-INP) Multimédia Rappels / 43

9 Rappels de probabilités Variables jointes et indépendance Variables jointes et indépendance Définition (Variables jointes et indépendance) Soient X = (x,a X, p X ) et Y = (y,b Y, p Y ) deux v.a. La variable jointe X, Y a pour loi de probabilité jointe : P(x, y) = Pr[x = a i et y = b j ]. (5) De plus, X et Y sont indépendantes ssi P(x, y) = P(x)P(y). Définition (Marginalisation) Connaissant P(x, y), on peut obtenir la loi marginale P(y) comme suit : P(y) = P(x, y). (6) x A X F. Cayre (G-INP) Multimédia Rappels / 43

10 Plan Rappels de probabilités Variables conditionnelles 1 Rappels de probabilités Définitions Variables jointes et indépendance Variables conditionnelles 2 Rappels de statistiques 3 Eléments de théorie de l information F. Cayre (G-INP) Multimédia Rappels / 43

11 Rappels de probabilités Variables conditionnelles Variables conditionnelles Définition (Probabilité conditionnelle) Si P(y = b i ) 0, alors la probabilité que x = a i sachant que y = b j s écrit : P(x = a i y = b i ) = P(x = a i, y = b j ). (7) P(y = b j ) Corollaire (Règle de chaînage ou règle du produit) Corollaire (Règle de Bayes) P(x, y) = P(x y)p(y) = P(y x)p(x). (8) P(y x) = P(x y)p(y). (9) P(x) F. Cayre (G-INP) Multimédia Rappels / 43

12 Rappels de probabilités Variables conditionnelles Probabilités conditionnelles (illustration) Probabilités conditionnelles d occurence des caractères Source : Biographical Essays de Thomas de Quincey. a b c d e f g h i j k l m n o p q r s t u v w x y z F. Cayre (G-INP) Fréquence d'apparition des digrammes a b c d e f g h i j k l m n o p q r s t u v w x y z Multimédia Rappels / 43

13 Rappels de probabilités Variables conditionnelles Probabilités conditionnelles (illustration) Probabilités conditionnelles d occurence des caractères Source : Candide de Voltaire. Fréquence d'apparition des digrammes a b c d e f g h i j k l m n o p q r s t u v w x y z a b c d e f g h i j k l m n o p q r s t u v w x y z F. Cayre (G-INP) Multimédia Rappels / 43

14 Plan Rappels de statistiques Test d hypothèse binaire de Neyman-Pearson 1 Rappels de probabilités 2 Rappels de statistiques Test d hypothèse binaire de Neyman-Pearson Estimation paramétrique (ML, MAP) 3 Eléments de théorie de l information F. Cayre (G-INP) Multimédia Rappels / 43

15 Rappels de statistiques Test d hypothèse binaire de Neyman-Pearson Hypothèses nulle et alternative Hypothèse nulleh 0 Hypothèse par défaut sur une expérience. Ne peut jamais être prouvée. Ne peut être qu éventuellement rejetée. Ex : un contenu multimédia n est pas tatoué. Hypothèse alternativeh 1 Hypothèse rivale de l hypothèse nulle, souvent sa négation. Ex : un contenu multimédia est tatoué. F. Cayre (G-INP) Multimédia Rappels / 43

16 Rappels de statistiques Test d hypothèse binaire de Neyman-Pearson Probabilités d erreur et de fausse alarme Définition (Erreur) AccepterH 0 alors queh 1 est vraie. La probabilité d erreur est notée Pe. Définition (Fausse alarme) AccepterH 1 alors queh 0 est vraie. La probabilité de fausse alarme est notée P fa. Définition (Courbe ROC Receiver Operating Characteristic) La courbe ROC est : 1 Pe = f(p fa ). F. Cayre (G-INP) Multimédia Rappels / 43

17 Rappels de statistiques Test d hypothèse binaire de Neyman-Pearson En pratique Nécessité de modéliserh 0 eth 1 On cherche à savoir si une valeur de test t provient du modèle de H 0 ou de celui deh 1. Choix d un seuilτ Pe = Pr[t<τ H 1 ] ; P fa = Pr[t>τ H 0 ]. Application en tatouage : minimiser P fa On préfère laisser passer quelques pirates plutôt qu accuser un innocent à tort. F. Cayre (G-INP) Multimédia Rappels / 43

18 Rappels de statistiques Test d hypothèse binaire de Neyman-Pearson Modélisation gaussienne deh 0 eth 1 Résultats Soit P(x H 0 ) N(µ 0,σ 2 0 ) et P(x H 1) N(µ 1,σ 2 1 ). Pe(τ) = P fa (τ) = τ + τ 1 (x µ 1)2 2σ e 1 2 dx (10) 2πσ1 2 1 (x µ 0)2 2σ e 0 2 dx (11) 2πσ0 2 (12) $ man 3 erfc F. Cayre (G-INP) Multimédia Rappels / 43

19 Rappels de statistiques Test d hypothèse binaire de Neyman-Pearson Modélisation gaussienne deh 0 eth Test d'hypothèse de Neyman-Pearson H 0 H P eτ P fa F. Cayre (G-INP) Multimédia Rappels / 43

20 Plan Rappels de statistiques Estimation paramétrique (ML, MAP) 1 Rappels de probabilités 2 Rappels de statistiques Test d hypothèse binaire de Neyman-Pearson Estimation paramétrique (ML, MAP) 3 Eléments de théorie de l information F. Cayre (G-INP) Multimédia Rappels / 43

21 Rappels de statistiques Estimation paramétrique (ML, MAP) Probabilité vs. vraisemblance Sachant... On peut aussi lire P(x y) comme : P(x, y) avec le paramètre y fixé. Définition (Vraisemblance des données) Soit P(x 0,..., x N 1 θ), avec des x i i.i.d. observés en fonction deθ. Si l on laisse libreθmais qu on fixe les x i, alors on note : L(θ x 0,..., x N 1 ) = P(x 0,...,x N 1 θ) = i P(x i θ) la vraisemblance des données par rapport au paramètreθ. Log-vraisemblance (on préfère les sommes...) logl(θ x 0,...,x N 1 ) = i log P(x i θ). (13) F. Cayre (G-INP) Multimédia Rappels / 43

22 Rappels de statistiques Estimation paramétrique (ML, MAP) Maximum de vraisemblance (ML) Hypothèse Les données observées sont issues d un modèle paramétré parθ. Définition (Estimateur du maximum de vraisemblance) Le paramètre ˆθ qui explique le mieux les données est t.q. : ˆθ ML = argmax θ logl(θ x 0,..., x N 1 ). (14) Lorsque c est possible, on procède par annulation de la dérivée : logl(θ x 0,...,x N 1 ) θ = 0. (15) Sinon, on doit procéder par optimisation numérique. F. Cayre (G-INP) Multimédia Rappels / 43

23 Rappels de statistiques Estimation paramétrique (ML, MAP) Maximum a posteriori (MAP) Observation sur le maximum de vraisemblance On ne sait rien, ou on ne veut rien savoir surθ... Définition (Estimateur du Maximum a posteriori (MAP)) Si l on suppose queθ g, alors on peut intégrer cette information pour obtenir l estimateur du maximum a posteriori : ˆθ MAP = argmax θ logl(θ x 0,...,x N 1 )g(θ). (16) MAP = régularisation du ML (qui est un MAP avec un g uniforme). Calcul De manière analytique si P et g sont de la même famille ; Sinon, par optimisation numérique. F. Cayre (G-INP) Multimédia Rappels / 43

24 Plan Eléments de théorie de l information Quantité d information 1 Rappels de probabilités 2 Rappels de statistiques 3 Eléments de théorie de l information Quantité d information Entropie Redondance Entropie jointe Divergence de Kullback-Leibler Entropie conditionnelle et information mutuelle F. Cayre (G-INP) Multimédia Rappels / 43

25 Eléments de théorie de l information Quantité d information Quantité d information Définition (Quantité d information) Soit X = (x,a X, p X ) une v.a. La quantité d information (de Hartley) associée à la réalisation x = a i est : Notes h i (x) = log 2 p i. (17) La quantité d information se mesure en bits (logarithme à base 2). Autres unités (moins usitées) : nats digits logarithme naturel logarithme à base dix F. Cayre (G-INP) Multimédia Rappels / 43

26 Eléments de théorie de l information Quantité d information Quantité d information (illustration) Quantité d information des caractères Source : Biographical Essays de Thomas de Quincey. 14 Quantité d'information des lettres Quantité d'information a b c d e f g h i j k l m n o p q r s t u v w x y z F. Cayre (G-INP) Multimédia Rappels / 43

27 Eléments de théorie de l information Quantité d information Quantité d information (illustration) Quantité d information des caractères Source : Candide de Voltaire. 14 Quantité d'information des lettres Quantité d'information a b c d e f g h i j k l m n o p q r s t u v w x y z F. Cayre (G-INP) Multimédia Rappels / 43

28 Eléments de théorie de l information Quantité d information Quantité d information vs. probabilités Quantités d information vs. probabilités d occurence des caractères Source : Biographical Essays de Thomas de Quincey. 11 Quantité d'information des lettres 10 9 Quantité d'information [bits] Probabilité F. Cayre (G-INP) Multimédia Rappels / 43

29 Plan Eléments de théorie de l information Entropie 1 Rappels de probabilités 2 Rappels de statistiques 3 Eléments de théorie de l information Quantité d information Entropie Redondance Entropie jointe Divergence de Kullback-Leibler Entropie conditionnelle et information mutuelle F. Cayre (G-INP) Multimédia Rappels / 43

30 Eléments de théorie de l information Entropie Entropie (définition) Définition (Entropie) L entropie H d une v.a. X est l espérance de la quantité d information : H(X) = E[h(X)] = p i p X p i log 2 p i. (18) H(X) est le nombre moyen de bits à dépenser pour coder une réalisation de x. Notes lim x 0 + x log x = 0 ; H(X) est aussi une mesure du degré de désordre ou d incertitude de la v.a. F. Cayre (G-INP) Multimédia Rappels / 43

31 Eléments de théorie de l information Entropie Entropie (propriétés) L entropie est positive H(X) 0 ; L entropie est nulle ssi un seul événement est certain. L entropie est bornée H(X) log 2 A X ; Si i, p i = 1 A X, alors H(X) = log 2 A X. C est la loi uniforme qui maximise l entropie. F. Cayre (G-INP) Multimédia Rappels / 43

32 Plan Eléments de théorie de l information Redondance 1 Rappels de probabilités 2 Rappels de statistiques 3 Eléments de théorie de l information Quantité d information Entropie Redondance Entropie jointe Divergence de Kullback-Leibler Entropie conditionnelle et information mutuelle F. Cayre (G-INP) Multimédia Rappels / 43

33 Eléments de théorie de l information Redondance Redondance Définition (Redondance) La redondance R d une v.a. X exprime le rapport entre l entropie et sa borne supérieure : R(X) = 1 H(X) log 2 A X. (19) Notes Un algorithme de compression veut éliminer la redondance. Un code correcteur d erreurs va artificiellement rajouter de la redondance. D abord on compresse, ensuite on s occupe des erreurs... F. Cayre (G-INP) Multimédia Rappels / 43

34 Eléments de théorie de l information Entropie et redondance Redondance Mesures Source : Biographical essays de Thomas de Quincey. Entropie Redondance bits bits F. Cayre (G-INP) Multimédia Rappels / 43

35 Plan Eléments de théorie de l information Entropie jointe 1 Rappels de probabilités 2 Rappels de statistiques 3 Eléments de théorie de l information Quantité d information Entropie Redondance Entropie jointe Divergence de Kullback-Leibler Entropie conditionnelle et information mutuelle F. Cayre (G-INP) Multimédia Rappels / 43

36 Eléments de théorie de l information Entropie jointe et indépendance Entropie jointe Définition (Entropie jointe) L entropie jointe de deux v.a. X = (x,a X, p X ) et Y = (y,b Y, p Y ) est : H(X, Y) = P(x, y)log P(x, y). (20) (x,y) A X B Y Corollaire (Cas de deux v.a. indépendantes) Si X et Y sont deux v.a. indépendantes, alors : H(X, Y) = H(X)+H(Y). (21) Propriété 0 H(X) H(X, Y) H(X)+H(Y). (22) F. Cayre (G-INP) Multimédia Rappels / 43

37 Plan Eléments de théorie de l information Divergence de Kullback-Leibler 1 Rappels de probabilités 2 Rappels de statistiques 3 Eléments de théorie de l information Quantité d information Entropie Redondance Entropie jointe Divergence de Kullback-Leibler Entropie conditionnelle et information mutuelle F. Cayre (G-INP) Multimédia Rappels / 43

38 Eléments de théorie de l information Divergence de Kullback-Leibler Divergence de Kullback-Leibler (définition) Définition (Divergence de Kullback-Leibler) Soient P et Q deux lois de probabilités définies sur le même ensemblea. La divergence de Kullback-Leibler s écrit : D KL (P Q) = x P(x)log 2 P(x) Q(x). (23) On peut, par exemple, utiliser la divergence de Kullback-Leibler comme une mesure de la perte induite, en espérance et en bits par symbole, lorsque l on emploie un modèle sous-optimal (Q) pour coder une v.a. connue (P). La divergence de Kullback-Leibler est aussi appelée entropie relative. F. Cayre (G-INP) Multimédia Rappels / 43

39 Eléments de théorie de l information Divergence de Kullback-Leibler Divergence de Kullback-Leibler (propriétés) Corollaire (Inégalité de Gibbs) D KL (P Q) 0. (24) Notes P = Q D KL (P Q) = 0 ; En général, D KL (P Q) D KL (Q P). La divergence de Kullback-Leibler n est donc pas une distance. F. Cayre (G-INP) Multimédia Rappels / 43

40 Plan Eléments de théorie de l information Entropie conditionnelle et information mutuelle 1 Rappels de probabilités 2 Rappels de statistiques 3 Eléments de théorie de l information Quantité d information Entropie Redondance Entropie jointe Divergence de Kullback-Leibler Entropie conditionnelle et information mutuelle F. Cayre (G-INP) Multimédia Rappels / 43

41 Eléments de théorie de l information Entropie conditionnelle et information mutuelle Entropie conditionnelle Définition (Entropie conditionnelle) H(Y X) = H(X, Y) H(X). (25) Interprétation Si l on connait X, alors on n a besoin que de H(Y X) bits pour coder H(X, Y). F. Cayre (G-INP) Multimédia Rappels / 43

42 Eléments de théorie de l information Entropie conditionnelle et information mutuelle Information mutuelle Définition (Information mutuelle) L information mutuelle I(X; Y) entre deux v.a. X et Y vaut : I(X;Y) = H(X)+H(Y) H(X, Y) = H(X) H(X Y) = H(Y) H(Y X). (26) Interprétation I(X; Y) capture l information que Y apporte au sujet de X. Propriétés 0 I(X;Y) = I(Y;X). (27) De plus : I(X;Y) = 0 X et Y sont indépendantes. (28) F. Cayre (G-INP) Multimédia Rappels / 43

43 Eléments de théorie de l information Entropie conditionnelle et information mutuelle Théorème du traitement de données Théorème (Traitement de données) Soit une chaîne X Y Z de traitement de l information. Alors : I(X;Z) I(X;Y). (29) Interprétation Aucun traitement de données seul ne peut faire surgir de l information. Vous pouvez arrêter de regarder Les Experts. Par contre, injecter de la connaissance a priori peut aider... F. Cayre (G-INP) Multimédia Rappels / 43