Codes de symbole. Un codeur (binaire) est une application C : X {0, 1} + Le décodeur D est une application des séquences binaires dans l alphabet X :

Transcription

1 Codes de symbole Un codeur (binaire) est une application C : X {0, 1} + x c(x) Le décodeur D est une application des séquences binaires dans l alphabet X : D : {0, 1} + X c(x) d(c(x))

2 Code (binaire) étendu, C + X i X, i = 1, 2,... C : X {0, 1} + : code de symbole (binaire). Le code étendu C + est : C + : X + {0, 1} + x = x 1 x 2 x n c + (x) = c(x 1 )c(x 2 ) c(x n ). Codes uniquement décodables C : code (de symbole) pour X X C est uniquement décodable si C + est une application inversible: x (n), y (m) X +, x (n) y (m) c + (x (n) ) c + (y (m) ).

3 Codes de préfixe C : code pour X X C est un code de préfixe si aucun mot de code n est le début d un autre mot de code: Si c 2 = c 1 c, où c 1 C(X ), c {0, 1} + c 2 C(X ). C est un code de préfixe C est uniquement décodable. (Par construction, la terminaison de chaque mot de code c(x i ) est bien définie.)

4 Codes de préfixe (binaires) et arbres (binaires) À un code (binaire) de préfixe C nous pouvons toujours associer un arbre binaire, où tous les mots de code se situent sur les feuilles de l arbre. C(X ) = {000, 100, 101, 0010, 0101, 1100, 1111, 00110, 00111, 01000, 01001, 11010, 11011, 11100, 11101}

5 C code de préfixe aucun autre mot de code ne peut être trouvé dans les sous-arbres qui ont comme racine un mot de code (les branches en pointillé dans la Figure)

6 N n l(c) = n c niveau n de l arbre binaire. Le nombre maximal de mots de code de longueur n est N n = 2 n. Nombre de déscendants au niveau n d un noeud du niveau m n est 2 n m.

7 Relation d ordre dans {0, 1} + Choix consistant des étiquettes des branches descendantes (e.g. gauche 0, droite 1) séquences ordonnées par l ordre lexicographique héritée de la relation d ordre dans l alphabet binaire (0 < 1) : c 1, c 2 {0, 1} n c 1 > c 2 i [1, n] : c 1 (j) = c 2 (j), j < i c 1 (i) > c 2 (i) Généralisation à {0, 1} + : Soient c 1 et c 2 {0, 1} n, et c 2 > c 1. Soit c = c 1 c, c {0, 1} m. Alors c 1 < c < c 2.

8 Exemple c 1, c 2 {0, 1} 6 : c 1 = , c 2 = Fixons i = 4. Alors c 1 (j) = c 2 (j), i = 1, 2, 3 et : c 1 (4) = 1 > c 2 (4) = 0. c 1 > c 2. c, c = c 2 c sont plus grandes que c 2, par exemple c = > c 2 = , et plus petites que c 1 : c = < c 1 =

9 Inégalité de Kraft Soient X X une et C un code de symbole (binaire) uniquement décodable pour X. Alors 2 l(c(x)) 1. x X

10 Démonstration Soit l max x X l(c(x)). Il existent 2 n séquences (binaires) distinctes de longueur l. Nombre de descendants de c(x) au niveau l : 2 l l(c(x)). Comme les descendants sont disjoints, nous devons avoir 2 l x X 2 l l(c(x)) x X 2 l(c(x)) 1. kraft

11 Inégalité de et codes de préfixe Soit {n(x) > 0, x X }, des entiers positifs qui vérifient l inégalité de ): 2 n(x) 1. x X Alors, il existe un code de préfixe C avec longueurs l(x) = n(x). (Qui est donc, nécessairement, uniquement décodable.) Nous allons choisir itérativement les mots de code c(x), x X, par ordre lexicographique. Par construction, le code obtenu sera un code de préfixe.

12 Démonstration Admettons que n(x 1 ) n(x 2 ) n(x m ). Fixons : c(x 1 ) = 0 n(x 1) = 0 0 {0, 1} n(x 1), et c(x 2 ) le plus petit succésseur de c(x 1 ) de taille n(x 2 ) : c(x 2 ) = 0 n(x 1) 1 10 n(x 2) n(x 1 ) {0, 1} n(x 2) Pour i = 3,..., X c(x i ) = (n(x 1 )-ème = 1). min c {0,1} n(x i ) descendants {c(x 1 ),... c(x i 1 )}. #{ mots de longeur n i = n(x i ) libres } : 2 n i 2 n i n(x j ) = 2 n i 2 n i 2 n(x j ) j<i j<i n > 2 n i 2 n i 2 n(x j ) > 2 n i 2 n i = 0, (inégalité de Kraft) il existe au moins un mot libre avec longueur n(x i ). j=1

13 Code complet Un code C est complet, si la longueur de ses mots de code satisfait l inégalité de avec égalité 2 l(c(x)) = 1. x X Pour tous les noeuds de l arbre binaire correspondante, soit ils ont les deux descendants soit ils sont des feuilles de l arbre. Exemple d un qui n est pas complet NotComplete

14 Code de Shannon Soit X une, x X, X p. Alors, il existe un code de préfixe avec longueurs l(x) = log 1 p(x) x X. Démonstration Il suffit de vérifier que l inégalité de Kraft est vérifiée: 2 log p(x) = 1. x X 2 log 1/p(x) x X 2 (log 1/p(x)) = x X L inégalité découle du fait que x x.

15 Longueur moyenne, L C Soit C un code de symbole pour la X X. La longueur moyenne de C est L C (X) = x X p(x)l(c(x)).

16 Théorème (codes de symbole) Soit X X, X p, avec entropie H(X). Alors, il existe un code de préfixe C qui code X avec longueur moyenne à moins d un bit de entropie : H(X) L C (X) < H(X) + 1.

17 Démonstration (borne supérieure) L C (X) < H(X) + 1 Il suffit de calculer la longueur moyenne du code de préfixe dont nous avons démontré l existance : L C (X) = p(x) log 1 p(x) < ( p(x) log 1 ) p(x) + 1 x X x X = H(X) + 1. où nous avons utilisé x < x + 1. Le code optimal doit avoir une longueur inférieure ou ègale à celui ci.

18 Redondance La redondance d un code C (de préfixe) par rapport à une X p, X X, est bornée inférieurement par l entropie relative : R = L C (X) H(X) D(p q C ) = x X p(x) log p(x) q C (x), où la loi q C est q C (x) = 2 l(c(x)) x X 2 l(c(x)) x X.

19 Démonstration Soit s = x X 2 l(c(x)) 1, (par l inégalité de Kraft). 2 l(c(x)) = q C (x)s l(c(x)) = log q C (x) log s R = L C (X) H(X) = x X p(x)l(c(x)) x X p(x) log 1 p(x) = x X p(x) log q C (x) log s + x X p(x) log p(x) R = p(x) log p(x) q x X C (x) log s = D(p q C) log s s 1 log s 0 R D(p q C )

20 Démonstration (borne inférieure) H(X) L C (X) Nous venons de voir R = L C (X) H(X) D(p q C ). Comme l entropie relative est toujours non négative R 0 L C (X) H(X) 0 L C (X) H(X).

21 Codes optimaux Pour qu un code C atteigne la longueur moyenne minimale L C (X) = H(X), il faut que log s = 0 s = 1, c est à dire, le code doit être complet et D(p q C ) = 0 q C (x) = p(x), c est à dire, la longueur des mots de code doit satisfaire l(c(x)) = log 1 p(x).

22 Lien entre codes et lois de probabilité Nous avons établi un lien intime entre lois de probabilité et longueurs de codes optimaux : pour une loi p fixée, un ensemble de longueurs optimales peut lui être associé : p l(x) = log 1 p(x), x X. Réciproquement, si nous avons un code C dont les mots ont longueurs l(x), nous pouvons déterminer une loi de probabilité p pour laquelle le code est optimal : C p(x) = 2 l(c(x)) x X. Ce lien sera exploité à travers la notion de Code Universel par le Principe de Longueur de Description Minimale pour résoudre le problème de la sélection de modèles de compléxité différente.

23 (codes de bloc) Soit X une de symboles i.i.d, X i X, X i p. Alors ɛ > 0 il existe un code de bloc C n de longueur moyenne (par symbole ) qui vérifie L Cn (X) H(X) + ɛ.

24 Démonstration Application du Théorème du Source à des blocs de taille n de symboles de la X. L entropie d un ensemble X (n) de n variables i.i.d. est Nous savons que : H(X (n) ) = nh(x). L C (X (n) ) H(X (n) ) + 1 = nh(x) + 1. La longueur par symbole de la est L Cn (X) = L C(X (n) ) n Il suffit donc de prendre n de façon que 1 n ɛ n 1 ɛ, H(X) + 1 n.

25 Soit X = X 0 l alphabet de la, X = m, et p 0 = p sa loi de probabilité. p(a 1 ) p(a 2 ) p(a m ). Soit C un code optimal (de longueur moyenne minimale). Alors si p i > p j l(c i ) l(c j ). C est à dire, les symboles les plus probables correspondent à des mots de code plus courts.

26 Démonstration (Par absurde.) Admettez qu il existent des symboles a i et a j pour lesquels p i p j > 0 et l(c i ) l(c j ) > 0. Nous allons voir que alors le code ne peut pas être optimal. Soit C : a i a j C C a j a i a i a j p i > p j

27 p i p j > 0 l(c i ) l(c j ) > 0 c (a n ) = c(a n ), n i, n j, c (a i ) = c(a j ), c (a j ) = c(a i ) l(c n) = l(c n ), n i, n j, l(c i ) = l(c j), l(c j ) = l(c i) m L C (X) = p n l(c n). n=1 m [ L C (X) L C (X) = p n l(cn ) l(c n) ] n=1 = [ p n l(cn ) l(c n) ] n=i,j ( = p i l(ci ) l(c j ) ) ( + p j l(cj ) l(c i ) ) = ( l(c i ) l(c j ) ) ( ) p i p j > 0 ce qui contrarie l optimalité de C (L C > L C ).

28 Il existe un code C de longueur moyenne minimale tel que l(c 1 ) l(c 2 ) l(c m ). Démonstration Par hypotèse : i > j p i p j Nous venons de voir que C est optimal p i < p j l(c i ) l(c j ) Si p i = p j et l(c i ) < l(c j ) a i a j longueur moyenne n est pas modifiée, et nous obtenons un code qui satisfait l inégalité. Il existe un code optimal C où le mot le plus long est c(a m ).

29 L arbre correspondant à un code optimal C ne possède pas des noeuds internes incomplets. Démonstration(Par absurde) Soit c {0, 1} n un noeud interne. Si les deux descendants de c ne sont pas racines d arbres qui contiennent des mots de C, nous pouvons construir un autre code de taille plus petite.

30 C C c c a j a i a i a j c : noeud interne avec une seule branche descendante C d n l ensemble des descendants de c. Par hypothèse, il existe au moins un c i C d n c i = c b c i, b {0, 1}, c i {0, 1} +, l(c i ) = l(c) l(c i ). C : maintient tous les mots dec, sauf pour c i Cn d : c i = c b c i c i = c c i, c i {0, 1} + C est un code de préfixe, et L c < L C.

31 Il existe un code (binaire) optimal où les mots c m et c m 1 ne difèrent que dans le dernier bit (ils forment un pair de jumeaux ). Démonstration Si c m n a pas de "jumeau" le code n est pas optimal (son prédécesseur serait un noeud interne incomplet). Si C est optimal il doit exister un mot de code c i qui difère de c m uniquement dans le dernier bit l(i) = l(m). Par hypothèse, p i p m 1 p m, l(m 1) = l(i) = l(m) a i a m 1 code de la même longueur qui satisfait la proposition.

32 C code optimal pour X X, X = m, X p = [p 1 p m ] C obtenu à partir de C : c (a i ) = c(a i ), i = 1,..., m 1; c (a m) = c 0, c (a m+1) = c 1 est un code optimal pour X X = {a 1,..., a m 1, a m, a m+1} X p = [p 1..., p m 1, p m, p m+1 ] p m + p m+1 = p m.

33 C C a m a m+1 a m

34 Démonstration (Par absurde) L C (X ) = L C (X) + p m+1 + p m. Soit Q C un autre code, optimal pour X : L Q <L C Q est optimal q m et q m+1 ne difèrent que dans le dernier bit. Soit Q le code pour X X, obtenu en associant à a m le préfixe commun de q m et q m+1 L Q (X) = L Q (X ) ( p m + p m+1). L Q (X)<L C (X ) ( p m + p m+1) = LC (X) Q optimal C ne peut pas être optimal

35 Réduction de X X X, X = m, X p x = a m, y = a m 1 X les deux éléments les moins probables de X Soit X i+1 X i+1, X i+1 p i+1 : X i+1 = X i \{x, y} {x } X o = X, i = 1,..., m 1 [ ] p i+1 = p1 i,..., pi m 1, (pi m 1 + pi m) p 0 = p, i = 1,..., m x : un nouveau symbole x (x, y). X i+1 = X i 1 = m i.

36 Algorithme de Application répétée de la réduction : { {X, p} R 1 X 1, p 1} { R 2 X 2, p 2} { R 3 R m 1 X m 1, p m 1}, Par construction X m 1 = 1 p m 1 = 1. Code optimal pour { X i, p i} Code optimal pour { Xi 1, p i 1}

37 Code de x p(x) a 0.3 b 0.25 c 0.2 d 0.1 e 0.08 f 0.07 X 1 = {a, b, c, x 1, d}, x 1 (e, f ) p 1 = [0.3, 0.25, 0.2, 0.15, 0.1] e x 1 f

38 x p 1 (x) a 0.3 b 0.25 c 0.2 x d 0.1 X 2 = {a, b, c, x 2 }, x 2 (x 1, d) p 2 = [0.3, 0.25, 0.2, 0.25] e x 1 f x 2 d

39 x p 2 (x) a 0.3 b 0.25 x c 0.2 e x 1 f x 2 d x 3 c X 3 = {x 3, a, b}, x 3 (x 2, c) p 3 = [0.45, 0.3, 0.25],

40 x p 3 (x) x a 0.3 b 0.25 x 1 e x 2 f d x 3 c a x 4 b X 4 = {x 4, x 3 }, x 4 (a, b) p 4 = [0.55, 0.45],

41 x p 4 (x) x x d 1 0 c 1 a 0 1 b e f X 4 = {x 5}, x 5 (x 4, x 3 ) p 5 = [1],

42 Code obtenu L C (X) = x {a,,f } x p(x) c(x) l(c(x)) a b c d e f l(c(x))p(x) = 2( ) ( ) = 2.38 bits H(X) = x {a,,f } p(x) log 1 = bits p(x) H(X) < L C (X) H(X) + 1.