Mémento de théore de l nformaton Glles Zémor 6 octobre 204 0 Rappels de probabltés Espaces probablsés. Un espace probablsé (Ω, P ) est un ensemble Ω mun d une mesure de probablté P qu est, lorsque Ω est fn, une applcaton telle que : P (Ω) = P(Ω) [0, ] s A, B Ω avec A B =, alors P (A B) = P (A) + P (B). Les partes de Ω sont appelés événements. L événement complémentare de A, noté A ou A c, est l événement Ω \ A. Sa probablté est P (A). Lorsque ω Ω, on écrt P (ω) plutôt que P ({ω}). On dt que la probablté P est la probablté unforme s pour tout ω Ω, P (ω) = / Ω. Probabltés condtonnelles, événements ndépendants. Pour deux événements quelconques A, B, on défnt la probablté de A sachant B : P (A B) = P (A B)/P (B). S P (A B) = P (A), ou encore P (A B) = P (A)P (B), on dt que les événements A et B sont ndépendants. La foncton P ( B) munt B d une structure d espace probablsé. La formule de Bayes exprme la probablté P (A) en foncton des probabltés P (A B) et P (A B c ) : P (A) = P (A B)P (B) + P (A B c )( P (B)). Exemple (Exercce) : un étudant répond à un questonnare à chox multples. On propose m réponses à chaque queston. On suppose que lorsque l étudant ne
connat pas la réponse l coche une case au hasard unformément. S on observe une proporton x de bonnes réponses, on souhate évaluer la proporton y de questons auxquelles l étudant connat effectvement la réponse. On appelle C l événement «l étudant connat la réponse» et R l événement «l étudant répond correctement». Il s agt d évaluer y = P (C) en foncton de x = P (R) et de m. Varables aléatores, lo. Une varable aléatore est une applcaton : X : Ω R n. Lorsque n = on parle de varable (aléatore) réelle. Pour E R n, on note P (X E) = P (X (E)) et P (X = x) = P (X (x)). S on note X l mage de X, on appelle la lo de X la donnée des P (x) lorsque x décrt X. On dt que X sut la lo unforme s P (X = x) = / X pour tout x X. Une varable est dte de Bernoull s X = {0, }. On parle également de varable ndcatrce de l événement A Ω, et on la note A, la varable de Bernoull défne par A (ω) = s et seulement s ω A. Deux varables X, Y : Ω X sont dtes ndépendantes s pour tous x, y X, P (X = x, Y = y) = P (X = x)p (Y = y) où {X = x, Y = y} désgne l ntersecton des événements {X = x} et {Y = y}. De même, s X, X 2,..., X n sont n varables Ω X, on dt qu elles sont ndépendantes (dans leur ensemble) s pour tous x, x 2,..., x n, on a : P (X = x, X 2 = x 2,..., X n = x n ) = P (X = x )P (X 2 = x 2 ) P (X n = x n ). Attenton à ne pas confondre l ndépendance deux à deux de n varables (X est ndépendant de X j pour tous, j, j) avec l ndépendance dans leur ensemble : s X et X 2 sont deux varables ndépendantes, alors les tros varables X, X 2, X 3 = X + X 2 sont ndépendantes deux à deux mas pas dans leur ensemble. Espérance. L espérance d une varable aléatore X, notée E [X] est la quantté : E [X] = ω Ω X(ω)P (ω) = x X xp (X = x). On remarque que lorsque X est une varable de Bernoull E [X] = P (X = ). Il vent drectement de la défnton de l espérance : 2
Théorème S X, Y sont deux varables aléatores, E [X + Y ] = E [X] + E [Y ]. Par alleurs, s λ est une constante réelle on a E [λx] = λe [X]. L addtvté de l espérance la rend plus facle à calculer que des probabltés. La méthode-type pour calculer l espérance d une varable X à valeurs dans N (varable aléatore de comptage) est de décomposer X en somme de varables aléatores de Bernoull. Exemple : calcul du nombre moyen de ponts fxes d une permutaton aléatore unforme. Sot Ω l ensemble des permutatons sur l ensemble à n éléments [n] = {, 2,..., n}, mun de la probablté unforme. Sot X le nombre de ponts fxes de la permutaton aléatore, c est-à-dre : X(ω) = #{ [n], ω() = }. On souhate calculer E [X]. On défnt X comme la varable de Bernoull telle que X (ω) = s et seulement s est un pont fxe de ω. On a alors : X = X + X 2 + + X n. Il nous sufft donc de trouver E [X ] = P (X = ) et d applquer l addtvté de l espérance. Or l vent faclement que P (X = ) = (n )!/n! = /n. D où : E [X] =. Varance. La covarance de deux varables X, Y est défne par : cov(x, Y ) = E [(X E [X])(Y E [Y ])] = E [XY ] E [X] E [Y ]. La varance d une varable X est défne par : var(x) = cov(x, X) = E [ (X E [X]) 2] = E [ X 2] E [X] 2. L écart-type de la varable X est la racne carrée de sa varance : σ(x) = var(x). Le théorème suvant, appelé négalté de Tchebtchev (Chebychov), justfe l appelaton d écart-type en affrmant qu l est très mprobable qu une varable X s écarte de E [X] de beaucoup plus que σ(x) : Théorème 2 P ( X E [X] ε) var(x) ε 2. Preuve : Il est très fréquent d essayer de transformer le calcul d une probablté en le calcul d une espérance, plus facle. P [ X E [X] > ε] = E [ [ ] ] X E [X] 2 X E[X] >ε E X E[X] >ε [ ] X E [X] 2 E ε 2 = var(x) ε 2. ε 2 3
Lemme 3 S X et Y sont deux varables réelles ndépendantes alors Preuve : E [XY ] = E [X] E [Y ]. E [X] E [Y ] = x xp (X = x) y yp (Y = y) = x,y = x,y = z = z xyp (X = x)p (Y = y) et par ndépendance de X, Y, xyp (X = x, Y = y) z P (X = x, Y = y) x,y,xy=z zp (XY = z) car {XY = z} = x,y,z=xy {X = x, Y = y} et cette réunon est dsjonte. Corollare 4 S X, X 2,..., X n alors sont n varables ndépendantes deux à deux, var(x + X 2 + + X n ) = var(x ) + var(x 2 ) + + var(x n ). Preuve : var(x + + X n ) = E [ (X + X 2 + + X n ) 2] E [X + X 2 + X n ] 2 = E [ (X + + X n ) 2] (E [X ] + + E [X n ]) 2 [ = E X 2 + + Xn 2 + 2 ] X X j <j (E [X ] 2 + + E [ ] Xn 2 + 2 E [X ] E [X j ]) = = = <j n (E [ ] X 2 E [X ] 2 ) + 2 (E [X X j ] E [X ] E [X j ]) <j = n (E [ ] X 2 E [X ] 2 ) = n var(x ). = 4
Grandeurs nformatonnelles Sot X une varable aléatore prenant ses valeurs dans l ensemble fn X à m éléments. Sot p la lo de X, c est-à-dre la donnée des P (X = x). On écrra ndfféremment p(x) pour désgner P (X = x), ou p = (p... p m ) s l on convent que X = {x,... x m } et que p = P (X = x ). L entrope de X ne dépend que de sa lo p et est défne par m P (X = x) log 2 P (X = x) = p log 2. p x X On la note ndfféremment H(X) ou H(p). S X et Y sont deux varables aléatores, alors le couple (X, Y ) est auss une varable aléatore et on défne l entrope jonte H(X, Y ) tout smplement comme l entrope du couple (X, Y ), sot = H(X, Y ) = x,y P (X = x, Y = y) log 2 P (X = x, Y = y). On défnt la «dstance» (ou dvergence) de Kullback entre deux los p et q par D(p q) = x p(x) log 2 p(x) q(x). Lemme 5 On a D(p q) 0 et D(p q) = 0 s et seulement s p = q. Preuve : Pour tout réel z 0 on a ln z z. On en dédut ln q(x) p(x) q(x) p(x) et en sommant sur x, p(x) ln q(x) p(x) p(x) ln p(x) q(x) x X q(x) p(x) p(x) q(x) p(x) ln p(x) q(x) D(p q) 0. 5
Corollare 6 L entrope d une varable aléatore X prenant m = X valeurs est maxmale lorsqu elle est de lo unforme et l on a alors H(X) = log 2 m. Preuve : L entrope de la lo unforme vaut Pour tout autre lo p on a m = m log 2 m = log 2 m. log 2 m H(p) = log 2 m = = m p log 2 = m p log 2 m + = m p log 2 p m = = D(p /m) 0. p m p log 2 p = Voc un autre exemple de maxmsaton de l entrope dans le cas d une varable prenant une nfnté de valeurs. Proposton 7 Parm les varables à valeurs dans N d espérance fne donnée µ, l entrope maxmale est attente pour les varables de lo géométrque d espérance µ. Preuve : La lo géométrque Γ de paramètre γ est défne par P (X = ) = ( γ)γ et son espérance vaut Son entrope vaut : µ = ( γ) γ = = γ ( γ). H(Γ) = ( γ)γ log 2 ( γ)γ N = log 2 ( γ)γ + log γ 2 ( γ)γ γ N = log 2 γ + µ log 2 γ 6 N
Sot mantenant une lo quelconque p sur N d espérance µ, c est-à-dre telle que N p = µ, on a : H(Γ) H(p) = log 2 γ + µ log 2 = log 2 γ = N = N N γ + p log 2 p N p + log 2 p + p log γ 2 p N N ) p ( log 2 γ + log 2 p log 2 γ + log 2 p p = D(p Γ) 0. ( γ)γ Étant données deux varables X et Y, on défnt l entrope condtonnelle H(X Y ) = x,y = y P (X = x, Y = y) log 2 P (X = x Y = y) P (Y = y) x P (X = x Y = y) log 2 P (X = x Y = y). Proposton 8 On a : H(X, Y ) = H(Y ) + H(X Y ). Preuve : On a : H(Y ) = y = x,y P (Y = y) log 2 P (Y = y) P (X = x, Y = y) log 2 P (Y = y) donc H(Y ) + H(X Y ) = x,y P (X = x, Y = y) log 2 P (Y = y)p (X = x Y = y) = P (X = x, Y = y) log 2 P (X = x, Y = y) x,y = H(X, Y ). 7
Enfn on défnt l nformaton mutuelle entre deux varables X et Y par I(X, Y ) = H(X) + H(Y ) H(X, Y ). D après la proposton 8 on a I(X, Y ) = H(X) H(X Y ) = H(Y ) H(Y X). Proposton 9 L nformaton mutuelle est postve. On a toujours I(X, Y ) 0. Preuve : En écrvant H(X) = x,y H(Y ) = x,y P (X = x, Y = y) log 2 P (X = x) P (X = x, Y = y) log 2 P (Y = y) on obtent I(X, Y ) = H(X) + H(Y ) H(X, Y ) = P (X = x, Y = y) P (X = x, Y = y) log 2 P (X = x)p (Y = y) x,y = D(p(X, Y ) p(x)p(y )) 0. Entrope et coeffcents bnomaux Dans le cas d une lo de Bernoull p = (λ, λ), on notera souvent h(λ) = h 2 (λ) l entrope H(p) de la lo p. La foncton d une varable réelle h : [0, ] [0, ] x h(x) = x log 2 x 2 est appelée entrope bnare. Cette foncton est très utle pour évaluer le comportement asymptotque des coeffcents bnomaux : Lemme 0 Pour tout λ /2 on a la majoraton ( ) n 2 nh(λ). () Pour λ /2 on a : λn λn x ( ) n 2 nh(λ). (2) 8
Preuve : Notons que () se dédut de (2) par les égaltés ( ) ( n = n n ). Pour démontrer (2) écrvons, pour tout r 0, ce qu donne ( + 2 r ) n = n ( ) n 2 r ( ) n 2 r 2 λnr λn =0 Posons mantenant r = log 2 λn ( ) n ( λ λ λn λ λ ( ) n 2 λnr ( + 2 r ) n. λnr ( ) n, 0 pour tout λ /2. On obtent ) λn ( + λ ) n = λ ( ) λn ( ) n λn = 2 nh2(λ). λ λ Le lemme 0 nous donne en partculer la majoraton ( n λn) 2 nh 2 (λ). On peut obtenr une majoraton plus fne grâce à la formule de Strlng, dont une des formes s énonce : ( n ) n ( 2πn e 2n+ n ) n n! 2πn e 2n. e e Applquée au coeffcent bnomal ( ) n = λn n! (λn)!(n λn)!, on obtent : ( ) n λn 2πλ( λ)n 2 nh(λ). (3) H(X) = H(p) = p log 2 p. D(p q) = p log 2 p q 0. À retenr L entrope d une lo prenant m valeurs est maxmsée pour la lo unforme et son maxmum vaut log 2 m. 9
H(X Y ) = x,y = y P (X = x, Y = y) log 2 P (X = x Y = y) P (Y = y) x H(X, Y ) = H(Y ) + H(X Y ). H(X Y ) H(X). P (X = x Y = y) log 2 P (X = x Y = y). I(X, Y ) = H(X) + H(Y ) H(X, Y ) = H(X) H(X Y ) I(X, Y ) 0. = H(Y ) H(Y X). Pour démontrer une négalté nformatonnelle, penser à la transformer en une expresson du type D(p q) 0. 2 Pars et dstance de Kullback On consdère une course à m chevaux numérotés, 2,..., m. Le cheval a une probablté p de gagner la course. Une mse de e sur le cheval rapporte au pareur une somme de g euros. Supposons que le pareur dspose d une somme de S 0 euros et qu l décde de la répartr suvant une lo π = (π, π 2,..., π m ), c est-à-dre qu l mse S 0 π k sur le cheval k. Sot X le numéro du cheval gagnant : le pareur dspose donc, après la course, de la somme S = S 0 π X g X. Quelle est la melleure stratége π pour parer? S on calcule l espérance de S on obtent : E [S ] = S 0 m k= p k π k g k. On peut être tenté de maxmser cette quantté, mas cec veut dre que le pareur mse tout (π k = ) sur le cheval k qu maxmse p k g k. S le cheval k ne gagne pas, le pareur a tout perdu. Une autre stratége apparat s on suppose que l on pusse jouer pendant n courses successves, ndépendantes et dentquement dstrbuées. Appelons X, X 2,..., X n les numéros des chevaux gagnants des courses 0
, 2,..., n. Au bout des n courses le pareur dspose de la somme S n = S 0 n = D(X ) où l on a noté D(X) = π X g X. On peut écrre : n log S n = n log S 0 + n n log D(X ) et la lo des grands nombres nous dt que n log S n converge vers la quantté : = W (p, π) = E [log D(X)] = m p k log π k g k. k= En d autres termes, après n courses le pareur dspose d une somme nw (p,π) S n 2 et l on vot que le problème du pareur est donc de chosr la lo π afn de La soluton optmale est donnée par : Maxmser la quantté W (p, π) Théorème La lo π = p maxmse la valeur de W (p, π) et l on a W (p) = W (p, p) = m p k log g k H(p). k= Preuve : W (p, π) = = = m p k log π k g k k= m π k p k log g k p k p k m p k log g k H(p) D(p π). k= k= Or D(p π) 0 et D(p π) = 0 s et seulement s π = p, d où le résultat.
En pratque on ne connat pas forcément la lo p et on ne sat pas chosr π = p exactement. Consdérons le cas partculer où les gans (g k ) sont dstrbués équtablement, c est-à-dre que l on a : m k= g k =. Posons r = (r k ) et r k = /g k, on peut écrre : W (p, π) = = m p k log π k g k k= m k= p k log p k r k π k p k = D(p r) D(p π). Cec s nterprète ans : le pareur réusst à obtenr un taux de crossance W (p, π) postf lorsqu l son estmaton π de la lo p est melleure que l estmaton r de p fate par l organsateur de la course. 3 Codage de source. Compresson Un code (compressf) est un ensemble fn de mots C {0, }. La longueur l(c) d un mot c C est le nombre de symboles bnares qu consttuent le mot c. Un codage d une varable aléatore X prenant ses valeurs dans X est une applcaton c : X C. Une sute X... X n de copes ndépendantes de même lo que X se tradut par une sute de symboles de X. Elle se tradut, par concaténaton, en une sute de mots de C, qu elle-même se tradut en une sute de symboles bnares. En d autres termes l applcaton X C donne nassance, par concaténaton, à l applcaton c : X C. Le code C est dt unquement déchffrable s toute sute bnare de C se décompose de manère unque en une concaténaton de mots de C. Par exemple le code C = {0, 0} est unquement déchffrable, mas C = {0, 0, 00} ne l est pas, car 000 = 0 00 = 0 0 0. À une varable aléatore X et son codage par c, on assoce sa longueur moyenne l(c) égale au nombre moyen de chffres bnares par symbole de X codé l(c) = E [l(c(x))] = x X P (X = x)l(c(x)). 2
Exemple. Sot X = {, 2, 3, 4} et sot X à valeurs dans X de lo p = /2, p 2 = /4, p 3 = /8, p 4 = /8 où p = P (X = ). On consdère le codage défn par c() = 0 c(2) = 0 c(3) = 0 c(4) =. On a : l = 2 + 4 2 + 8 2 + 8 3 = 4 8. On constate que l(c) = H(X). 3. Codes préfxes et codes unquement déchffrables Parm les codes unquement déchffrables on dstngue les codes préfxes. Un code est dt préfxe s aucun de ses mots n est le préfxe d un autre mot de code. Il est clar qu un code préfxe est unquement déchffrable. Il exste, par contre des codes unquement déchffrables qu ne sont pas préfxes, par exemple {0, 0}, ou encore {0,, 00}. Un code préfxe peut être décrt par un arbre bnare dont les feulles sont assocées aux mots du code, comme llustré sur la fgure. 0 0 0 Fgure L arbre assocé au code préfxe {0, 0, 0, } Proposton 2 (Inégalté de Kraft) Sot X = {, 2,..., m} et sot l... l m une sute d enters postfs. Il exste un code préfxe C et un encodage c : X C tels que l(c()) = l, s et seulement s m 2 l. = 3
Preuve : Sot C un code préfxe à m mots de longueurs l,..., l m. Supposons d abord que tous les l sont égaux à une même longueur l. Comme les mots de code sont assocés aux feulles d un arbre bnare, le code C a au maxmum 2 l mots et l négalté de Kraft m2 l est clarement satsfate. Supposons mantenant que la longueur des mots n est plus constante. Sot l = l max la longueur maxmale d un mot. Consdérons un mot de longueur assocé à une feulle de l arbre de profondeur. Remplaçons cette feulle par un arbre bnare de profondeur l à 2 l feulles. On constate que 2 l 2 l = 2 de telle sorte que la valeur de la somme m = 2 l est nchangée s l on remplace l arbre assocé à C par un arbre de profondeur constante l en développant chaque sommet jusqu à la profondeur l. On est ans ramené au cas précédent. La récproque se démontre par un rasonnement analogue. La proposton précédente reste vrae s l on remplace l hypothèse «préfxe» par l hypothèse plus fable «unquement déchffrable». Théorème 3 (McMllan) Sot X = {, 2,..., m} et sot l... l m une sute d enters postfs. Il exste un code unquement déchffrable C et un encodage c : X C tels que l(c()) = l, s et seulement s m 2 l. = Preuve : S une dstrbuton de longueurs (l ) satsfat l négalté de Kraft nous savons déjà qu l exste un code préfxe, donc unquement déchffrable, de dstrbuton (l ). Sot mantenant un code C unquement déchffrable. Notons C k l ensemble des sutes bnares obtenues par concaténaton d exactement k mots de C. S c = c c 2... c k est la concaténaton des k mots c,... c k de C on a l(c) = l(c ) + + l(c k ) et donc, par unque déchffrablté, ( ) k 2 l(c) = c C c...c k C = c C k 2 l(c) 2 l(c ) l(c k ) pusque chaque mot de C k est assocé à exactement une sute de k mots de C dont l est la concaténaton. La longueur maxmale l(c) d un mot de C k est kl max 4
où l max est la longueur maxmale d un mot de C. On a donc ( ) k 2 l(c) = c C kl max = 2 A où A est le nombre de mots de C k de longueur. Comme A 2 on en dédut ce qu mplque ( ) k 2 l(c) kl max c C c C 2 l(c) l /k maxk /k. Comme cette dernère négalté dot être vrae pour tout k on en dédut 2 l(c) ce qu démontre le théorème. c C 3.2 Longueur moyenne et entrope Proposton 4 Sot X une varable aléatore prenant ses valeurs dans un ensemble fn X. Sot c un codage de X par un code unquement déchffrable C. La longueur moyenne l(c) de ce codage vérfe l(c) H(X). Preuve : Posons X = {x,..., x m } et C = {c,..., c m } de telle sorte que c(x ) = c. Consdérons m Q = 2 l(c). On a, d après le théorème de McMllan, Q. Posons = q = 2 l(c ) Q de telle sorte que (q... q m ) est une dstrbuton de probabltés (.e. q = ). Sot p = P (X = x ). L négalté D(p q) 0 (Lemme 5) s écrt p log 2 p q 0 5
sot H(X) p l(c ) + p log 2 q 0 p log 2 Q H(X) l(c) H(X) log 2 Q ce qu prouve la proposton pusque Q. Proposton 5 Sot X une varable aléatore prenant ses valeurs dans un ensemble fn X. Il exste un codage c de X dont la longueur moyenne l(c) vérfe l(c) H(X) +. Preuve : Sot X = {x,..., x m } et sot p = P (X = x ). Posons l = log 2. p On a : log 2 p l l log 2 p 2 l p 2 l. Il exste donc un codage de X par un code C de dstrbuton des longueurs (l ). Par alleurs on a : ce qu l fallat démontrer. l < log 2 + p l p < H(X) + p = H(X) + 3.3 Codage de Huffman Le théorème de McMllan et l négalté de Kraft nous dsent que pour tout code unquement déchffrable l exste un code préfxe de même dstrbuton des 6
longueurs. On peut donc chercher le code optmal (qu mnmse la longueur moyenne) parm les codes préfxes. L algorthme de Huffman permet de trouver un code préfxe optmal. Algorthme. Sot X une varable aléatore prenant ses valeurs dans X = {x, x 2,..., x m } de dstrbuton de probabltés (p... p m ). Qutte à réordonner les x, on peut supposer que les p sont en ordre décrossant, de telle sorte que les p les plus fables sont p m et p m. L algorthme procède par récurrence en construsant l arbre bnare à partr de ses feulles. À x m et x m sont assocées deux feulles ssues d un père commun que l on peut appeler x m. L arbre de Huffman est obtenu en calculant l arbre de Huffman assocé à la varable aléatore X prenant ses valeurs dans l ensemble X = {x, x 2,..., x m 2, x m } et de dstrbuton de probablté (p, p 2,..., p m 2, p m = p m + p m ), et en rajoutant deux fls ssus de x m qu seront assocés aux valeurs x m et x m. Exemple. Sot X une varable prenant ses valeurs dans X = {x, x 2,..., x 6 } et de lo (p = 0.4, p 2 = 0.04, p 3 = 0.4, p 4 = 0.8, p 5 = 0.8, p 6 = 0.06). L arbre obtenu par l algorthme de Huffman est représenté sur la fgure 2. La premère étape consste à jondre les sommets termnaux (feulles) x 2 et x 6 assocés aux probabltés p 2 et p 6 les plus fables et à créer ans un sommet ntermédare de l arbre assocé à la probablté p = p 2 + p 6 = 0.. Pus on recommence la procédure sur l ensemble X = {x, x 3, x 4, x 5, } pour la lo (p = 0.4, p 3 = 0.4, p 4 = 0.8, p 5 = 0.8, p = 0.). Les probabltés les plus fables sont p 3 et p, on jont donc x 3 et en un sommet père de probablté p = 0.24. La procédure se termne par l arbre de la fgure. Pour démontrer l optmalté de l algorthme de Huffman nous utlserons le lemme suvant. Lemme 6 Sot X une varable prenant ses valeurs dans X = {x,..., x m } de lo (p,..., p m ) où l on a ordonné les x de telle sorte que la sute des p décrosse. Parm les codages optmaux de X l exste un code préfxe C dont l arbre encode x m et x m par des feulles de profondeur maxmale, ayant un même père. Preuve : S x m n est pas assocé à un sommet de profondeur maxmale, alors l sufft d échanger x m avec le x assocé à un sommet de profondeur maxmale et la longueur moyenne du nouvel encodage de X ne peut que dmnuer. Cec démontre le premer pont. Par alleurs, le sommet x m ne peut pas être l unque sommet 7
x v 0.24 0.36 0. 0.4 0.04 0.06 x 3 x 4 x 5 x 2 x 6 Fgure 2 Arbre obtenu par applcaton de l algorthme de Huffman fls du sommet père π de x m : snon on enlève de l arbre la feulle assocée à x m et on assoce x m au sommet π. Il exste donc un second sommet fls du sommet π, assocé à x j, pour un certan j m. Mas j m mplque p j p m. En échangeant x j et x m la longueur moyenne de l encodage de peut que dmnuer : cec démontre le second pont. Sot X une varable prenant m valeurs, sot X = {x,..., x m }. Montrons par récurrence sur m que l algorthme de Huffman débouche sur un codage optmal de X. Nous supposons p... p m p m. Appelons C m un code préfxe optmal assocé à la lo p et vérfant les proprétés du Lemme 6. Appelons C m un code préfxe optmal assocé à la lo p = (p, p 2,..., p m 2, p m + p m ). Appelons C m le code préfxe (ou l arbre) assocé à la lo p obtenu à partr de C m par réducton de Huffman, c est-à-dre qu on le construt en prenant l arbre C m, en supprmant les sommets nommés x m et x m assocés aux probabltés p m et p m, et en attrbuant la probablté p m + p m au sommet père de x m et x m. Enfn, appelons C m le code préfxe (ou l arbre) obtenu à partr de C m par l augmentaton nverse, c est-à-dre que l on rajoute au sommet assocé à la probablté p m + p m deux feulles, que l on nomme x m et x m. Calculons mantenant la longueur moyenne de C m. L expresson de la longueur 8
moyenne de C m étant, l(c m) = m l p = m 2 = l p + l m (p m + p m ) = pusque l m = l m d après le Lemme 6, on obtent Autrement dt, l(c m ) = m 2 = Par un argument smlare on a : l p + (l m )(p m + p m ). l(c m ) = l(c m) p m p m. l(c m ) = l(c m ) + p m + p m. En addtonnant ces deux dernères égaltés on obtent : ou encore : l(c m ) + l(c m ) = l(c m) + l(c m ) l(c m ) l(c m ) = l(c m) l(c m ). Mas d après l optmalté de C m et C m le terme gauche dot être postf et le terme de drote dot être négatf. Les deux termes de l égalté ne peuvent donc être que nuls, et on en dédut que les deux codes préfxes C m et C m sont optmaux pour les los p et p respectvement. On en dédut par récurrence sur m que les réductons de Huffman successves mènent à un code préfxe optmal. 4 Canaux dscrets sans mémore, capacté Un canal dscret sans mémore est un modèle smple d un canal de transmsson qu prend en entrée des n-uples aléatores X n = (X,..., X n ) de varables X prenant leurs valeurs dans l alphabet fn (dscret) X et qu sort des n-uples aléatores Y n = (Y,... Y n ) où chaque Y prend ses valeurs dans l alphabet Y. On fat l hypothèse que les probabltés P (Y = y X = x) sont nvarantes dans le temps, c est-à-dre ne dépendent pas de l ndce, et que les los condtonnelles Y X sont ndépendantes, c est-à-dre que l on a P (Y n = y n X n = x n ) = 9 n P (Y = y X = x ), =
c est le caractère sans mémore. Entrée X Sorte Y 0 p 0 p p p Fgure 3 Le canal bnare symétrque Entrée X Sorte Y 0 p p 0 p p Fgure 4 Le canal bnare à effacements Un canal dscret sans mémore est donc caractérsé par ses probabltés de transton. Il est commode de le représenter par un dagramme : les fgures 3 et 4 llustrent deux exemples classques et utles, le canal bnare symétrque et le canal à effacements. Quel est le maxmum d nformaton que l on peut fare passer sur le canal? L émetteur a le chox de la lo du n-uple X n. S l souhate que le récepteur pusse reconsttuer X n à partr du n-uple reçu Y n, l faut que l entrope condtonnelle H(X n Y n ) sot nulle ou néglgeable. Dans ce cas la quantté que l on souhate optmser, sot H(X n ), sous la condton H(X n Y n ) 0, est égale à l nformaton mutuelle I(X n, Y n ) = H(X n ) H(X n Y n ). Posons : C (n) = n max p(x n ) I(Xn, Y n ). Écrvons I(X n, Y n ) = H(Y n ) H(Y n X n ). Par l ndépendance des los cond- ε 20
tonnelles (Y X ) on a H(Y n X n ) = n H(Y X ). = Donc I(X n, Y n ) = n n H(Y Y,..., Y ) H(Y X ) = n H(Y ) = = = n H(Y X ). On a donc sot C (n) C ou l on a posé : C (n) max =..n I(X, Y ) C = max p(x) I(X, Y ) car Y ne dépend que de X. La quantté C mérte donc d être étudée et on l appelle capacté du canal. La dscusson précédente prouve qu l s agt d un majorant de la quantté d nformaton fable par symbole qu l est possble de fare transter par le canal. Le théorème de Shannon énoncé plus lon affrme qu l est effectvement possble de véhculer de manère fable une quantté d nformaton par symbole arbtrarement proche de la capacté, cec pour tout canal dscret sans mémore. Exemples de calculs de capacté Le canal bnare à effacements. Consdérons le canal bnare à effacements de la fgure 4. Écrvons : I(X, Y ) = H(X) H(X Y ). On a : H(X Y ) = y P (Y = y)h(x Y = y) = P (Y = ε)h(x Y = ε). 2
Or P (Y = ε) = P (X = 0, Y = ε) + P (X =, Y = ε) = P (X = 0)P (Y = ε X = 0) + P (X = )P (Y = ε X = ) = P (X = 0)p + P (X = )p = (P (X = 0) + P (X = ))p = p. Par alleurs, pour x = 0, on a : P (X = x, Y = ε) P (X = x Y = ε) = P (Y = ε) P (X = x)p (Y = ε X = x) = P (Y = ε) = P (X = x). Ans H(X Y = ε) = H(X) et l on a : I(X, Y ) = H(X) ph(x) = H(X)( p). La lo de X qu maxmse cette quantté est celle qu maxmse H(X), sot la lo unforme pour laquelle on a H(X) =, et donc : C = p. Le canal bnare symétrque. Consdérons le canal bnare à effacements de la fgure 3. Écrvons cette fos : On a : et l on constate que I(X, Y ) = H(Y ) H(Y X). H(Y X) = P (X = 0)H(Y X = 0) + P (X = )H(Y X = ) H(Y X = 0) = H(Y X = ) = h(p) où h(p), foncton du paramètre p, désgne l entrope d une lo de Bernoull (p, p). On a donc : I(X, Y ) = H(Y ) h(p). Par alleurs l est ans de constater que lorsque la lo de X est unforme, alors la lo de Y est unforme auss et maxmse I(X, Y ). On a donc : C = h(p). 22
Le théorème de Shannon Consdérons un ensemble de messages M = {0,,..., M}. Un système de communcaton est modélsé ans : une foncton f : M X n transforme le message en un n-uple de X n qu est envoyé sur un canal dscret sans mémore. La foncton f est la foncton d encodage. Une foncton g : Y n M transforme le n-uple reçu en un message de M, c est la foncton de décodage. Un code C X n est un sousensemble de X n qu peut être défn comme l mage d une foncton d encodage f. On défnt la probablté condtonnelle λ m par : λ m = P (g(y n ) m X n = f(m)). On défnt de deux manères la probablté d une erreur de décodage, la probablté maxmale d une erreur de décodage vaut : λ n = max m M λ m et la probablté moyenne d une erreur de décodage est : P n e = M M λ m. m= On a clarement P n e λ n. Le rendement d un code C de X n de cardnal M est : R = R(C) = n log 2 M. Théorème 7 (Shannon) Pour tout canal dscret sans mémore de capacté C, et pour tout R < C, l exste une sute (C n ) de codes où C n X n est de rendement R et pour laquelle λ n 0 quand n. Récproquement, s λ n 0 pour une sute (C n ) de codes, alors lm sup R(C n ) C. 5 Codes lnéares 5. Encodage, matrce génératrce Nous nous ntéressons mantenant au cas où l alphabet X est de cardnal q = p m pour p un nombre premer, ce qu veut dre que X peut être mun d une structure de code fn F q. Le code C F n q est dt lnéare s c est un sous-espace vectorel 23
de F n q. On s ntéressera tout partculèrement au cas q = 2, auquel cas on parle de code lnéare bnare : dans ce cas dre qu un code C F n 2 est lnéare veut tout smplement dre qu l est stable par addton dans F n 2. L ensemble M des messages est en général dentfé à {0, } k, ce qu nous donne M = M = 2 k. On appelle matrce génératrce du code C une matrce G dont les lgnes consttuent une base de l espace vectorel C. S C est un espace vectorel de dmenson k, une matrce génératrce G est donc une matrce k n. Il arrve que l on contnue à appeler «matrce génératrce» de C une matrce k n avec k > k, dont une sous-matrce k n est une matrce génératrce au sens strct. S G est une matrce génératrce k n du code C, une foncton d encodage est donnée par : f : M F n 2 x xg. Une matrce génératrce G est dte sous forme systématque s elle s écrt : G = [I k A]. Dans ce cas la foncton d encodage est de la forme : (x,..., x k ) (x,..., x k, x k+,..., x n ). Les k premers symboles d un mot de code sont alors appelés bts ou symboles d nformaton et les n k symboles supplémentares symboles de parté. Exemples.. Code de parté. Ce code est consttué des mots de pods par dans F n 2. La dmenson du code est k = dm C = n. 2. Code à répétton. Ce code a pour matrce génératrce n la matrce G = [,,, ]. On a k = dm C =, le code content deux mots. 3. Code de parté double. Consdérons l encodage systématque suvant : f : F 4 2 F 9 2 (x,..., x 4 ) (x,..., x 9 ) où les symboles de parté x 5... x 9 sont défns de telle sorte que toutes les lgnes et toutes les colonnes du tableau c-dessous soent de pods pars. x x 2 x 5 x 3 x 4 x 6 x 7 x 8 x 9 24
Ce code est de dmenson 4 par constructon, et une erreur dans une poston arbtrare est corrgble car la poston erronnée (, j) se décèle en repérant que la lgne et la colonne j sont de pods mpars. On constate également qu une confguraton arbtrare de tros effacements est toujours corrgble. Une matrce génératrce du code est donnée par : 0 0 0 0 0 G = 0 0 0 0 0 0 0 0 0 0. 0 0 0 0 0 5.2 Dstance de Hammng, correcton d erreurs et d effacements Défnton 8 La dstance de Hammng entre deux vecteurs de F n q est le nombre de coordonnées où les deux vecteurs dffèrent. Le pods de Hammng d un vecteur de F n q est le nombre de ses coordonnées non nulles. La dstance mnmale d un code C est la plus pette dstance non nulle entre deux mots du code C. Quand le code C est lnéare c est auss le plus pett pods c d un mot non nul c de C. La dstance de Hammng d(, ) est une dstance au sens mathématque. Elle vérfe les proprétés d(x, x) = 0, d(x, y) = d(y, x), et d(x, y) d(x, z) + d(z, y) pour tous vecteurs x, y, z. Les paramètres [n, k, d] d un code C sont sa longueur.e. la dmenson de l espace vectorel ambant F n q, la dmenson de C (en tant que F q -espace vectorel), et sa dstance mnmale. Le code C content q k mots de code. S c est un mot du code C de dstance mnmale d, et s l on a d(c, x) t avec t < d/2 pour un certan mot x, alors pour tout mot de code c C, c c, on a d(c, x) > d(c, x). En effet, l négalté trangulare d d(c, c ) d(c, x) + d(x, c ) mplque que s d(c, x) < d/2 alors d(x, c ) > d/2. On en dédut que s un mot c subt t erreurs avec t < d/2 et est transformé en le vecteur x, alors le mot de code le plus proche (pour la dstance de Hammng) de x est le mot de code éms. On peut donc énoncer : Proposton 9 Un code de dstance mnmale d peut corrger n mporte quelle confguraton de d/2 erreurs. 25
Intéressons-nous mantenant au nombre d effacements corrgbles par un code correcteur de dstance mnmale d. Appelons vecteur effacement le vecteur de {0, } n dont le support (l ensemble des ndces des coordonnées non nulles) correspond à l ensemble des coordonnées effacées. Écrvons x y pour sgnfer que le support du vecteur x est nclus dans le support du vecteur y, auquel cas on dra que le vecteur y couvre le vecteur x. Nous pouvons énoncer : Proposton 20 S C est un code lnéare, une confguraton de postons effacées E {, 2,..., n} est corrgble s et seulement s le vecteur effacement correspondant v E ne couvre aucun mot non nul de C, c est-à-dre s c v E pour tout c C, c 0. Preuve : Dre qu une confguraton d effacements est non corrgble veut dre qu l exste au mons deux mots de code dstncts qu coïncdent en dehors des postons effacées. Mas dans ce cas la dfférence de ces deux mots est un mot de code couvert par le vecteur effacement. Corollare 2 Un code lnéare de dstance mnmale d peut corrger n mporte quelle confguraton de d effacements. Remarque. Une confguraton de t erreurs avec t d/2 ou ben de t effacements avec t d peut parfatement être corrgble. Par exemple le code de parté double de paramètres [9, 4, 4] permet de corrger la confguraton de cnq effacements : 5.3 Preuve du théorème de Shannon pour le canal bnare à effacements Lemme 22 Sot M une matrce k (k + x) sur F q trée aléatorement et unformément : alors P (rg M < k) q x où rg M désgne le rang de M sur F q. 26
Preuve : On procède par récurrence sur k. Pour k = on a clarement que rg M < s et seulement s la matrce M est la lgne dentquement nulle, ce qu arrve avec probablté /q +x < /q x. Sot M une matrce k (k + x) et supposons la proposton démontrée pour toute matrce (k ) y pour tout y. Sot M k la matrce consttuée des k premères lgnes de M. On peut écrre : P (rg M < k) = P (rg M k < k ) + P (rg M < k rg M k = k )P (rg M k = k ) P (rg M k < k ) + P (rg M < k rg M k = k ). Par hypothèse de récurrence on a P (rg M k < k ) /q +x et par alleurs, la probablté que la dernère lgne appartenne à un sous-espace donné de dmenson au plus k vaut : P (rg M < k rg M k = k ) qk q k+x = q +x d où P (rg M < k) /q +x + /q +x /q x. Lemme 23 Soent X,... X n une sute de varables aléatores de Bernoull, ndépendantes et de même paramètre α. Sot β, α < β <. Alors, P (X + + X n βn) 2 nd(β, β α, α). Preuve : Nous avons : P (X + + X n βn) = βn ( ) n α ( α) n. Nous pouvons utlser la même astuce que pour la démonstraton du Lemme 0. Écrvons, pour tout r 0, (2 r α + α) n = ce qu donne : βn n ( n 2 r =0 ) α ( α) n 2 rβn βn ( ) n α ( α) n ( ( ) n n )α ( α) n 2 rβn ( α) n 2 r α α + En posant r = log 2 ( α α ) β 0 β 27
pour β α, on obtent : ( n βn ) α ( α) n ( α β ce qu est exactement la majoraton annoncée. ) βn ( ) n βn α β Nous pouvons mantenant énoncer une verson du théorème de Shannon pour le canal à effacements. Théorème 24 Sot un canal bnare à effacements de probablté de transton p, et sot R = p ε avec ε > 0 fxés. Sot C le code bnare engendré par une matrce G à n colonnes et k = Rn lgnes, obtenue aléatorement unformément parm toutes les matrces k n. La probablté P e, sur à la fos l acton du canal et le chox de la matrce G, que la confguraton d effacements E {, 2,..., n} sot non corrgble tend vers 0 lorsque n tend vers l nfn. De plus, cette convergence est une foncton exponentelle de la longueur n, c est-à-dre lm nf n log P e f(ε) > 0. Preuve : Appelons G E et G E les sous-matrces de G consttuées des coordonnées effacées et des coordonnées non effacées respectvement. D après la proposton 20, le caractère non corrgble de la confguraton d effacement E ne dépend pas du mot de code éms : E est non corrgble s et seulement s l exste un mot de de code non nul de support nclus dans E. Autrement dt, E est non corrgble s et seulement s l exste une combnason lnéare non trvale des lgnes de G E qu égale zéro, c est-à-dre s et seulement s rg G E < k. Le pods de E étant fxé, la probablté que rg G E < k est ben estmée par le lemme 22. Applquons la formule de Bayes pour écrre : P [rg G E < k] P [rg G E < k E > (p + ε/2)n]p [ E > (p + ε/2)n] + P [rg G E < k E = e]p [ E = e] e (p+ε/2)n Or, P [rg G E < k] P [ E > (p + ε/2)n] + max P [rg G E < k E = e]. e (p+ε/2)n max P [rg G E < k E = e] = max P [rg G E < k E Rn + x] e (p+ε/2)n x εn/2 ce qu, d après le lemme 22, est /2 nε/2. Et d après le lemme 23, P [ E > (p + ε/2)n] /2 nd(p+ε/2 p). 28
On en dédut donc : P [rg G E < k] 2 + nε/2 2 2 nd(p+ε/2 p) ce qu démontre le résultat. 2 n mn( ε, D(p+ε/2 p)) 2 Exposant d erreur des codes lnéares aléatores. L exposant d erreur est la quantté lm nf n log P e défne au théorème 24. On peut l estmer plus précsément que dans la démonstraton du théorème 24 c-dessus, en écrvant : P [rg G E < k] = n P [rg G E < k E = ]P [ E = ] =0 pnp [rg G E < k E = pn] (p+ε)n + =pn P [rg G E < k E = ]P [ E = ] +( p ε)np [ E (p + ε)n] n (p+ε)n max P [rg G =pn E < k E = ]P [ E = ] n sup 0 λ ε 2 (ε λ)n 2D(p+λ p)n ce qu permet la mnoraton de l exposant d erreur lm nf n log 2 P [rg G E < k] nf [ε λ + D(p + λ p)]. 0 λ ε Or, comme la dérvée en λ = 0 de la foncton D(p + λ p) vaut 0, l vent que pour tous les ε > 0 suffsamment petts, Par alleurs, nous pouvons écrre nf [ε λ + D(p + λ p)] = D(p + ε p). 0 λ ε P [rg G E < k] P ( E < Rn) = >(p+ε)n ( ) n p ( p) n (4) car s E < Rn, alors forcément rg G E E < Rn, cec d alleurs, quelle que sot la matrce G de dmenson k n. La formule de Strlng montre que la somme dans (4) se comporte comme 2 nd(p+ε p)+o(n), et nous avons donc montré que, pour ε > 0 suffsamment pett, lm nf n log P e = lm nf n log 2 P [rg G E < k] = D(p + ε p). Cec est remarquable, car l argument menant à (4) montre que n mporte quelle famlle de codes lnéares de rendement R proche de la capacté p ne peut avor un melleur (plus élevé) exposant d erreur. En ce sens les codes lnéares aléatores sont donc optmaux pour le canal à effacements. 29
5.4 Preuve du théorème de Shannon pour le canal bnare symétrque Décodage au maxmum de vrasemblance. Lorsqu on reçot un vecteur y, le problème du décodage consste à rechercher le mot de code c le plus probable, c est-à-dre qu maxmse la probablté condtonnelle P (X = c Y = y) (5) où les varables X et Y désgnent les vecteurs aléatores éms et reçus respectvement. Nous pouvons écrre : P (X = c Y = y) = P (X = c, Y = y) P (Y = y) = P (X = c) P (Y = y X = c). P (Y = y) S nous fasons l hypothèse que le mot de code éms X sut une lo unforme sur le code C, la quantté P (X = c)/p (Y = y) est une constante pour tout y reçu donné, et maxmser la probablté condtonnelle (5) équvaut à maxmser la probablté condtonnelle P (Y = y X = c). Or, s p est la probablté de transton du canal bnare symétrque, nous avons P (Y = y X = c) = p y+c ( p) n y+c. Comme nous supposons p /2, cette quantté est maxmale lorsque y + c est mnmum. Nous avons donc démontré : Proposton 25 Le mot de code c le plus vrasemblable est le mot de code le plus proche, au sens de la dstance de Hammng, du mot reçu y. Remarque. Il n est pas mpossble qu l n y at pas un unque mot de code le plus proche du vecteur reçu, mas qu l y en at pluseurs, donc également vrasemblables. Appelons e {0, } n le vecteur erreur, de telle sorte que s le mot de code c est éms, le mot reçu est y = c + e. Conformément à l analyse c-dessus, nous drons qu l n y a pas d erreur de décodage s l n exste pas de mot de code c c tel que d(c, y) d(c, y) (6) Comme d(c, y) = d(c, c + e) = d(0, e) et d(c, c + e) = d(c + c, e), la condton (6) équvaut à la non-exstence d un mot de code x 0 tel que d(x, e) d(0, e). (7) Soulgnons que cette condton ne dépend pas du chox partculer du mot de code éms, mas ne dépend que du vecteur erreur e, et de la nature du code C tout enter. 30
Notons B(z, t) la boule de Hammng centrée en z et de rayon t. Notons V (t) le volume d une telle boule, de telle sorte que nous avons ( ) ( ) ( ) n n n V (t) = + + + +. 2 t Notons que la condton (7) se reformule en : C B(e, e ) = {0}. (8) Nous adoptons la même stratége que pour le canal à effacements, c est-à-dre que nous allons étuder la probablté de l événement (8) lorsque le code C est chos aléatorement. Pour cela nous modfons légèrement notre manère d engendrer une matrce aléatore G, génératrce du code C. Nous prenons G sous la forme G = [I k A] (9) où A est chose unformément dans l espace des matrces {0, } k (n k), ce qu forme une matrce G de dmenson k n. Lemme 26 Sot x {0, } n, x 0. La probablté que x sot un mot de code est au plus P (x C) /2 n k. Preuve : Les k premères coordonnées (x,..., x k ) du vecteur x détermnent entèrement la seule combnason lnéare des lgnes de G susceptble d engendrer x : autrement dt, nous avons x C s et seulement s (x,... x k )G = x, ou encore, s et seulement s : (x,... x k )A = (x k+, x k+2,..., x n ). Nous pouvons dstnguer deux cas : (x,... x k ) = 0 et (x k+, x k+2,..., x n ) 0, auquel cas P (x C) = 0. (x,... x k ) 0, auquel cas x C s et seulement s le vecteur aléatore (x,... x k )A égale le vecteur fxé (x k+, x k+2,..., x n ). Comme (x,... x k )A est dstrbué unformément dans {0, } n k, nous avons P (x C) = 2 n k. Nous pouvons en dédure l énoncé suvant : Proposton 27 Pour tout t n/2, P (C B(e, e ) {0} e = t) 2 nh( t n ) (n k). 3
Preuve : L événement C B(e, e ) {0} est la réunon des événements {x C} pour tous les x 0 de la boule B(e, e ). D après le lemme 26 on a donc P (C B(e, e ) {0} e = t) V (t) 2. n k On obtent le résultat en obtenant la majoraton de V (t) donnée par le lemme 0. Nous pouvons mantenant énoncer une verson du théorème de Shannon pour le canal bnare symétrque Théorème 28 Sot un canal bnare symétrque de probablté de transton p < /2, et sot R < h(p) fxé. Sot C le code de rendement R engendré par une matrce G aléatore de type (9). La probablté P e, sur à la fos l acton du canal et le chox de la matrce G, que le décodage au maxmum de vrasemblance échoue tend vers 0 lorsque n tend vers l nfn. De plus, cette convergence est une foncton exponentelle de la longueur n, c est-à-dre lm nf n log P e f(r, p) > 0. Preuve : Souvenons-nous que la foncton entrope bnare h est strctement crossante sur l ntervalle [0, /2]. Nous pouvons donc défnr θ comme l unque réel, 0 < θ < /2, tel que R = h(θ), et, pusque R < h(p), nous avons p < θ. Écrvons la formule de Bayes, en dénotant l événement {C B(e, e ) {0}} par ED (erreur de décodage), n P [ED] = P [ED e = w]p [ e = w] t=0 max P [ED e = t] + P t n(p+ θ p 2 ) [ ( e > n p + θ p )] 2 ce qu nous donne, d après la proposton 27 d une part et le lemme 23 d autre part, P [ED] θ p n[h(θ) h(p+ 2 2 )] + θ p nd(p+ 2 2 p) ce qu démontre le résultat. 5.5 Dstance mnmale typque des codes lnéares, borne de Glbert-Varshamov Reprenons le même modèle de code aléatore C qu à la secton précédente, c està-dre engendré par une matrce G de la forme (9). La probablté que la dstance 32
mnmale de C sot strctement supéreure à t est égale à la probablté qu aucun mot non nul de la boule centrée en 0 et de rayon t sot dans C, sot P (C B(0, t) = {0}) P (x C) x B(0,t),x 0 V (t) 2 n k 2 n(h( t ) +R) n où V (t) désgne le volume de la boule et en ayant applqué la majoraton du lemme 0. On en dédut que pour tout R, 0 R, et pour tout ε > 0, s la famlle de codes C est de rendement R, On en dédut donc : lm P (d(c) n n(h ( R) ε)) =. Théorème 29 (Borne de Glbert-Varshamov.) Pour tout ratonnel 0 R, l exste une famlle de codes lnéares C de rendement R tels que la quantté d(c) δ = lm nf n vérfe n R h(δ). On peut montrer également que pour la famlle des codes lnéares aléatores de rendement R défns par (9), avec probablté on a lm nf d(c) h ( R) n et même lm nf d(c) = h ( R). n 5.6 Code dual, matrce de parté, syndrome On appelle produt scalare de deux vecteurs x = (x,..., x n ) et y = (y,..., y n ) de F n q la quantté x.y = x y + x 2 y 2 + + x n y n F q. Lorsque x.y = 0, on dt que x et y sont orthogonaux. Le code C étant un code lnéare de longueur n et de dmenson k, on appelle code orthogonal ou code dual de C le code consttué des vecteurs orthogonaux à C C = {x F n q, c C, x.c = 0}. Proposton 30 S G = [I k A] est une matrce génératrce du code C de longueur n et de dmenson k, alors le code C admet H = [ t A I n k ] comme matrce génératrce.. Applquer le lemme de Borel-Cantell. 33
Preuve : Il est facle de vérfer que le produt scalare de la -ème lgne de G et de la j-ème lgne de H vaut G j + G j = 0. Donc le code engendré par H est ben nclus dans C. Par alleurs, s x C, on peut former y = x n j=n k+ x j H j où H j désgne la j-ème lgne de H, de telle sorte que y C, pour tout j, n k + j n, y j = 0. De l orthogonalté de y avec toutes les lgnes de G, on dédut alors que (y,..., y k ) est orthogonal aux vecteurs de la base canonque de F k q, sot e = (, 0,..., 0), e 2,..., e k, et donc que y = y 2 = = 0,.e. y = 0. Le vecteur x est donc engendré par la matrce H. Corollare 3 Pour tout code lnéare C de longueur n on a dm C+dm C = n. Une matrce H du code dual C d un code C est appelée matrce de parté ou matrce de contrôle de C. On défnt l applcaton syndrome assocée à la matrce H de dmenson r n : σ : F n q F r q x σ(x) = H t x L applcaton syndrome est une applcaton lnéare est elle caractérse le code C par : Proposton 32 Le code C est l ensemble des vecteurs de F n q de syndrome nul. Il est commode de retenr l expresson du syndrome sous la forme : σ(x) = n x h = où x = (x... x n ) et h... h n sont les colonnes de la matrce H. En se souvenant que la dstance mnmale d de C est le plus pett nombre de coordonnées non nulles d un mot x de C, on obtent la caractérsaton suvante de d : Proposton 33 La dstance mnmale de C est le plus nombre de colonnes de H sommant à zéro. 34
Décodage par syndrome. Pour trouver le plus proche mot de code de x, on calcule s = σ(x), pus on cherche le plus pett ensemble I {, 2,... n} tel qu l exste des λ F q non nuls, I, et λ h = s. I Sur le corps F 2, cette expresson se rédut à h = s. Comme σ(e ) = h, le mot de code le plus proche de x est I c = x I λ e. 35