Exercices avec réonses Exercice I- Une source simle S N utilise un alhabet de taille N. Le symbole s 1 a une robabilité d aarition de ½, et les autres symboles sont équirobables. Le débit de la source est de 1000 symboles ar seconde. 1) Calculer l entroie de la source (Sh/symbole) en fonction de N. Alication Numérique (A.N.) our N=5 et N=6. 2) On code cette source en binaire en attribuant à s 1 le mot-code «0», et aux N-1 autres symboles des mot-codes de longueur unique, l, commençant ar «1». Quelle est la valeur minimale our l en fonction de N (avec code irréductible)? Pour N = 5, donner la valeur minimale our l, et l efficacité de ce code. Pour N= 6, questions idem. 3) Coder la source S 6 ( our N = 6) ar la méthode de Shannon-Fano. Déterminer le débit (bit/sec) arès codage et commenter ar raort au code récédent (en 2.). Exercice II- [7,5 oints] On considère la voie de communication constituée de 2 canaux en cascade ermettant d acheminer les données binaires d une source simle à 2 états logiques «0» et «1» équirobables : Source binaire à 2 états générateur Canal 1 câble bascule Canal 2 câble bascule {0 ; 1} horloge {0 ; 1; ε} horloge {0 ; 1; ε} Suite à un défaut (d alimentation des bascules), chaque canal génère arfois (robabilité ) un état indéterminé (arasite) en sortie, noté ε, en réonse à un état logique valide en entrée. Le roblème est modélisé avec les matrices de transition des 2 canaux discrets suivantes : P( /) 0 0 1 0 P( / ) 0 0 1 0 ε q q 1-2q 1) Pour le 1 canal discret (->): exrimer les entroies H(), H(/), et l information mutuelle I(,) en fonction de. Alication numérique (A.N.) : calculer I(,) our = 0,2. Commentez 2) Pour le 2 canal discret (->), quelle est la signification d une valeur de q nulle ou non nulle? On suose le cas simlifié où q = 0 dans toute la suite. 3) Pour le canal global ( ->) : déterminer la matrice de transition du canal global P(/) en fonction de. On suose = 0,2 dans toute la suite. Note : la matrice P(/) a alors la même forme que P(/) en remlaçant = 0,2 ar = 0,36. en déduire la valeur de l information mutuelle I(, ) et commenter ar raort à 1). 1
4) Existe-il théoriquement un codage à insérer entre la source et le canal ermettant de réduire à volonté le taux d erreur arès décodage, avec seulement un taux de redondance de 50%? 5) Soit un codage ar réétition tel que le symbole de la source «0» (resectivement «1») soit codé ar le mot-code = 00 (resectivement = 11). on suose que le mot reçu = εε est décodé ar «0». Préciser la règle de décision du décodeur our les autres mot reçus ossibles. calculer la robabilité d erreur binaire arès décodage et commenter l amélioration aortée ar le codage. 6) Question subsidiaire (bonus) : dans le cas général où q serait non nul (et = 0,2), exrimer et tracer I(, ) en fonction de q, et commenter son évolution. Autre exercice (non corrigé) I- Codage de source : Source M sans mémoire a un alhabet de 6 messages {m 1, m 2, m 3, m 4, m 5, m 6 } avec les robabilités {0.6 ; 0.2 ; 0.05 ; 0.05 ; 0.05 ; 0.05} 1.1 Calculer l entroie (Sh/message), et la redondance de la source ; Pour réduire la redondance, on envisage d aliquer à M un codage de source (irréductible) délivrant en sortie des symboles élémentaires d alhabet Q-aire. 1.2 Déterminer la valeur minimale de Q our qu il existe un code de longueur L (longueur moyenne des mot-codes) inférieure ou égale à 2 symbole. 1.3 Déterminer la valeur minimale de Q our qu il existe un code dont les longueurs des 6 mot-codes soient ( l ordre) : 1 mot de longueur 1 symbole, et 5 mots de longueur 2 symboles. Un codage de source binaire (Q = 2) est finalement imosé, utilisant la méthode de Shannon-Fano. 1.4 Déterminer le codage obtenu. 1.5 En déduire la longueur (moyenne) du code et son efficacité. 1.6 Quelle est la robabilité de chacun des symboles binaires en sortie du codeur. 2
Réonses Exercice I 1.1) On a les robabilités : 1 = ½ ; et n = 1/[2(N-1)] our n=2 N. Source simle => H(S) = -(1/2)lb(1/2) 1/2lb(1/[2(N-1)]) => H(S) = ½ + ½.lb[2(N-1)]. Pour N = 5 => H(S 5 ) = 2 Sh/symb, et lb(5) = 2.32 => redondance = 13,8% Pour N = 6 => H(S 6 ) = 2,16 Sh/symb, et lb(6) = 2.58 => redondance = 16,3% 1.2) Il faut vérifier (Kraft-Mac-Millan) : 2-1 + (N-1).2 -l 1 => l lb[2(n-1)] et comme l est une nombre entier (nombre de bits des motcodes S 2 S N ) on rend donc lmin = entier suérieur ou égal à { lb[2(n-1)] } = 1 + lb(n-1). Note : on eut aussi trouver ce résultat en disant qu il faut coder N-1 symboles avec un nombre de bits fixé à l 1 bits, uisque 1 bit est déjà déterminé. Efficacité du code η = Lmin / L, avec L : Longueur moyenne du code et Lmin = H(S)/lb(2) Pour N=5 => l min = 3 et L = ½(1) + ½(3) = 2 bits /symb et L min = 2 bits, soit η = 100%. Pour N=6 => l min = 4 et L = ½(1) + ½(4) = 2,5 bits /symb et L min = 2,16 bits, soit η = 86,4%. 1.3) Codage binaire de Shannon-Fano de S6 : Un résultat de codage our les 6 mot-codes est : {0 ; 100 ; 101 ; 110 ; 1110 ; 1111}, Soit 1 mot de longueur 1 bit, 3 mots de longueurs 3 bits, et 2 mots de longueur 4 bits. On en déduit : L = ½(1) + 0,1.3.3 + 0,1.2.4 = 2,2 bits /symb et η = 2,16 / 2,2 = 98,2%. Amélioration de l efficacité ar raort au code récédent, en ne donnant as des longueurs identiques aux 5 derniers mot-codes. Le débit arès codage est: 1 ksymb/sec x2,2 = 2.2 kbit/sec, contre 2,5 kbit/sec avec le code 1.2). Exercice II 1) Pour le 1 canal discret (->), entrée à 2 états x 0 = «0» et x 1 = «1»avec (x 0 ) = (x 1 ) = 1/2: Et sortie à 3 états y0 = «0», y1= «1», y2 = «ε» Avec (y0) = ½() ; (y1) = ½ () ; (y2) = source simle => H() = - i (yi).lb((yi)) = -().lb( ½ () ).lb() Matrice P(/) uniforme ar raort à l entrée, donc ici H(/) indéendant des robabilités en entrée et eut se calculer (cas articulier) seulement avec une ligne de la matrice P(/) : H(/) = - H(/=x0) = - i (yi / x0).lb((yi/x0)) = -().lb().lb() On en déduit I(,) = H() H(/) = -()lb( ½ ) => I(,) = ; Soit : I(,) = 0,8 Sh/symb our =0,2. L information mutuelle rerésente la quantité moyenne d information bien transmise. Le taux d aarition du arasite en sortie,, rerésente logiquement le taux d information mal transmise (ar raort à l information totale injecté à l entrée du canal H()). En effet : I(,) = H(), uisque H() = 1 ici, et donc = H(/). 2) Pour le 2 canal discret (->), on eut avoir un état arasite qui se résente en entrée (généré ar le remier canal en réonse à un niveau logique «0» ou «1»). Si q =0, un état arasite en entrée se traduit automatiquement ar un état arasite en sortie. Si q 0, 2q rerésente la roortion de niveaux logiques valides en sortie (avec réartition uniforme entre «0» et «1») en réonse à un arasite à l entrée. 3) Pour le canal global ( ->), avec cas simlifié où q = 0 dans la suite.: matrice de transition du canal global P(/) en fonction de. 3
La matrice est celle des (zj / xi), qui se déduit du roduit matriciel des 2 matrices. En effet {y0/xi, y1/xi, y2/xi} étant un système comlet d évènements, on a avec l axiome des robabilités totales : P(zj / xi) = (zj / y0).(y0 / xi) + (zj / y1).(y1 / xi) + (zj / y2).(y2 / xi) Et sous forme vectorielle (P(), P(), P() : vecteur lignes) : P() = P(). P(/) et P() = P(). P(/) d où P() = P(). [P(/). P(/) ]. Ce que l on eut aussi déduire du diagramme de transition global : x 0 x 1 Finalement, avec q = 0 on obtient la matrice: P( /) = P(/). P(/) 0 () 2 0 2-2 1 0 () 2 2-2 y 0 y 1 y 2 Donc la matrice est idem à celle de P(/) dans laquelle on remlacerait ar tel que = () 2, soit avec = 2 2. Pour = 0,2 on a = 0,36 qui rerésente la nouvelle robabilité d obtenir un niveau arasite en sortie du canal, sachant un niveau logique («0» ou «1» en entrée). Et d arès le calcul effectué en 1, I(,) = 1- = () 2 = 0,64 Sh/Symb. La mise en cascade des 2 canaux a évidemment diminué encore la quantité d information bien transmise. Néanmoins avec q=0, les états indéterminés se roagent sans introduire de faux états logiques, et chaque étage amène la même roortion (80%) d info moyenne bien transmise, soit en tout avec les 2 étages 80%.80 % = 64%. 4) D arès le 2 théorème de Shannon, il existe théoriquement un codage à insérer entre la source et le canal ermettant de réduire à volonté le taux d erreur arès décodage si et seulement si l entroie à l entrée du canal H(), donc arès codage de la source S sans mémoire (d entroie H(S) = 1Sh/symb), est inférieure à la caacité du canal C. Si on imose une redondance de 50% due au codage (qui introduit de la mémoire en ), l entroie de H() est dorénavant 0,5 Sh/symb. L existence d un codage «idéal» est alors assurée si la caacité du canal -> est suérieure à 0,5 Sh/symb. C est bien le cas uisque C est le max de I(,) (sur toutes les entrées ossibles ) et donc C 0.64 Sh/symb. En fait on eut vérifier que our ce canal C est récisément égal à 0.64 Sh/symb. 5) Codage ar réétition tel que le symbole de la source «0» (resectivement «1») soit codé ar le mot-code = 00 (resectivement = 11). règle de décision du décodeur our les mot reçus ossibles : mots reçus ossibles : 00 0ε ε0 ε ε ε1 1 ε 11 décision (dures) our : 0 0 0 0 1 1 1 note : les mots reçu «01» et «10» sont imossibles robabilité d erreur binaire arès décodage Ped : en fait seulement le mot reçu εε eut amener à une erreur de décision sur le bit, si c était en réalité un «1» à la source, d où : Ped = Pr( = 11 ; = ε ε) = Pr( = ε ε / = 11 ). Pr(Pr( = 11). = 2. ½ = (0,36) 2. ½ = 6.5 % Si on n avait as fait de codage à l émission, et en décidant «0» our = 0 ou = ε à la récetion, et en décidant «1» our = 1 reçu, on aurait la robabilité binaire d erreur : Pe = Pr ( = ε ; = 1) = Pr ( = ε / = 1).Pr( = 1) =.1/2 = 18%. 1 z 0 z 1 z 2 4
6) Question subsidiaire : dans le cas général où q serait non nul : en rerenant le calcul matriciel de 3) our q non nul, on obtient : P( /) = P(/). P(/) 0 () 2 + q q () + (1-2q) 1 q () 2 + q () + (1-2q) soit avec = 0,2 : 0 0,64 +0,2q 0,2q 0,36 0,4q 1 0,2q 0,64 +0,2q 0,36 0,4q exrimer I(,) : En rerenant les calculs : (z0) = (z1) = 0,32 +0,2q et (z2) = 0,36 0,4q +H() = - i (zi).lb((zi)) = -2(0,32 +0,2q)lb(0,32 +0,2q) (0,36-0,4q)lb(0,36-0,4q) et -H(/) = (0,64 +0,2q)lb(0,64+0,2q) + 0,2qlb(0,2q) + (0,36-0,4q)lb(0,36-0,4q) Donc our I(,) = H() H(/), on a l évolution suivante : La quantité d information bien transmise diminue lorsque les états arasites en entrée du 2 canal euvent de lus en lus se transformer en sortie en état logique «0» ou «1», créant davantage d ambiguïté H(/). 5