Problème pratique: les limites théoriques de systèmes de communication. Codeur Source

Transcription

1 Cours n 7 Caractérisation d un codage Efficacité d un codage Codage par blocs et extension de la source er Théorème de Shannon Codage par plages Codage de Shannon-Fano Codage de Huffman

2 Problème pratique: les limites théoriques de systèmes de communication Transformation des symboles émis par la source en éléments transmissibles par le canal de la façon la plus appropriée Source S, S 2 S N Codeur Source S C Canal idéal Le codeur de source traduit chaque symbole de la source en une séquence de codes transmissibles par le canal C = c, c 2 c M Résoudre le problème avec des techniques de codage 2

3 Le but du codeur est de faire correspondre à chaque élément de S (symboles émis par la source) en un séquence d éléments de C appelés mots-codes Exemple : Différents exemple de codes pour une source de 4 symboles (N = 4) et un canal binaire (M = 2) Probabilités Code A Code B Code C Code D Code E Code F s,4 s 2,3 s 3,2 s 4, H =, 84 L = L = 2 L =, 7 L = 2 L = 2 L =, 9 3

4 Code irréversible ou singulier : Comme exemple on prendra le Code A (tous les autres sont réversibles ou non singuliers) Code A Code C Le code A ne permet pas de déchiffrer sans ambiguïté le message émis puisque deux symboles par exemple, s 2, s 3 partagent le même code Son utilisation peut être envisagé si la distorsion qui en résulte minimise un critère de fidélité défini par l utilisateur. Ce type de codage est appelé codage avec perte ou codage intelligent (signaux de parole, séquences vidéo avec un faible débit) 4

5 Code de longueur fixe : Comme exemple on prendra le Code B (tous les suivants sont de longueur variable) Code B Code D Avec le code B tous les mot-codes sont de même longueur. On notera L la longueur moyenne des mots-codes : le nombre moyen d éléments de C utilisés pour transmettre un symbole de S N L = E l k = p k l k k= Ce code manque d efficacité car il attribue aux symboles très fréquents et aux symboles très rares de codes de même logeur l k = longueur du mot code du symbole s k émis avec probabilité p k 5

6 Code à décodage unique: Code D Code E Code F Code C Ces codes sont dits à décodage unique, c est-à-dire toute extension de ces codes est réversible (sans ambiguïté) Le code C ne permet pas un décodage sans ambiguïté, puisque la séquence s 3, s conduit au même code que le symbole s 4. mot-code symbole unique 6

7 Code instantané: Code E Code F Codes instantanés: Le décodage d un mot est possible de la fin de sa réception, sans devoir attendre la répétition du code suivant (pour lequel aucun mot code n est préfixé d un autre mot code) On détermine alors les mots-codes à mesure que l'on reçoit les lettres de l'alphabet du code De cette façon, on évite qu un mot du code soit identique au début d un autre mot Code D 7

8 Code avec séparateurs : Code D Code E On consacre un symbole de l alphabet de destination comme séparateur de mot Le symbole permet la distinction de mots-codes de la même façon qu un espace sépare le mots d un texte 8

9 Conclusions : o Parmi tous les codes réversibles à décodage unique, ceux qui sont également instantanées sont les plus recherchés o Si on pouvait disposer d un système d écriture ayant cette propriété les espaces seraient alors inutiles pour séparer le mots. o Une condition nécessaire et suffisante pour qu un code soit instantané est qu aucune mot-code ne soit le préfixe d autre mot-code Code instantané Tous codes confondus Code à décodage unique Codes réversibles 9

10 Un codage binaire peut être représenté de manière graphique par un arbre. Les arbres sont aussi des représentations commodes pour écrire les algorithmes de codage et de décodage. Règles: o Un déplacement à gauche correspond à un "" o Un déplacement à droite correspond à un "" o Chaque déplacement crée un nœud de l'arbre o Chaque nœud à un père (vers le haut) et peut avoir deux fils (vers le bas) o Le lien entre deux nœuds est une branche o Un nœud qui n'a pas de fils est une feuille et la feuille doit être le code.

11 Exemple: Codage n Codage n 2 Codage n 3

12 o Elle cherche à répondre à la question de la condition d'existence d'un code préfixé. o Un code préfixé se fabrique à partir d'un arbre de codage et sa condition d'obtention est que les codes soient des feuilles de l'arbre. o On se propose de construire des codes déchiffrables, et plus particulièrement instantanés, aussi économiques que possible. L inégalité de Kraft fournit une condition nécessaire et suffisante d existence de codes instantanés. L arbre des codes peut illustrer le raisonnement conduisant à l'inégalité de Kraft : C k l k l 2 l l k 2

13 C k l k l Nous construisons un arbre binaire de hauteur l le nombre de codes possibles (nombre de feuilles finales possibles) est de 2 l 2 l l k A la hauteur l k, nous décidons d'attribuer ce nœud à un code C k Ce nœud devient une feuille de l'arbre du code et, pour obtenir un code préfixe, cela interdit tous les nœuds qui peuvent s'en déduire. Le nombre de nœuds interdits est de 2 l l k Si l'alphabet à coder contient K symboles auxquels sont attribués des codes de longueur variable {l k }, le nombre total de feuilles interdites sera : K i= 2 l l k 3

14 C k l k l l k = longueur mots-codes 2 l l k Le nombre de feuilles interdites est inférieur ou égal au nombre de feuilles finales K i= 2 l k 2 l En divisant chaque membre de la relation par 2 l, nous obtenons l'inégalité de Kraft : K 2 l k i= 4

15 Cas non binaire L inégalité de Kraft peut se généraliser au cas non binaire c'est-à-dire un codage avec M symboles (en binaire M = 2) : K i= M l k Condition nécessaire et suffisante de l existence d un code instantané de K symboles, utilisant de mot-codes de longueur l, l 2. l K avec un code de M éléments 5

16 Débit moyen d'information : Si K est la taille de l'alphabet d'une source discrète X, celle-ci contient une quantité moyenne d'information par symbole qui est l'entropie H( X ). Cette entropie admet une limite maximale: H( X ) log ( K ) Limite étant atteinte lorsqu'il y a équiprobabilité entre tous les symboles de l'alphabet de la source. o Si la source émet ses symboles à une cadence régulière d'un symbole toute les τ s secondes, τ s est la vitesse d'émission de la source exprimée en symboles/seconde. o Le débit moyen d'information sera naturellement caractérisé par: Q = H X τ s Exprimé en bits/s (ou shannon/s, dits/s,..) 6

17 Codage avec mots de longueur fixe, efficacité : Exemple pour le cas d'un codage binaire o Une manière simple de coder en binaire l'alphabet d'une source est d'attribuer à chaque symbole L bits. o Il y a donc 2 L codes possibles o Nous avons la condition pour le nombre de codes possibles 2 L K, l'égalité étant possible lorsque le nombre K de symboles de la source est une puissance de 2. o Dans le cas contraire nous aurons : 2 L < K < 2 L Cette dernière relation permet de déterminer le nombre L de bits nécessaires au codage de l'alphabet d'une source de K symboles: L = Int log 2 (K) + 7

18 Nous savons que : H( X ) log 2 ( K ) limite maximale de l entropie pour l alphabet de K symboles L H( X ) L = n de bits L log 2 ( K ) L'égalité a lieu lorsque tous les symboles de la source sont équiprobables et lorsque K est une puissance de 2 o Un codage est dit d'autant plus efficace que le nombre de codes possibles inutilisés est faible. o L'efficacité dépend aussi de la quantité d'information moyenne de la source. o L'efficacité d'un codage sera ainsi définie par : = H X L Exprimée en % 8

19 Exemple : K = 24 nombre de symboles de l alphabet de la source log 2 (K) = 4,585 L = Int log 2 (K) + = 5 2 L = 2 5 = 32 2 L < K < 2 L 6 < K < 32 Si tous les symboles sont équiprobables : p i = K K=24 K=24 H X = p i log 2 p i = log 2 K p i = 4,585 i= i= = H X L = 4,585 5 = 9,7 % 9

20 Pour améliorer l'efficacité du codage, on peut transmettre et donc coder les symboles non pas individuellement mais par blocs de J symboles cette technique est appelée l'extension de la source Exemple : Avec { A, B } on peut faire avec J = 2 les blocs { AA, AB, BA, BB } À partir d'une source dite primaire nous fabriquons une source secondaire Source primaire de K symboles extension source secondaire de K J symboles Si nous utilisons L bloc bits de codage par bloc: L bloc log 2 (K J ) et L bloc = Int J log 2 K + Le nombre de bits par symbole de la source primaire est : L = L bloc J = Int log 2 K + J Remarque : L n'est plus un entier! 2

21 L'efficacité de codage de la source primaire est égale à : extension = H X L = H X Int log 2 K + J Résultat à comparer à celui obtenue sans extension de source : = H X Int log 2 K + Que, à cause du terme J en dénominateur vous avons extension > o La technique d extension de source peut ainsi améliorer l efficacité du codage pour des mots de codes de longueur fixe. o Du point de vue de la source étendue L est le nombre de bits attribués à un des symboles et l efficacité du codage est égale (avec L = L bloc J ) : extension = H X L = J H X L bloc H extension = J H X 2

22 Exemple : K = 24 et J = 3 n symboles de l alphabet de la source n de blocs extension J = 3 K J = 24 3 = 3824 n de symboles L bloc = Int J log 2 K + = Int log 2 (3824) + = 3 + = 4 L = L bloc J = 4,666 Si tous les symboles sont équiprobables : p i = K K=24 K=24 H X = p i log 2 p i = log 2 K p i = 4,585 i= i= amélioration de l éfficacité! = H X L = J H X L bloc = 4,585 4,66 = 98,25 % 22

23 Le code optimal pour la source X, sur un alphabet de K lettres, est de longueur moyenne L X tel que vérifie : H(X) L X < + H(X) En d autres termes, l obligation d utiliser des longueurs entières nous fait perdre au plus une lettre en moyenne, par rapport à la borne absolue. On est parfois contraint à cette perte. Par exemple, pour transmettre une variable X il faut un bit par valeur, quelle que soit l entropie de X. Peut-on faire mieux? Oui, en regroupant les valeurs à émettre (ie., extension de la source) Supposons que l on transmet X,..., X K,... à partir d un code pour k valeurs consécutives, il vient : H X,..., X k L Xk < + H(X,..., X k ) 23

24 Comme H X,..., X k = k H(X) H X k L X k < k + H(X) Avec ce procédé, on a reparti la lettre perdue sur k valeurs consécutives. On ne perd donc plus que /k lettre par valeur de X émise. Commentaires: Le premier théorème de Shannon contient en fait deux résultats : ) L X = H(X) limite de la compression sans perte 2) L k X k = H(X) + /k on peut atteindre cette limite (k = extension) 24

25 Conséquences : Pour avoir un codage sans erreur, une source X doit être codée en moyenne avec au moins H( X ) bits et la redondance R ne peut pas être inferieure a l entropie : R H( X ) bits La longueur moyenne d un code réversible, instantané est bornée inférieurement par l entropie de la source et peut s en approcher d aussi près que l on veut. Il est possible donc de réduire à une valeur arbitraire la redondance d un code, mais il ne donne aucune indication sur la construction de ces codes, ni sur la complexité des algorithmes de codage/décodage La mesure de la redondance d un codage est définie par : R codage = = H X L = J H X L bloc Pour une source secondaire de K J symboles R codage permet d apprécier quantitativement l efficacité d un code 25

26 La théorie du codage s aborde de deux manières différentes : o Purement combinatoire : on a des mots qu'on réécrit en d'autres mots, et on s'intéresse à des propriétés combinatoires du code. Par exemple, la possibilité de retrouver le mot à partir de son codage (notion de déchiffrabilité) o Probabiliste : on suppose que la source est un objet probabiliste qui émet des suites de symboles aléatoires, ce qui permet de s'intéresser à des propriétés ou à des grandeurs en moyenne ; c'est là qu'intervient fructueusement la notion d'entropie. Notion de déchiffrabilité Un code C est dit déchiffrable (ou uniquement déchiffrable, ou non ambigu) si : s X, s X, C s = C s s = s Si un code est uniquement déchiffrable, il existe donc une fonction de décodage (fonction réciproque) 26

27 Notion de décodage D: C X X telle que D C s = s s En toute généralité, il n'est pas toujours facile de décider si un code est uniquement déchiffrable, ni, s'il l'est, de calculer la fonction de décodage. Prouver qu'un code est ambigu est conceptuellement simple : il suffit d'exhiber deux mots distincts qui ont le même codage. Pour prouver qu'un code est uniquement déchiffrable, c'est a priori plus compliqué: il faut exhiber la fonction de décodage et prouver qu'elle est correcte. 27

28 Exemples codages : 28

29 Exemples de décodages :

30 Compression de l information Codage de source sans distorsion : o Codage par plage o Code de Shannon Fano o Code de Huffman o Codage de Lempel Ziv 3

31 Principe : Rassembler en paquets les signes s i (émis par une source S) qui se suivent et sont identiques Au lieu de coder chaque signe s i, coder des paires de nombres : (plage i, valeur i ) où la plage représente le nombre de signes à valeur identique rassemblés Ce type de codage n est proprement une méthode de codage de source, mais plutôt une transformation préalable des symboles de la source Il consiste à créer de nouveaux symboles pour désigner des séquences de symboles qui apparaissent fréquemment 3

32 Exemples : Il peut être intéressant de les transformer avant leur transmission en créant un nouveau symbole pour désigner 3 symboles successifs et une autre pour désigner 2 symboles successifs, en notant s =, s 2 =, s 3 =, s 4 =, la séquence devient : s s 2 s s s 4 s 3 s 4 s s 2 s 3 s 4 s s s 4 s s 2 s s 2 s 3 s 2 s s 4 s s 4 Image a peu de niveaux de gris ou de couleurs : ,,7 2,8 4,3 32

33 o Ces groupements doivent être choisis arbitrairement, car il n existe pas de méthode optimale de construction d un codage par plages. o Ces transformation sont utilisées en particulier pour la transmission et le stockage d images o Codage efficace seulement si les plages de signes sont suffisamment grandes Exemple : La ligne d une image noir et blanc de 3 colonnes : Est efficacement transformée en : b n b 4 n 3 b 8 n 6 b 5 n 2 b i = i pixel blancs successifs n j = j pixel noirs successifs 33

34 Cette méthode repose sur la maximisation de l entropie à la sortie du codeur Algorithme: ) Ordonner les symboles de la source en probabilités décroissantes 2) Séparer les symboles en deux groupes de probabilités les plus proches possibles. 3) Le symbole du groupe supérieur sera "" et celui du groupe inférieur "" 4) Répéter cette opération à chaque sous-ensemble jusqu à ce que chaque signe possède un code distinct Remarque : Cette procédure ne garantit pas qu il n existe pas une autre procédure conduisant à une valeur L < L Sh Fano Exemple : Transmission dans un canal binaire de l extension de l ordre 2 d une source binaire dont les probabilités des symboles sont les suivantes : p =,49 p 2 =,2 p 3 =,2 p 4 =,9 c = c 2 = c 3 = c 4 = 34

35 Symbole Probabilité - Ordonner les symboles de la source en probabilités décroissantes 2- Séparer les symboles en deux groupes de probabilités les plus proches possibles 3- Répéter cette opération à chaque sous-ensemble jusqu à ce que chaque signe possède un code distinct c = c 2 = c 3 = c 4 = c 5 = c 6 = 35

36 Codage instantané, réversible et compact (dont la longueur moyenne est la plus petite possible) Algorithme o Ordonner les symboles de la source dans l ordre décroissante des probabilités. o Attribuer aux M derniers pair de symboles les codes c, c 2 c M (ici binaire ou ) o Remplacer ces M symboles par un nouveau symbole dont la probabilité est la somme des probabilités des M symboles remplacés et recommencer au premier point. Exemple : p =,49 p 2 =,2 p 3 =,2,49,3,2,5,49 c = c 2 = c 3 = c 4 = p 4 =,9 36

37 Conclusions : Code à décodage instantané compact : répandu en raison de son gratuité et son efficacité préconisé dans de normes de compression d image (JPEG,MPEG) efficacité meilleure si l encodage est par blocs de signes avec la possibilité d obtention L de m bits < m symbole comparé au Code de Shannon Fano, le gain en compression est parfois mineur devant l augmentation de la complexité des algorithmes de codage/décodage. 37

38 Exemple : Codage, Codage, 38

39 Exemple : Code : = = = = = = L = N=6 k= l k p k N=6 H X = p k log 2 k= =,48 +,42 +,36 +,32 +,3 +,25 = 2,3 bits/symbole p k =,5 +,47 +,36 +,29 +,24 +,2 = 2, bits/symb = H X L = 2, 2,3 = 98,5 % 39

40 Remarques : o L'efficacité peut être améliorée si on effectue au préalable une extension de source c'est à dire une transmission par blocs. o Si p k = 2 2l k, on obtient une efficacité = %. o Ce type de technique amélioré est aussi utilisé pour la compression de données comme pour les algorithmes Lempel Ziv utilisés pour le compactage sur disque dur (Zip). 4