sciences de l information exercices 1 Problème 3.1. On considère de nouveau les quatre codes suivants, que nous avons déjà étudiés: Codes

Transcription

1 sciences de l information exercices 1 Cours Sciences de l Information Automne 2012 Série 3 Nicolas Gast A rendre devant BC 256 le jeudi 11 octobre à 18 :00 au plus tard (Penser à justifier toutes les réponses) Problème 3.1. On considère de nouveau les quatre codes suivants, que nous avons déjà étudiés: Codes Symboles de source A B C D a b c d e Rappeler lesquels des codes sont à décodage unique et lesquels sont instantanés (il n est pas demandé de rejustifier pourquoi ils le sont). Solution. Les codes B et C sont à décodage unique et seul B est instantané. 2. Pour les codes non instantanés, dire s il est possible de trouver un code instantané (et donc à décodage unique) ayant les mêmes longueurs de mots et si oui donner un exemple de code. Solution. Les codes non instantanés sont A, C et D. Le code A ne vérifie pas l inégalité de Kraft, car: = Il est donc impossible de le transformer en un code à décodage unique (et donc a fortiori instantané). C vérifie l inégalité de Kraft. Nous pourrions utiliser la construction de la section 2.7, mais nous pouvons aussi remarquer que le code miroir de C (obtenu en intervertissant l ordre des symboles) est un code sans préfixe (donc instantané): On obtient ainsi le code suivant: symbole de source a b c d e mot de code Notons qu il y plusieurs solutions à cette question, d autres codes peuvent être obtenus. Le code D vérifie l inégalité de Kraft, on peut donc le transformer en un code à décodage unique en utilisant la construction de la section 2.7. On obtient par exemple le code suivant: symbole de source b e a c d mot de code Ce code est, par construction, sans préfixe et est donc instantané. Notons que nous avons choisi de respecter les mêmes longueurs de mots de codes que pour le code original; il y a plusieurs façons de

2 sciences de l information exercices 2 faire cela, par exemple nous pourrions intervertir les mots de code correspondant b et e. Problème 3.2. Pour chacun des codes A, B, C ou D de l exercice 3.1 qui sont à décodage unique, dire s il est possible de réduire la taille de certains mots tout en conservant la propriété de décodage unique. Solution. Deux codes de l exercice 3.1 sont à décodage unique: le code B et le code C. Les longueurs l 1... l 5 des cinq mots du code B sont 2, 2, 2, 3, 3. L inégalité de Kraft pour le code B donne donc: 2 l i = = 1. i Donc, si l on réduit la taille d au moins 1 mot, alors l inégalité de Kraft n est plus vérifiée et le code ainsi modifié ne peut pas être à décodage unique. Il y a plusieurs moyens de réduire la longueur de certains mots du code C en concervant sa propriété de décodage unique. Une méthode simple consite à enlever un 1 de tous les mots de code. On obtient alors le code: a b c d e Pour la même raison que C est à décodage unique, celui ci l est aussi: la lettre 0 sert de séparateur entre les symboles de sources. Problème 3.3. Pour chacune des applications suivantes, dire si elle est injective, surjective, bijective (justifier la réponse): f 1 : Q Z x x f 2 : N Z n n f 3 : Z N n n 2 f 4 : N N n n 2 N = {0, 1, 2, 3, 4,...} est l ensemble des entiers positifs ou nuls (entiers naturels ). Z = {..., 2, 1, 0, 1, 2, 3,... } est l ensemble des entiers. Q est l ensemble des fractions rationnelles. La notation x, où x est un nombre réel, signifie la partie entière (par défaut) de x, c est à dire le plus grand entier x. Par exemple 3.14 = 3 et 2 = 2. Solution. f 1 n est pas injective car par exemple f 1 (1/2) = f 1 (0), i.e. il y a une collision. f 1 est surjective car pour tout z Z, il existe au moins un x Q tel que f 1 (x) = z. Il suffit de prendre x = z. f 1 n étant pas injective, elle n est pas bijective. f 2 est évidemment injective. Elle n est pas surjective car par exemple 1 n a pas d antécédent. f 2 n étant pas surjective, elle n est pas bijective. f 3 n est pas injective car f ( 1) = f (1) = 1. f 4 n est pas surjective car il n existe aucun n N tels que n 2 = 2. f 4 n est donc pas surjective.

3 sciences de l information exercices 3 Montrons que f 4 est injective; il faut montrer qu il n y a pas de collision, i.e. pour tous n, n dans N: n = n f 4 (n) = f 4 (n ) Par contraposition, cela revient au même de montrer: f 4 (n) = f 4 (n ) n = n (1) Soient donc n et n dans N. Supposons que f 4 (n) = f 4 (n ) i.e. n 2 = n 2 donc n = n ou n = n ; mais n 0 et n 0 donc n = n. Nous avons montré (1) donc f 4 est injective. Par contre, f 4 n est pas surjective car il n existe aucun n N tels que n 2 = 2. Elle n est donc pas bijective. Problème 3.4. Existe-t-il un code binaire à décodage unique pour un alphabet de source comportant 6 symboles, avec les longueurs de mots de code suivantes? Si oui, donner à chaque fois le dictionnaire (l ensemble des mots de code) d un code possible. 1. {2; 2; 3; 3; 4; 4} Solution. L inégalité de Kraft donne = 14/16 < 1 donc on peut construire un tel code. Nous appliquons la méthode donnée dans le cours pour construire l arbre de décodage et trouvons le dictionnaire: {00, 01, 100, 101, 1100, 1101}. 2. {1; 2; 2; 4; 4; 4} Solution. L inégalité de Kraft donne = > 1 donc il n y a pas de tel code. Problème 3.5. L alphabet Morse international est décrit dans la Figure 1. Chaque lettre est codée en utilisant les symboles et. 1. Décoder le message Solution. Le message est BONJOUR Décoder aussi le message de la Figure 2. Figure 1: L alphabet Morse international. Source: Wikimedia Commons. Solution. Le message est INFORMATIQUE" 2. Coder les messages EPFL et FERRE. Solution. EPFL devient et FERRE devient Figure 2: Sur la porte du bâtiment BC. 3. Le code est-il sans préfixe? Est-il à décodage unique? Solution. A première vue, le code est binaire et n a l air ni sans préfixe, ni à décodage unique car il semble que le codage de I et le codage de EE soit le même :...

4 sciences de l information exercices 4 En réalité, le code est ternaire et comporte un symbole espace : tout mot de code finit pas un espace. Le code est donc bien sans préfixe et donc à décodage unique. 4. Selon votre réponse à la question précédente: (a) Si le code est à décodage unique, est-il possible de réduire la longueur de certains mots de code tout en conservant la propriété de décodage unique (et pourquoi cela n a pas été fait par les inventeurs du morse)? (b) Si le code n est pas à décodage unique, est-il possible d augmenter (faiblement) la longueur de certains mots de code afin de le rendre à décodage unique (et pourquoi cela n a pas été fait par les inventeurs du morse)? Solution. Les chiffres ont tous un codage de longueur 6 (5 - ou. plus l espace). Comme il n y a aucun autre mot de longueur supérieur à 5, on peut supprimer l espace après le code de tous ses chiffres tout en concervant le caractère sans préfixe. Cette amélioration (ainsi que de nombreuses autres possibles) n a sans doute pas été faite car le décodage était fait par des humains au crayon de papier: le fait d avoir un espace entre chaque lettre facilite le travail. Problème 3.6. probabilité Donner un code de Shannon-Fano binaire. Calculer sa longueur moyenne et vérifier les inégalités de l entropie. Solution. Les longueurs des mots de code doivent être: log = 4, log = 3, log = 2 et log = 10. En appliquant la méthode du cours, on commence par construire le code de e: 00, puis les codes de c et d: 010 et 011, etc...ce qui donne: code La longueur moyenne de ce code est: L = bits L entropie de la source est: H(S) = (0.2 log 2 (.1) log 2 (.2) log 2 (.399) log 2 (.001)) bits On a donc bien L < H(S) Construire un code de Huffman binaire pour ce code. Quelle est sa longueur moyenne? Solution. On applique la méthode du cours pour construire un code de Huffman. On commence par fusionner la lettre f avec la lettre a, ce qui donne un symbole de probabilité qu on fusionne avec la lettre b pour donner un symbole de probabilité On doit ensuite fusionner c et d ensemble. On obtient alors l arbre décrit à la figure 3. Le code correspondant est: c d e b a f Figure 3: Arbre de décodage du code de huffman binaire.

5 sciences de l information exercices 5 code La longueur moyenne de ce code est: L = bits On a donc gagné 22% comparé au code de Shanon-Fano. Problème 3.7. La source S a les probabilités de symboles suivantes: probabilité Calculer l entropie de la source S. Solution. L entropie est H(S) 2.15 bits. 2. Donner deux codes de Huffman binaires différents pour la même source S, ayant des suites de longueurs de mots différentes. Donner les codes par leur arbre de décodage. Solution. Lorsque l on construite un code de Huffman pour cette source, on doit commencer par fusionner les lettres a et b. On se retrouve en suite avec trois noeuds de probabilité 0.1: {a, b}, c et d. On peut donc choisir de fusionner d abord c et {a, b} ou {c, d}. Il n y a pas de choix pour le reste de la construction. Cela donne les deux arbres de décodage de la figure 2. Nous disons que deux codes ont des suites de longueurs de mots égales si les deux suites obtenues en écrivant les longueurs de mots par ordre croissant sont identiques. Nous disons que deux codes ont des suites de longueurs de mots différentes si les deux suites obtenues en écrivant les longueurs de mots par ordre croissant ne sont pas identiques. Par exemple, les codes B, B et C du cours ont des suites de longueurs de mots égales (1234); les codes B et Γ H ont des suites de longueurs de mots différentes (1234 et 1233). Figure 4: Deux codes de Huffman possibles 3. Calculer la longueur moyenne de chacun de ces deux codes. Solution. Pour le premier code nous avons la table suivante longueur du mot de code et la longueur moyenne est = 2.2 bits Pour le deuxième code nous avons la table suivante

6 sciences de l information exercices 6 longueur du mot de code et la longueur moyenne est = 2.2 bits Les deux codes ont la même longueur moyenne. 4. Montrer que si deux codes sont des codes de Huffman avec des longueurs de mots différentes pour la même source, alors ils ont la même longueur moyenne. Solution. Soit L 1 la longueur du premier code et L 2 la longueur du deuxième. Ces deux codes sont optimaux, la longueur L de tout code binaire à décodage unique vérifie L L 1 et L L 2. Comme ces deux codes sont à décodage unique, on a L 2 L 1 et L 1 L 2. Donc L 1 = L 2.