1 EXERCICES EXERCICE 1 Pour une certaine région, les prévisions d'un météorologiste M se distribuent suivant les fréquences relatives données par le tableau : Les colonnes correspondent au temps effectif et les lignes aux prévisions. pas de pluie pluie pas de pluie 5/8 1/16 pluie 3/16 1/8 1. Un étudiant astucieux montre que M se trompe une fois sur quatre et qu'il peut faire mieux en ne prévoyant que des jours sans pluie. Vérifier cette assertion. Il postule donc pour le poste de M. Le directeur de M refuse l'offre de l'étudiant. Commenter cette décision à l'aide d'un raisonnement faisant intervenir des notions de théorie de l'information. 2. L'étudiant revient quelque temps plus tard en garantissant les résultats suivants : Les colonnes correspondent au temps effectif et les lignes aux prévisions de l'étudiant. pas de pluie pluie pas de pluie 403/512 93/512 pluie 13/512 3/512 Comment le directeur doit-il réagir à cette nouvelle offre? 3. Le directeur souhaite stocker dans ses archives le temps T (pluie ou absence de pluie) et les prévisions de M. Quelle est la taille minimale du fichier qu'il doit prévoir (en nombre de bits par réalisation de T ou de M)?
2 exercices du chapitre II Si on suppose que prévision et temps effectif pour un jour donné sont indépendants du passé, quel résultat obtient-on par codage de Huffman des couples ( T,M)? EXERCICE 2 Soit X une variable aléatoire à n valeurs possibles x 1, x 2,..., x n 1, x n de probabilités 1 2, 1 2,..., 1 2 2, 1 n 1 2. n 1 1. Effectuer un codage de Huffman des n valeurs possibles de X. 2. Comparer la longueur moyenne des mots code n à l'entropie H(X) de la source (on se contentera d'exprimer n et H(X) sous la forme d'une somme finie de termes). Que constate-ton? En quoi ce résultat est-il remarquable? Comment expliquer ce résultat remarquable? EXERCICE 3 On considère une source binaire sans mémoire U de loi de probabilité: P{ U = 0}= 0,9 et P{ U = 1}= 0,1. Les zéros étant beaucoup plus fréquents que les uns, on se propose de coder les séquences issues de la source en tenant compte du nombre de zéros entre deux uns consécutifs. L'opération consiste en deux étapes : - Première étape On compte le nombre de zéros entre deux uns consécutifs. On obtient ainsi un entier que l'on appelle entier intermédiaire. - Deuxième étape On code l'entier intermédiaire en un mot binaire constitué de quatre éléments binaires si l'entier est inférieur ou égal à 7 et on choisit un mot de un élément binaire si l'entier est 8. Si l'entier intermédiaire dépasse 8, on codera les suites de 8 zéros consécutifs par un bit correspondant à l'entier intermédiaire autant de fois que nécessaire. On obtient ainsi la table de correspondance entre les séquences source et les entiers intermédiaires :
exercices du chapitre II 3 séquences source entiers intermédiaires 1 0 01 1 001 2 0001 3............ 00000001 7 00000000 8 Exemple concernant la première étape d'attribution des entiers intermédiaires: 1 0 0 0 0 0 0 0 0 0 0 1 0 0 0 0 2 8 2 0 4 1. Les contraintes imposées permettent-elles de choisir un code uniquement déchiffrable (on ne demande pas d'expliciter un code particulier)? 2. Calculer le nombre moyen n 1 de bits source par entier intermédiaire. 3. Calculer le nombre moyen n 2 de bits encodés par entier intermédiaire. 4. On considère une séquence de bits source de longueur n avec n très grand. En appliquant la loi faible des grands nombres, exprimer le rapport du nombre de bits utilisés pour coder cette séquence au nombre de bits source (n) en fonction de n 1 et n 2. Calculer numériquement la valeur de ce rapport. Comparer avec la limite en dessous de laquelle il n'est pas possible de descendre. 5. Effectuer un codage de Huffman de l'extension d'ordre 4 de la source U. Calculer (numériquement) le nombre moyen de bits utilisés pour coder un élément binaire issu de la source U. Comparer avec les résultats du 4. EXERCICE 4 1. On considère une variable aléatoire X de loi de probabilité donnée par:
4 exercices du chapitre II P{ X = i}= pq i 1 i IN p + q = 1. Calculer l'espérance mathématique de X et son entropie. (on dit que X suit une loi géométrique de paramètre p) 2. Soit une source discrète sans mémoire X n On considère une suite binaire U j X 0 "0", X 1 "1", X 2 "0",..., X 2i "0", X 2i+1 "1",... ( ) n 0 telle que chaque X n suit la loi énoncée au 1. ( ) j 0, construite à partir des X n, qui émet successivement 2.1 On admettra que ( U j ) est une chaîne de Markov homogène d'ordre 1. Calculer j 0 son entropie. 2.2 Retrouver le résultat du 2.1 (entropie de U) en utilisant les liens unissant U j à X n. 2.3 Montrer que la suite U j ' définie par U j ' = U j + U j 1 modulo 2 est sans mémoire. 3. On considère la chaîne de Markov V j définie par le graphe: p 0 q 0 q 1 p 1 Calculer l'entropie de cette source binaire. (on pourra introduire deux sources X i et X i ' de lois géométriques de paramètres p 0 et p 1 et la source Y i = X i, X i ' ( )). EXERCICE 5 On considère la source binaire V j définie par la question 3 de l'exercice précédent (on prend q 0 = 0,9 et q 1 = 0,6 ). 1. Calculer la loi stationnaire de la source et son entropie. Effectuer un codage de Huffman de l'extension d'ordre 3 de cette source. Quel est le nombre moyen de bits nécessaires pour coder un symbole source? Comparer cette valeur avec l'encadrement donné par le théorème du codage de source. 2. On se propose maintenant de coder la source à l'aide du code préfixe défini par l'arbre:
exercices du chapitre II 5 0 1 mots source 0000 00 01 11 mots code 001 1111 Calculer le nombre moyen d'éléments binaires utilisés pour coder un bit source. EXERCICE 6 On considère une source ternaire sans mémoire délivrant les symboles A, B, C avec les probabilités correspondantes 0.2, 0.3, 0.5. Cette source émet des séquences de longueur 1000. 1. Quel est le nombre de séquences typiques? 2. Quel est le rapport du nombre de séquences typiques au nombre de séquences atypiques? 3. Qelle est la probabilité d'une séquence typique? 4. Combien de bits sont nécessaires pour coder les séquences typiques? 5. Quelle est la séquence la plus probable? S'agit-il d'une suite typique? EXERCICE 7 { } vérifiant: Soit U une source discrète sans mémoire de valeurs possibles a 1,a 2,...,a i,... k > j 1 P{ a k } P a j { }= P{ U = a m }. { } avec P a m On se propose de coder les différentes valeurs de U de la façon suivante: i 1 à la valeur a i est associé le nombre Q i défini par Q i = P{ a k } k > 1 et Q 1 = 0. k =1
6 exercices du chapitre II Le mot code binaire c i correspondant à la valeur a i est obtenu en prenant la partie "décimale" de l'écriture de Q i dans le système binaire (ainsi Q i = 1 2 100..., Q i = 1 0100...,Q i = 5 10100...) que l'on tronque sur un nombre de bits égal au 4 8 plus petit entier supérieur ou égal à la self-information de l'événement { U = a i } exprimée en Shannons ( on note ce nombre i( a i ) ). 1. Le code C ainsi réalisé vérifie-t-il la condition du préfixe (inégalité de Kraft)? 2. On désigne par n la longueur moyenne des mots code. Montrer que n vérifie la double inégalité: H( U) n < H( U)+1 (avec H( U) = entropie de U). Application 3. Coder par le procédé décrit précédemment les huit valeurs d'une source discrète sans mémoire U de probabilités respectives 1 4, 1 4,1 8, 1 8, 1 16, 1 16, 1 16, 1 16. 4. Calculer la longueur moyenne des mots code obtenus et la comparer à l'entropie de la source U. Que constate-t-on? Comment expliquer ce résultat exceptionnel? EXERCICE 8 1. Montrer que l'entropie maximale d'une source discrète à m valeurs distinctes est log 2 m Shannons. 2. Soit X n une chaîne de Markov à deux états { 0,1} dont le graphe est le suivant: 1-p p 1-q q
exercices du chapitre II 7 2.1 Calculer l'entropie de X n en fonction de p et q. 2.2 Déterminer le couple ( p,q) pour lequel l'entropie de X n a la valeur maximale 1 Shannon. 3. On considère une chaîne de Markov Y n dont le graphe est le suivant: 1-p p 1 3.1 Déterminer, par un simple calcul de dérivée, la valeur de p pour laquelle l'entropie de Y n est maximale. Quelle est la valeur numérique de cette entropie? 3.2 On note N k le nombre de séquences possibles de longueur k émises par Y n et on log définit H S = lim 2 N k. Montrer que H S correspond à l'entropie maximale de Y n. k k On se propose maintenant de calculer H S. 3.3 On note N k 1 ( 0) (resp. N k 1 ( 1)) le nombre de séquences possibles de longueur k 1 émises par Y n et finissant par un "0" (resp. un "1"). On a bien sûr N k 1 ( 0)+ N k 1 1 ( ) = N k 1. ( ) et N k 1 1 Exprimer N k en fonction de N k 1 0 En déduire N k en fonction de N k 1 et N k 2. ( ), puis N k 1 1 ( ) en fonction de N k 2 0 ( ). 3.4 L'étude des suites récurrentes montre que l'expression de N k est de la forme: N k = α λ 1 ( ) k + β( λ 2 ) k. Calculer λ 1 et λ 2 (le calcul de α et β n'est pas demandé, ces grandeurs n'intervenant pas dans la suite de l'exercice).
8 exercices du chapitre II 3.5 Calculer la valeur numérique de H S et comparer avec la valeur obtenue au 3.1.