Information et Codage

Dimension: px
Commencer à balayer dès la page:

Download "Information et Codage"

Transcription

1 Information et Codage Chaps. 1 5 Olivier RIOUL TELECOM ParisTech olivier.rioul@telecom-paristech.fr Chaps. 6 7 Benoît GELLER ENSTA ParisTech benoit.geller@ensta-paristech.fr

2

3 Avant-propos Ce cours vise tout d abord à établir solidement les bases de codage de source sur les outils de la théorie de l information, de manière à ce que les connaissances acquises puissent être étendues rapidement aux problématiques plus récentes. Puis, on aborde une caractérisation des outils essentiels de la compression de source : quantification scalaire et vectorielle, codage à longueur variable, codage par transformée, allocation de débit. De nombreux exercices sont proposés en appendice de ce document, regroupés par chapitre. Bonne lecture! Mots clés Théorie de l information, Théorèmes de Shannon, Codage entropique à longueur variable, Quantification scalaire et vectorielle, Algorithme de Lloyd-Max, Gain de codage par transformée, Transformée de Karhunen-Loève, Allocation optimale de débits binaires, Compression d images. 3

4 4

5 Bibliographie [1] Olivier Rioul, Théorie de l information et du codage, Hermes Sciences- Lavoisier, 007. [] Robert Mc Eliece, The Theory of Information and Coding, Addison Wesley, [3] Thomas Cover, Joy Thomas, Elements of Information Theory, J. Wiley & sons, [4] Nicolas Moreau, Techniques de Compression des Signaux, Masson CNET- ENST, [5] Allan Gersho, Robert Gray, Vector Quantization and Signal Compression, Kluwer Academic,

6 6 BIBLIOGRAPHIE

7 Chapitre 1 Outils de la théorie de l information 1.1 Description d un système de codage de source. On considère une source d information qu on suppose constituée d une suite d échantillons ou de symboles x. La source peut être codée symbole par symbole (codage scalaire) ou par bloc de n symboles x = (x 1,..., x n ) (codage vectoriel en dimension n). Le cas scalaire correspond à n = 1. Le codeur de source associe à chaque entrée x une étiquette ou index i mise sous forme binaire ; les index peuvent prendre un nombre fini M de valeurs possibles, chaque index est donc représenté en moyenne sur log M bits et représente la source x sous forme codée. Cet index est ensuite transmis (pour des applications de transmission numérique) ou stocké (pour des applications de stockage numérique). Le décodeur de source récupère chaque index i au niveau du destinataire et fournit un bloc y de n symboles correspondant, dans le domaine source. Ce y représente la source reconstruite pour le destinataire. Il y a deux paramètres fondamentaux dans un système de codage de source : 1. Le taux de codage (coding rate) R est le nombre moyen de bits codés par symbole de source : R = log M n Ce taux s exprime donc en bits par symbole ; il est lié au débit binaire en bits/sec (voir exercice). La compression de source est d autant plus importante que R est petit.. Le critère de distorsion D sert à mesurer (de manière objective) la qualité ou la fiabilité de la reconstruction. Typiquement (pour des échantillons d un signal, par exemple) on choisit un critère d erreur quadratique 7

8 8 CHAPITRE 1. OUTILS DE LA THÉORIE DE L INFORMATION moyenne (mean square error m.s.e.) par symbole de source : D = 1 n E( X Y ) où E désigne l espérance de sorte à disposer d un critère moyen sur l ensemble de tous les blocs de source. Le système est de qualité d autant plus grande que D est petit. Le but du concepteur d un système de codage de source est de réaliser la plus grande compression (R petit) tout en garantissant une bonne fiabilité (D petit). Il y a donc un compromis à trouver entre R et D. Le compromis optimal théorique va être fourni par la théorie de l information de Shannon. 1. Rappels sur les variables aléatoires. Le destinataire ne connait pas à l avance l information-source émise ; pour lui, les symboles de source x apparaissent aléatoires. On modélise donc une source par un modèle probabiliste : un échantillon ou bloc X de source est une variable aléatoire (v.a.) qui suit une distribution de probabilité p(x). Dans le cas d un source discrète (ou numérique), chaque symbole x peut prendre un nombre fini de valeurs et p(x) est la probabilité que X = x. Dans le cas d une source continue, chaque échantillon x appartient à un continuum de valeurs (réelles ou complexes), et p(x) est une densité de probabilité. Dans tous les cas on adopte une notation unifiée ; p(x) est telle que p(x) 0 et x p(x) = 1. Le calcul d une probabilité quelconque se fait à l aide de la formule : P r ob{x A} = x A p(x). 1.3 Traitement et probabilités conditionnelles. En théorie de l information chaque traitement (codage, décodage, canal de transmission, etc.) est aussi modélisé de façon probabiliste ; ce modèle permet de décrire aussi bien des traitements déterministes qu aléatoires. Un traitement T d entrée X et de sortie Y est décrit par les probabilités de transition p(y x). Ici p(y x) est une probabilité conditionnelle de y sachant x, définie par : p(x, y) p(y x) = p(x).

9 1.4. SUITE DE TRAITEMENTS ET CHAÎNE DE MARKOV. 9 C est une distribution de probabilité en y pour toute valeur fixée de x. La sortie du traitement Y est donnée en fonction de l entrée X par la formule : p(y) = x p(x)p(y x). On rappelle que les v.a. X et Y sont dits indépendantes si p(y x) = p(y), c est à dire si p(x, y) = p(x)p(y). Le traitement X Y est alors «opaque». 1.4 Suite de traitements et chaîne de Markov. Dans un système de codage apparaît une suite de traitements point à point. Si on considère par exemple une suite de deux traitements : X Y Z, les trois v.a. X, Y, Z vérifient nécessairement une condition de chaîne de Markov qui exprime que Z ne dépend des autres v.a. que par l intermédiaire de Y (dont il est issu par traitement). Ceci s écrit : p(z x, y) = p(z y). On généralise immédiatement cette condition de chaîne de Markov au cas de plusieurs (> ) traitements. 1.5 Divergence D(p, q). On se donne une v.a. X de distribution de probabilité p(x), et une autre distribution de probabilité q(x) définie pour les mêmes valeurs de x. La divergence de Kullback-Leibler ou entropie relative de q(x) par rapport à p(x) est donnée par la formule : D(p, q) = p(x) p(x)log x q(x) = E log p(x ) q(x ) Cette divergence s exprime en unités binaires (bits) à cause du choix de la base du logarithme. Le résultat fondamental suivant est à la base de la plupart des résultats importants en théorie de l information : D(p, q) 0 avec égalité (D(p, q) = 0) si et seulement si p(x) = q(x) p.p. On peut écrire ce résultat sous la forme suivante (inégalité de Gibbs) : 1 p(x)log p(x) 1 p(x)log q(x) avec égalité si et seulement si p(x) = q(x) p.p. x x

10 10 CHAPITRE 1. OUTILS DE LA THÉORIE DE L INFORMATION 1.6 Information mutuelle I (X, Y ). L information mutuelle I (X,Y ) peut se définir comme une mesure de dépendance entre X et Y, c est à dire comme la divergence de la loi q(x, y) = p(x)p(y) (que suivraient X,Y si elles étaient indépendantes) par rapport à p(x, y) : I (X,Y ) = x,y p(x, y)log p(x, y) p(x)p(y) D après le résultat fondamental des divergences, I (X,Y ) 0 et I (X,Y ) = 0 si et seulement si X et Y sont indépendantes. On peut réécrire I (X,Y ) sous la forme : I (X,Y ) = E log p(y X ) p(y ) qui est la divergence moyenne entre les distributions de probabilité de Y sachant x et ne sachant pas x. Ainsi I (X,Y ) (en bits) s interprète comme la quantité d information moyenne qu apporte une réalisation de X sur la connaissance de Y. Cette information est «mutuelle» car I (X,Y ) = I (Y, X ). 1.7 Information mutuelle et entropie. où En développant l expression de I (X,Y ) on obtient la formule : I (X,Y ) = H(Y ) H(Y X ) H(Y ) = y est appelée entropie de la v.a. Y, et où : p(y)log 1 p(y) H(Y X ) = E y H(Y X = x) = p(x) 1 p(y x)log x y p(y x) est appelée entropie conditionnelle de Y sachant X. Cette dernière entropie est une moyenne non seulement sur y, mais aussi sur le «conditionnement» x. Dans le cas d une v.a. discrète Y (pouvant prendre un nombre fini M de valeurs), l entropie H(Y ) = 1 p(y)log y p(y) est une quantité 0, qui s annule si et seulement si Y est «déterministe» Y = y 0 p.p. L entropie maximale log M est atteinte lorsque Y est une v.a. uniforme

11 1.7. INFORMATION MUTUELLE ET ENTROPIE. 11 (symboles y équiprobables). On peut ainsi interpréter H(Y ) comme une mesure d aléa de Y, ou comme une mesure d incertitude moyenne sur Y (avant réalisation Y = y). L entropie conditionnelle H(Y X ) mesure donc l incertitude moyenne sur Y qui reste sachant X. La différence des deux incertitudes H(Y ) H(Y X ) = I (X,Y ) est bien l information moyenne qu apporte X sur Y. Dans le cas d une v.a. continue Y, l entropie 1 H(Y ) = p(y)log y p(y) d y n est plus nécessairement 0 ; on ne peut plus l interpréter comme une mesure d incertitude. Dans ce cas H(Y ) est qualifiée d entropie différentielle (voir chapitre ).

12 1 CHAPITRE 1. OUTILS DE LA THÉORIE DE L INFORMATION

13 Chapitre Théorie de l information appliquée au codage.1 Théorème du traitement de données. Le théorème du traitement de données dit que «tout traitement fait perdre de l information» (en tout cas ne peut pas en faire gagner). Formellement, on considère une succession de traitements : On a alors : X I J Y I (X,Y ) I (I,J ) Autrement dit l information mutuelle entre deux v.a. «proches» dans une chaîne de traitements est plus grande que ou égale à celle entre v.a. plus éloignées.. Fonction taux-distorsion (codage avec pertes). Théorème de Shannon. Si on applique le théorème du traitement de données au système de codage de source présenté à la leçon 1, on obtient : I (X,Y ) I (I,I ) = H(I ) puisqu on a supposé I = J (transmission ou stockage sans erreur). Pour obtenir la plus forte inégalité possible on maximise H(I ) (maximum = log M) et on minimise I (X,Y ). On obtient, en se ramenant à des bits par symbole source : min 1 n I (X,Y ) log M = R n 13

14 14 CHAPITRE. THÉORIE DE L INFORMATION APPLIQUÉE AU CODAGE Le minimum d information mutuelle s effectue sur n et sur le choix de p(y x), puisque p(x) est fixé pour une source donnée ; il s effectue aussi sous la contrainte de fiabilité donnée par un certain niveau de distorsion D. On obtient donc la définition suivante : R(D) = inf n min { 1 p(y x) n I (X,Y ) 1 n E( X Y ) D} qu on appelle fonction taux-distorsion R(D) de Shannon. Ainsi le théorème du traitement de données implique l inégalité R R(D) qui indique que R(D) est une borne inférieure sur le taux de codage : il est impossible de comprimer les données en deçà de R(D) pour un niveau de distorsion D donné. Le théorème de Shannon (1959) pour le codage de source avec pertes montre que R(D) est la meilleure borne possible, dans le sens où on peut toujours trouver un système de codage (fusse-t-il très complexe, pour n assez grand) qui permette de s approcher d aussi près qu on veut de la borne R(D)..3 Entropie d une source (codage sans pertes). Un système de codage de source est dit sans pertes si Y = X, c est à dire si on peut reconstruire parfaitement la source au destinataire (avec D = 0). Dans ce cas, la borne de Shannon R(D = 0) est égale à l entropie de la source définie par : 1 H = inf n n H(X ) Cette entropie est naturellement une borne inférieure sur le taux de codage : R H. On ne peut pas comprimer des données (sans pertes) en deçà de l entropie. Le théorème de Shannon (1948) pour le codage de source sans pertes (cas particulier D = 0) dit qu on peut s approcher de l entropie H d aussi près qu on veut (voir chapitre 3)..4 Cas d une source sans mémoire. Une source est dite sans mémoire si les symboles ou échantillons de source sont indépendants et identiquement distribués (iid), c est à dire : p(x) = p(x 1 )p(x ) p(x n ).

15 .5. CAS D UNE SOURCE GAUSSIENNE. 15 Dans la conception d un système de codage de source on peut souvent se ramener à ce cas simple (voir leçon 5). Pour une source sans mémoire, l expression de R(D) se simplifie car elle devient indépendante de la valeur de n : R(D) = min p(y x) {I (X,Y ) E((X Y ) ) D} En codage sans pertes il vient H = H(X ), l entropie de la v.a. X..5 Cas d une source gaussienne. En codage avec pertes d une source gaussienne sans mémoire de distribution de probabilité : 1 (x µ) p(x) = e σ πσ on peut calculer explicitement R(D). On trouve : R(D) = { 1 log σ D D σ, 0 D σ. où σ D est le rapport signal à bruit. Ceci correspond à une borne optimale de Shannon qu on peut exprimer sous la forme d une fonction distorsion/taux : D(R) = σ R. On obtient une courbe théorique de performances optimales où le rapport signal à bruit (en db) croît linéairement en R, avec une pente de 6 db/bit.

16 16 CHAPITRE. THÉORIE DE L INFORMATION APPLIQUÉE AU CODAGE

17 Chapitre 3 Codage entropique à longueur variable 3.1 Description d un système de codage à longueur variable. On se donne une source discrète (données, fichier,... ) dont chaque symbole x prend une parmi M valeurs possibles {x 1, x,..., x M }. Une distribution de probabilité p(x) caractérise les statistiques de cette source, on la suppose connue (ou estimée) sous la forme {p 1, p,..., p M }, où p i est la probabilité d occurrence du symbole x i. Le codeur code chaque symbole de source x i par un mot de code c i. Le code est l ensemble des mots de codes {c 1,...,c M }. Un code à longueur variable (VLC : Variable-Length Code) est tel que les différents mots de code n ont pas nécessairement la même longueur, en bits. On note l i la longueur en bits du mot de code c i. La distribution des longueurs du code est donc {l 1,l,...,l M }. Le décodeur reconstruit les symboles de source à partir de la séquence binaire des mots de codes. Le taux de codage (coding rate) R est le nombre moyen de bits codés par symbole de source, c est à dire M R = p i l i. i=1 Un code est donc d autant plus efficace en compression que R est petit. 17

18 18 CHAPITRE 3. CODAGE ENTROPIQUE À LONGUEUR VARIABLE 3. Codes uniquement décodables et instantanés. Condition du préfixe. Le but du codage de source sans pertes est de comprimer ces données de façon telle que l on puisse reconstruire parfaitement (sans pertes, sans erreur) la source au destinaire. Pour cela, il faut que le décodage ait lieu sans ambiguïté, c est à dire qu une séquence codée donnée doit être interprétable de façon unique comme une succession (concaténation) de mots de codes déterminés. Un code permettant un tel décodage (sans ambiguïté) est qualifié d uniquement décodable (u.d.). Certains codes u.d. nécessitent une implantation complexe du décodeur, qui doit lire la séquence codée binaire suffisamment loin à l avance pour décoder un symbole de source. D autres codes u.d., par contre, sont très simples à décoder ; on les appelle codes instantanés, car le décodeur n a besoin de lire que les l i premiers bits d une séquence codée pour pouvoir l interpréter «instantanément» et de manière unique comme étant le mot de code c i, représentant le symbole x i. Une code instantané est caractérisé par la condition du préfixe : Aucun mot de code n est le préfixe d un autre mot de code (c est à dire aucun c i ne débute un c j, j i ). 3.3 Inégalité de Kraft-McMillan. Pour trouver le meilleur code pour une source donnée, il faut minimiser le taux R sous la contrainte que le code soit u.d. Afin de réaliser cette optimisation, on caractérise d abord le fait qu un code soit u.d. sur la distribution des longueurs : 1. Tout code u.d. vérifie l inégalité de Kraft-McMillan : M l i 1 i=1. Réciproquement, si l inégalité de Kraft-McMillan est vérifiée, alors il existe un code u.d., et même instantané, qui admette {l 1,l,...,l M } comme distribution de longueurs. Il en résulte qu on peut limiter la recherche du meilleur code à l ensemble des codes instantanés. Il y a un algorithme simple qui fournit un code instantané {c 1,...,c M } à partir d une distribution de longueurs {l 1,l,...,l M } vérifiant l inégalité de Kraft-McMillan.

19 3.4. OPTIMISATION. CODES DE FANO-SHANNON ET DE HUFFMAN Optimisation. Codes de Fano-Shannon et de Huffman. D après le paragraphe précédant, pour trouver le meilleur code pour une source donnée, il faut minimiser le taux R sous la contrainte de l inégalité de Kraft-McMillan : min{r = p i l i l i 1} i i Si on applique brutalement la méthode du Lagrangien on trouve que R est 1 minimisé lorsque l i = log p, auquel cas le taux minimal est l entropie de la i source : M 1 H = H(U ) = p i log p i Cependant ce résultat ne donne pas, en général, des longueurs l i entières! Une façon d obtenir des longueurs entières est de prendre 1 i=1 l i = log 1 p i On obtient la famille des codes de Fano-Shannon, qui vérifient bien l inégalité de Kraft-McMillan, et pour lesquels on trouve H R H + 1. Cependant ces codes ne sont pas toujours optimaux. La résolution complète du problème de recherche du meilleur code est donnée par algorithme itératif sur M appelé algorithme de Huffman. On obtient alors un code de Huffman dont le taux R est minimal pour une source donnée (par les p i ). 3.5 Théorème de Shannon. D après ci-dessus le taux de codage du meilleur code vérifie l inégalité H R H + 1. Comme le montre l exemple d une source binaire (M = ) d entropie faible, on ne peut pas en général améliorer l inégalité R H + 1 en codant la source symbole par symbole. En pratique on utilise alors des techniques de codage par plage (RLC : Run- Length Coding) pour améliorer les performances. 1. x désigne le plus petit entier x.

20 0 CHAPITRE 3. CODAGE ENTROPIQUE À LONGUEUR VARIABLE Une autre possibilité est de coder la source par blocs de n symboles. On obtient alors pour R en bits/symbole l encadrement : H R H + 1 n, où H est l entropie d ordre n de la source. En faisant n, on obtient le théorème de Shannon pour le codage de source sans pertes, qui affirme qu on peut s approcher de l entropie de la source d aussi près qu on veut. 3.6 Autres systèmes de codage sans pertes. D autres systèmes de codage de source sans pertes ont été proposés pour prendre en compte les dépendances temporelles (d un symbole à l autre) de la source (source avec mémoire) ; Ces sytèmes de codage permettent de coder une source quelconque sans connaitre a priori ses statistiques (codage «universel»), mais sont plus complexes à mettre en oeuvre. Les plus connus sont les systèmes de codage de Lempel-Ziv et de Codage arithmétique.

21 Chapitre 4 Quantification scalaire 4.1 Description d un système de quantification scalaire. On se donne une source continue X modélisée par des échantillons aléatoires de densité de probabilité p(x). Le quantificateur Q code chaque échantillon x par une étiquette binaire ou index i pouvant prendre M valeurs. Le déquantificateur «Q 1» reconstruit les échantillons y à partir des index binaires. Le taux de quantification R est toujours le nombre moyen de bits codés par échantillon, c est à dire R = log M. On considérera ici (comme dans la plupart des applications) une distorsion quadratique ou erreur quadratique moyenne (e.q.m.) : D = E{(X Y ) } = p(x)(x y) dx Afin d optimiser le système de quantification, on cherche à minimiser D pour un taux R donné. Concevoir un quantificateur revient à partionner l ensemble des valeurs possibles de X en M cellules ou régions de quantification notées R 1,R,...,R M, de sorte que x est quantifié sur l index i si et seulement si x R i. Concevoir un déquantificateur revient à se donner M représentants notés y 1, y,..., y M, un par cellule, se sorte que i est déquantifié sur y = y i. L ensemble de ces représentants s appelle le dictionnaire (codebook). Optimiser le système revient donc à choisir des cellules R i et des représen- 1

22 CHAPITRE 4. QUANTIFICATION SCALAIRE tants y i optimaux tels que la distorsion D soit minimale : D = M i=1 R i p(x)(x y i ) dx. Insistons sur le fait qu ici la quantification est scalaire, c est à dire qu on quantifie échantillon par échantillon. On ne peut donc pas exploiter la mémoire de la source. 4. Conditions du plus proche voisin et du centroïde En pratique il est trop difficile de minimiser D directement. On procède donc par optimisation séparée : en fonction des cellules d une part, et des représentants d autre part Condition du plus proche voisin Ici on cherche à optimiser D sur le choix des cellules R 1,R,...,R M pour un dictionnaire y 1, y,..., y M donné. Autrement dit, on optimise le quantificateur pour un déquantificateur donné. Pour cela, il suffit de remarquer que l erreur quadratique (x y) est minimale lorsque y est le représentant le plus proche de x. Cette condition, appelée condition du plus proche voisin, revient à choisir les cellules optimales suivantes (appelées cellules de Voronoï) : R i = {x tel que x y i x y j pour tout j } Autrement dit, les R i sont des intervalles du type (x i 1, x i ) dont les frontières x i sont les milieux entre deux représentants successifs : 4.. Condition du centroïde x i = y i + y i+1. Ici on cherche à optimiser D sur le choix du dictionnaire y 1, y,..., y M pour des cellules R 1,R,...,R M données. Autrement dit, on optimise le déquantificateur pour un quantificateur donné. Pour cela, il suffit de minimiser la contribution de y i à la distorsion totale D pour tout i : min p(x)(x y i ) dx R i

23 4.3. ALGORITHME DE LLOYD-MAX 3 En annulant la dérivée de cette fonction quadratique on trouve la condition du centroïde : R y i = i xp(x)dx R i p(x)dx qui exprime que y i est le «centroïde» (barycentre) de R i selon la distribution de probabilité de la source. 4.3 Algorithme de Lloyd-Max L algorithme de Lloyd-Max (1960) consiste à itérer les deux conditions précédentes qui ne sont que des conditions nécessaires d optimalité, afin d obtenir une solution vérifiant simultanément les deux conditions. On initialise l algorithme par un choix arbitraire des centroïdes (par exemple). On applique ensuite la condition du plus proche voisin qui détermine les cellules, puis on recalcule les centroïdes par la condition du centroïde, et on recommence jusqu à convergence. 1. Cette convergence arrive-t-elle toujours? Oui, car la distortion globale D ne peut que diminuer à chaque étape de l algorithme ; elle converge donc vers une valeur limite. En pratique, à la convergence, la solution reste stationnaire et vérifie donc simultanément les deux conditions du plus proche voisin et du centroïde.. Obtient toujours un minimum global? Non, car on peut trouver des contreexemples avec minima locaux (cf. exercice). Cependant, on peut montrer que si la fonction log p(x) est concave, alors la solution obtenue après convergence est effectivement l optimum global. C est le cas, par exemple, pour une source gaussienne ou uniforme. 4.4 Performances en haute résolution Le système de quantification est dit en «haute résolution» si les cellules de quantification sont assez petites pour qu on puisse les considérer infinitésimales pour le calcul des performances. Cela suppose un taux de codage R élevé. Sous cette condition, la distorsion quadratique s écrit : D i yi +q i / y i q i / p i (x y i ) dx = 1 1 p i q 3 i i

24 4 CHAPITRE 4. QUANTIFICATION SCALAIRE où q i est la longueur («pas» de quantification) de la cellule R i et où p i est la valeur constante de p(x) dans R i. En réapproximant le résultat par une intégrale il vient : D = E ( q(x ) ) 1 où q(x) est la pas de quantification variable (= q i pour x R i ). Noter que si la quantification est uniforme (pas constant q i = q) on obtient la formule (classique) : D = q 1 On introduisant la fonction λ(x) = 1 qui représente la densité des cellules Mq(x) de quantification (cf. exercice), et en notant que M = R, on obtient la formule de Bennett : D = 1 [ ] p(x) 1 λ(x) dx R où λ(x) 0 et λ(x)dx = 1. La formule de Bennett donne les performances d une quantification scalaire non uniforme quelconque, caractérisée par sa densité λ(x). En optimisant cette densité par rapport à la source on obtient (cf. exercice) : D = 1 ( 1 p(x) 1/3 dx) 3 R. On montre en exercice que, pour une source gaussienne de variance σ, on a : D = π 3 σ R. à comparer avec la limite de Shannon D = σ R. La caractéristique de rapport signal à bruit (en décibels), fonction du taux de quantification en bits, laisse π 3 apparaître une différence de 10log 10 = 4.35 db en dessous de la limite de Shannon. On est encore loin de l optimal! 4.5 Performances en présence d un codeur entropique Une façon d améliorer le système est de faire suivre la quantification par un codage entropique (sans pertes, cf. leçon précédente). La distorsion D = 1 1 E q(x ) est alors inchangée mais le taux a diminué ; on peut l évaluer comme

25 4.5. PERFORMANCES EN PRÉSENCE D UN CODEUR ENTROPIQUE 5 l entropie de l index de distribution de probabilité p(i ) = p i q i avec les notations précédentes. On obtient R = 1 p i q i log i p i q i que l on peut réapproximer comme une intégrale ; il vient : R = H(X ) + E log 1 q(x ) où H(X ) est l entropie différentielle de la source. En utilisant l inégalité de Jensen (concavité du logarithme, cf. exercice du chapitre 1) sur q(x ), on obtient une distorsion minimale : D = 1 1 H(X ) R qui est atteinte dans le cas d égalité de l inégalité de Jensen, c est à dire quand q(x) est constant = q. Autrement dit, lorsqu elle est suivi d un codage entropique, la quantification scalaire optimale est uniforme. Dans le cas d une source gaussienne il vient D = πe 1 σ R. πe On est plus qu à 10log 10 1 = 1.53 db en dessous de la limite de Shannon. Le codage entropique a apporté un gain important, en tout cas en haute résolution, c est à dire pour un fort rapport signal à bruit.

26 6 CHAPITRE 4. QUANTIFICATION SCALAIRE

27 Chapitre 5 Codage par transformée 5.1 Description d un système de codage par transformée. On se donne une source continue X modélisée par des échantillons aléatoires de densité de probabilité p(x) et de variance σ X. On ne suppose pas ici la source sans mémoire. Le codage par transformée consiste à envoyer un vecteur X = (X 1,..., X n ) de n échantillons de cette source dans une transformée (inversible) T. On obtient ainsi un vecteur U = T(X ) dans le domaine transformé. Chaque échantillon U i en sortie de la transformée est ensuite quantifié par un quantificateur Q i sur M i niveaux de quantification. Pour chacune de ces sources, on a ainsi un taux de quantification de R i = log M i bits par échantillon. Le déquantificateur «Q 1» reconstruit les échantillons V i ; la transformée inverse T 1 est finalement appliqué au vecteur V pour fournir la source reconstruite Y = T 1 (V ). Le taux de quantification global R est toujours le nombre moyen de bits codés par échantillon de source X, c est à dire R = 1 n Insistons sur le fait qu ici la quantification est scalaire, mais porte sur des coefficients transformés d un vecteur de source. Bien que l on quantifie les coefficients transformés échantillon par échantillon, on peut quand même exploiter la mémoire de la source. 7 i R i

28 8 CHAPITRE 5. CODAGE PAR TRANSFORMÉE On considérera ici (comme dans la plupart des applications) une distorsion quadratique pour les quantificateurs Q i : D i = E{(U i V i ) }. Pour chacune des sources U i à quantifier, on supposera qu il existe une formule du type "formule de Bennett" établie dans la leçon précédente, qui donne la distorsion D i due à la quantification Q i : D i = c i σ Ui R i Dans cette expression, la constante c i dépend du type de source U i et du type de quantificateur Q i. Il n y a pas de raison que les constantes soient toutes égales, sauf par exemple dans le cas d une quantification scalaire optimale d une source gaussienne où on a vu que c i = π Codage par transformée orthogonale. Pour simplifier l exposé on choisit une transformée orthogonale, c est à dire une transformée linéaire T, représentée à l aide d une matrice carrée T de taille n n, qui préserve la norme quadratique : T X = X pour des vecteurs colonne X. Autrement dit, la transformée T est telle que T T t = T t T = I. et la transformée inverse est T 1 = T t. Pour une transformée orthogonale, on peut aisément obtenir la distortion globale du système : D = 1 n E{ X Y } = 1 n E{ T t U T t V } = 1 n E{ U V } = 1 D i. n i Noter que, avec un calcul analogue, la conservation de la norme peut se voir sur les variances : σ X = 1 σ U n i. i

29 5.3. POURQUOI UNE TRANSFORMÉE? Pourquoi une transformée? On va effectuer une comparaison d un codeur classique (quantification sans transformée) et d un codeur par transformée, avec les mêmes quantificateurs, de sorte les différentes distorsions D i obtenues après transformée sont égales entre elles, et donc à la distorsion totale : D i = D. De même, la distortion D 0 introduite par le quantificateur scalaire habituel (sans transformée) sur la source X est D 0 = D = D i. Ainsi la distortion globale n a pas changé malgré l introduction de la transformée. Le codage étant un compromis entre taux R et distortion D, il faut donc regarder ce qui se passe sur R. Dans le système de codage par transformée, on a R = 1 n i R i où D i = c i σ Ui R i, d où en supposant les c i = c constants : R = 1 log c n i σ U i Pour le système classique sans transformée, on a pour le quantificateur la même formule de Bennett qui relie distorsion globale D 0 = D et taux R 0 : D 0 = cσ X R 0, c est à dire : Sachant que σ X = 1 n où R 0 = 1 log cσ X D i σ U i, on obtient un gain sur les taux de D 1 log G TC bits G TC = 1 n i σ U i n i σ Ui est le gain de codage par transformée (Transform Coding Gain). Ce gain de codage est toujours 1 (voir exercice) : Une transformée orthogonale apporte toujours un gain! 5.4 Répartition optimale des taux après transformée Dans un système de codage par transformée, quelle est la répartition optimale des taux R i qui, pour un taux global R = 1 n i R i donné, minimise la distorsion globale D = 1 n i D i?

30 30 CHAPITRE 5. CODAGE PAR TRANSFORMÉE C est un problème de minimisation sous contrainte qui se résout par la méthode du multiplicateur de Lagrange : en tenant compte de la formule de Bennett, le Lagrangien est : L = 1 n cσ Ui R i λ R i. i i En dérivant le lagrangien par rapport aux variables R i on obtient D i = Constante ce qui correspond précisément à la situation du paragraphe précédent. On a donc une distorsion minimale : D min = c n σ U R i et le gain de codage par transformée G TC défini ci-dessus donne le gain en distorsion dû à la transformée : D 0 D min = G TC. pour un taux de codage R donné. Rappelons que pour obtenir l expression de G TC, on a utilisé des formules de Bennett valables en haute résolution. Le gain G TC n est donc valable qu en fort débit. De plus, les constantes c i dans les formules de Bennett sont supposées toutes égales. Ceci correspondrait à une situation où la source est gaussienne et où tous les quantificateurs utilisés sont optimisés. i 5.5 Transformée optimale Sous les mêmes hypothèses qu énoncées ci-dessus, on peut trouver la transformée orthogonale qui maximise le gain de codage G TC (voir exercice). Cette transformée est la transformée de Karhunen-Loève et est obtenue comme une matrice dont les colonnes sont les vecteurs propres de la matrice d autocovariance de la source. En pratique, on utilise des approximations de la transformée de Karhunen- Loève qui sont indépendantes de la source et qui se comportent de la même manière pour des signaux très corrélés. C est le cas de la transformée en cosinus discrète (DCT : Discrete Cosine Transform) utilisée en compression d images.

31 6. GENERALITES SUR LES CODES CORRECTEURS 6.1 PRINCIPE DE L ENCODAGE (AU NIVEAU D'UN EMETTEUR) Source Canal Destinataire Information perturbations 0 1 Emetteur TV Musique d'un CD Récepteur Lecteur Pour être retrouvée par le destinataire, une information perturbée doit être répétée d'une manière ou d'une autre à l émission. B. GELLER Généralités sur les codes correcteurs 1

32 UN EXEMPLE SIMPLE Le codage le plus simple est la répétition triple de chaque information à l'entrée d'un Canal Binaire Symétrique (CBS). i)cbs Emis(t) 0 1-p 0 p p 1 1-p 1 p: probabilité de transition du Canal BS. 1V V t Reçu(t) 1V seuil de décision ½ 0 t 1V Décidé(t) 0V t Cette probabilité représente le taux d erreur (probabilité que le signal reçu soit différent du signal émis) et elle est d autant plus forte que le bruit est important. B. GELLER Généralités sur les codes correcteurs

33 ii)codeur par répétition triple Source 010 Codeur Canal Décodeur Destinataire Le codeur répète trois fois chaque information source : iii) Stratégies de décodage 6.1. DEFINITIONS i)rôle du codage canal : Améliorer la fiabilité au prix du traitement d'une redondance qui n'apporte aucune information réelle. ii)rôle du codeur : Introduire une redondance suivant une certaine loi univoque. Dans le cas du codage bloc, on transforme un bloc de k informations source en n symboles à transmettre au canal (n>k). Remarque : Les symboles sont à choisir dans un alphab et A sou rce. Exemple : A sou rce = Z/Z ;{0,1}où toutes les opérations + et x se font modulo : x B. GELLER Généralités sur les codes correcteurs 3

34 Exemples : Codage par répétition k=1, n=3 Z/Z(Z/Z) 3 b (b,b,b) Codage de parité : transforme k bits en n=k+1 bits où le dernier bit est somme des précédent bits d information (modulo ). En particulier pour k=7, n=8 et on a : (Z/Z) 7 (Z/Z) 8 (b 1,b,b 3,b 4,b 5,b 6,b 7 ) (b 1,b,b 3,b 4,b 5,b 6,b 7,b 8 ) avec b 8 = 7 i1 b i bit de parité. iii)trois définitions pour un code en bloc iii1) Codage sous forme systématique (A sou rce ) k (A sou rce )n a 1 =c 1 avec a =c (a 1,..., a k ) (c 1,...c k,..c n ) : a k =c k iii) Redondance = n k n k ; Rendement = 1 - Redondance n iii3) Im ( ) est un sous-ensemble de (A sou rce ) n à [Card (A sou rce )] k éléments parmi les [Card (A sou rce )] n n-uplets possibles. iii4)exemple : avec (Z/Z) (Z/Z) 3 (b 1,b ) (b,b 1,b 1 ) (0 0) (0 0 0) (0 1) (1 0 0) (1 0) (0 1 1) 4 mots possibles parmi 8 dans (Z/Z) 3 (1 1) (1 1 1) B. GELLER Généralités sur les codes correcteurs 4

35 6. STRATEGIE DE DECODAGE 6..1 RÔLE DU DECODEUR (AU NIVEAU DU RECEPTEUR) 1 ) Il vérifie que la loi de codage est remplie. Si cette loi n'est pas vérifiée, une erreur est détectée pour le n-uplet reçu. Exemple: bit de parité Mot reçu r =(10101) parité non respectée erreur de transmission ) a) Soit le décodeur cherche à corriger lui -même les erreurs en choisissant le mot codé le plus vraisemblablement émis (i.e. celui qui ressemble le plus au mot reçu) FEC = Forward Error Correction b) Soit il demande la reémission de ce qui est détecté comme faux ARQ = Automatic Repeat request. 6.. FEC/ARQ? * FEC est choisi lorsqu on a une application du type "canal unidirectionnel" (Exemple: CD, fusée...) FEC/ARQ + - * Rapide * Décodeur complexe(cher) * Trafic plus fluide * La probabilité de commettre une erreur est généralement plus élevée *ARQ - ARQ avec attente d'acquittement : l'émetteur attend systé matiquement l'accusé de réception (positif ACK ou négatif NAK) de chaque mot qu'il émet avant d'émettre le suivant. Ceci entraîne une perte de temps. - ARQ continu : le récepteur acquitte quand il le peut les séries de mots émis. Une gestion de buffers à l'émission et en réception doit être prise en compte. (Cette gestion est particulièrement lourde pour un protocole ARQ continu "sélectif"). Les réseaux informatiques fonctionnent généralement en ARQ. B. GELLER Généralités sur les codes correcteurs 5

36 6..3 LIMITATION DU DECODEUR Il n'y a pas de décodeur parfait : on n'est jamais sûr de ne pas commettre d'erreur. On peut néanmoins atteindre une certaine fiabilité, mesurée par un taux moyen d erreur défini par le cahier des charges, en choisissant des mots codés de longueur suffisamment élevée. Exemple: Répétition triple Si le récepteur reçoit ( ) il va décider que l information source était 0 1 probabilité ( erreur / bit ) = p 3 = 10-6 Si on veut être plus fiable, il faut augmenter la redondance et la longueur du mot codé ; par exemple si on répète huit fois : 1 ( ) 0 ( ) probabilité ( erreur / bit ) = p 8 = Les performances ne peuvent s améliorer qu au prix d un temps de traitement et d une complexité plus élevés ; ceci constitue un premier compromis. 6.3 CARACTERISATION DE LA REDONDANCE NECESSAIRE UNE QUALIFICATION POSSIBLE DE LA REDONDANCE NECESSAIRE : DISTANCE DE HAMMING Définitions: 1/ Un décodeur est dit complet au sens d un Maxim um de Vraisemblance (MV) si, étant donnée une distance définie pour les n-uplets, pour tout mot reçu r, le décodeur choisit le mot de code c min tel que d(r, c min ) = min {d(r, c)}, c étant un mot quelconque du code. / Soient x = (x 1...x n ) y = (y 1...y n ) d(x,y) = card A x y avec A x y = { i / x i y i } ( nombre de symboles différents) Il s agit bien d une distance au sens mathématique. (cf justification en petites classes) B. GELLER Généralités sur les codes correcteurs 6

37 Exemple: A sou rce =Alphabet, C ={(ALPHA) ; (TANGO)}. Que vaut d? Théorème Fondamental : Soit C l'ensemble des mots d'un code. Soit d min la plus petite distance entre deux mots quelconques du code. - Ce code peut détecter d min - 1 transitions du canal. d - Ce code peut corriger e =Int min 1 transitions. Exemples: 1/ C={(000);(111)} ; d après le théorème ci dessus, C détecte erreurs et corrige 1 erreur. Par exemple, dans la configuration : , codeur canal C permet de détecter au plus deux transitions, mai s ne permet pas de les corriger. / A = {0,1,,3,4} C = {(00) ; (1) ; (3) ; (34) ; (41)}. Quelles sont les capacités de détection et de correction de ce code? En général, les décodeurs sont incomplets au sens du maximum de vraisemblance ; en d autres termes, ils sont capables de trouver c min tel que d(r,c min ) = min {d(r,c)}, si et seulement si r est dans une sphère suffisamment proche d un mot de code : d(r,c i )<B, où souvent B=e. Définition: Codes équivalents: Ce sont des codes qui ont même distribution de distances entre mots. Des codes équivalents ont même distance minimale et capacité de détection/correction. B. GELLER Généralités sur les codes correcteurs 7

38 Exemple: (0000) (0000) (0011) (1010) C 0= (1100) C 0= (0101) (1111) (1111) Propriété: Soit un CBS, de probabilité de transition arbitrairement faible (p<<1). Soit un codeur à l'entrée du canal, de capacité de correction e et d e longueur n fixés. On suppose que le décodeur en sortie se limite à corriger toutes les combinaisons de e ou moins transitions. La probabilité pour qu'un mot non codé de n symboles soit erroné, est proportionnelle à p. La probabilité pour qu'un mot codé de n symboles soit erroné, est proportionnelle à p e+1 <<p, ce qui est donc meilleur pour p suffisamment faible. Une redondance quantifiée, comme nous allons le voir, par le théorème de Shannon et construite de manière à obtenir une certaine distance minimal e entre mots codés permet donc de garantir une plus faible probabilité d erreur pour un rapport Signal à Bruit suffisant (p<<1). Démonstration : - Mot non codé proba (n bits justes) = (1-p) n proba (au moins 1 erreur parmi n)=1-(1-p) n np (si p <<1) - Mot codé p (se trompe) = n ke1 C n k pk (1-p) n -k (p<<1) p e+1 CQFD. Limitation sur la distance minimale : - Le calcul de d min d'un code est très lourd en général. - Certains codes qui ont des mots éloignés entre eux, sauf une exception où deux mots du code sont très proches, peuvent avoir de faibles probabilités d'erreurs en moyenne bien que d min reste faible. Ceci est en particulier vrai pour les canaux à faibles RSB (Rapports Signal à Bruit) i.e. pour p non négligeable devant 1. B. GELLER Généralités sur les codes correcteurs 8

39 6.3. UNE QUANTIFICATION DE LA REDONDANCE NECESSAIRE : LE THEOREME DE SHANNON DU CODAGE Définition : On appelle capacité d un canal d entrée X et de sortie Y, l information mutuelle maximum entre l entrée et la sortie du canal : p( x) C max I(X, Y) où I(X,Y)=H(X) H(X Y) et p(x) est la d.d.p. de X. Dans le cas d un canal, l information mutuelle entre l entrée et la sortie représente donc la quantité d information de la source à l entrée, diminuée par l incertitude due au canal. En particulier, lorsque le canal est parfait X=Y et donc H(X Y) = H(X X) = 0 car il n y a aucune incertitude sur X lorsqu on connaît X. Au co ntraire, si le canal est tellement mauvais que sa sortie Y ne dépend pas de son entrée X, l observation de la sortie n ap porte aucune connaissance : H(X Y) = H(X) et C = H(X)-H(X) = 0. Entre ces deux cas extrêmes, l information mutuelle est d autant meilleure que le canal distord peu et a donc une capacité à véhiculer de l information. La capacité n est qu un cas particulier d information mutuelle du canal considéré, où l on répartit au mieux les informations de la source placée à l entrée du canal («max par rapport à p(x)»), afin que l information soit la plus importante possible. Souvent, pour des canaux dont les transitions sont symétriques par rapport aux symboles d entrée (comme le CBS), on trouve que la capacité est l information mutuelle obtenue d ans le cas d équirépartition des symboles à l entrée ( i.e. p(x i )=1/Card(A Sou rce ) ). Exemple de référence : Le Canal Binaire Symétrique 0 1-p 0 X p p 1 1-p 1 Y I(X,Y) = H(X) H(X Y) = H(Y) H(Y X). Montrons que H(Y X) est indépendant de p(x) si bien que maximiser I(X,Y) pour trouver la capacité du CBS reviendra à maximiser H(Y). B. GELLER Généralités sur les codes correcteurs 9

40 H(Y X) = p(x)h(y X=x) où H(Y X=x) = - p(y X=x)log (p(y X=x)) x y Lorsque X=0, H(Y X=0) = - p(y=0 X=0) log (p(y=0 X=0)) - p(y=1 X=0) log (p(y=1 X=0)) = -(1-p) log (1-p) - p log (p) = H(p), où H(p) désigne l expression analytique de l entropie binaire associée à la probabilité p. De même lorsque X=1, H(Y X=1) = -p log (p) - (1-p) log (1-p) = H(p). Donc est bien indépendant de p(x) et H(Y X) = p(x)h(y X=x) = p(x)h(p) = H(p) p(x) = H(p) x x x ne dépend que de la probabilité de transition du canal p. Par conséquent maximiser par rapport à p(x), l information mutuelle : I(X,Y) = H(Y) H(Y X)= H(Y) H(p) revient à maximiser H(Y). L entropie de Y est maximum et vaut 1 lorsque Y=0 et Y=1 sont équiprobables : P(Y=0) = p(x=0) (1-p) + p(x=1) p = 0.5 P(Y=1) = p(x=1) p + p(x=0) (1-p) = 0.5 Donc C CBS = 1-H(p), est obtenue pour p(x=0) = p(x=1) = 0.5 = p(y=0) = p(y=1) : la solution du problème est bien symétrique. C CBS B. GELLER Généralités sur les codes correcteurs 10

41 Théorème de Shannon : Pour une longueur de code n suffisamment longue, une transmission avec une probabilité d erreur arbitrairement faible est possible si le rendement du code est inférieur à la capacité du canal. Démonstration pour le CBS : La probabilité de transition du canal vaut :p=d/n où d est le nombre de transitions parmi n symboles émis (où n tend vers l infini). En d autres termes, lorsque n tend vers l infini, le mot reçu se trouve sur une sphère à une n n! distance de Hamming d=np du mot de code émis, ce qui donne C= possibilités. d!(n-d)! d Une condition suffisante pour qu il n y ait pas d erreurs est que l ensemble des sphères soit disjointes entre elles et que le volume de leur empilement soit inférieur au volume de n k n n-k n! l espace possible : > Cd > d!(n-d)! En prenant le log à base de l inégalité précédente et en utilisant l approximation pour les grands nombres log (N!)= Nlog (N)-N issue de la formule de Sterling (cf annexe), on obtient donc : n-k > (n.log (n)-n)-((n-d).log (n-d)-(n-d))-(d.log (d)-d) = n.log (n)-(n-d).log (n-d)-d.log (d) En remplaçant d=np, et en divisant de part et d autre par n, on obtient alors : 1-k/n > log (n)-(1-p)log (n-np)-plog (np) soit finalement, k/n <1- log (n)+(1-p)log (n-np)+plog (np) =1+(1-p)log (1-p)+plog p=1- H(p)=C CBS CQFD. B. GELLER Généralités sur les codes correcteurs 11

42 Exemple d application : Source Codeur Canal Destinataire {0,1} (k,n) 0 0 p(0)=p(1)=½ p 1 1 On a : k T sou rce = n T canal où k : nombre de symboles à l'entrée du codeur et le théorème de Shannon s écrit : k n > C où C: capacité canal n : longueur des blocs en sortie du codeur Si p=10 -, C=0,919. Dans ce cas, si par exemple, k=1000 alo rs il faut que n Il faudra rajouter 89 symboles (au moins) aux 1000 informations binaires suivant une certaine loi de codage si l on veut transmettre avec probabilité d erreur fixée arbitrairement faible. En d autres termes, le codeur introduit dan s la liaison pour la rendre plus fiable, peut être vu comme une source secondaire directement branchée au canal, dont l information moyenne délivrée par symbole émis est k/n (la redondance n apporte aucune information). Le théorème du codage de Shannon revient alors à dire que l entropie de la source branchée à l entrée du canal doit être inférieure à la capacité du canal. Deux Remarques: 1/ Supposons que le cahier des charges définit comme arbitrairement petite, une probabilité d'erreur p(erreur)=10-5. Si p=10 -, un décodage par vote majoritaire de la répétition n=(m + 1) fois de chaque bit, donne après décodage une probabilité d'erreur : m+1 p(erreur)=c p m+1 (1-p) m < 10-5 pour m= et n=5. m+1 Dans ce cas, l entropie H=1/5 bit par symbole canal : H<< 0,919 ; la redondance du codage par répétition pour obtenir une probabilité d erreur arbitrairement petite est trop élevée. / Le théorème de Shannon sur le codage («Deuxième théorème de Shannon») permet de donner une quantification de la redondance nécessaire, valable pour une longueur n arbitrairement large. Malheureusement, ce théorème n est pas constructif et ne permet pas de construire en pratique des codes correcteurs. B. GELLER Généralités sur les codes correcteurs 1

43 Capacité et théorème de Shannon ne sont pas des notions limitées aux canaux discrets mais s étendent à tous les canaux, en particulier, ceux à entrée et sortie continues. Exemple : Le canal à bruit additif blanc Gaussien (BABG, AWGN) Un canal AWGN signifie qu entre la sortie Y et l entrée du canal X, on a la relation : Y = X + B, où le bruit B N(0, ), et où les échantillons de bruit b sont indépendants (bruit blanc) ; la puissance de sortie est donc égale à la somme de celle fixée de l entrée et de celle du b ruit. L information mutuelle s écrit : I(X,Y) = H(X) H(X Y) = H(Y) H(Y X). Comme pour le CBS, montrons que H(Y X) est indépendant de p(x) si bien que maximiser I(X,Y) pour trouver la capacité du canal AWGN reviendra à maximiser H(Y). Pour obtenir H(Y X), on peut détailler les calculs (cf annexe) ou on peut tirer parti de certaines propriétés de H ; l entrée informative du canal X et le bruit B sont indépendants donc : 1 H(Y X) = H(X X) + H(B X) = H(B X) = H(B) = log πeσ (car B N(0, ) ). H(Y X) est bien indépendant de p(x) et donc maximiser par rapport à p(x), l information mutuelle I(X,Y) = H(Y) H(Y X)= H(Y) H(p) revient à maximiser H(Y).(Notons au passage que H(Y X) vaut exactement l expression de l entropie diff érentielle du bruit Gaussien B : l incertitude vaut exactement celle rajoutée par le bruit indépendant de la source). Or l entropie différentielle Y est maximum lorsque Y est une variable aléatoire Gaussienne. Comme Y=X+B, ceci a lieu lorsque X est également une variable Gaussienne N car Y suit alors la distribution (m X, X) N comme somme de deux variables (m X, X ) Gaussiennes indépendantes. 1 Par conséquent H(Y) = log πe( X +σ ) et : 1 C = H(Y)-H(Y X) = log 1+ X (en bits par symbole réel émis). On trouve souvent une expression alternative à cette expression pour les signaux réels à bande passante limitée. En notant S= X la puissance du signal émis, B= la puissance du bruit AWGN et en supposant que le canal avec une bande passante de W H ertz permet de transmettre W symboles par seconde, la capacité en bit/s s exprime par la relation : B. GELLER Généralités sur les codes correcteurs 13

44 C = W log 1+ S B Cette relation est très souvent utilisée en télécoms pour connaître le débit que l on peut espérer transmettre. Par exemple, pour un canal téléphonique de bande passante 4 khz et de rapport signal sur bruit 40 db, C = 4000 log ( 10001) = 53 kbit/s. Pour augmenter le débit il faut soit augmenter la bande passante, soit beaucoup augmenter la puissance du signal émis ( ce qui rend la ressource spectrale d autant plus chère). C est ce qui est fait dans l ADSL où on a étendu la transmission à 56 canaux parallèles de 4 khz. Notons enfin que le plus souvent une expression analytique simple de la capacité d un canal est difficile à obtenir et qu il faut alors recourir à des méthodes numériques. SYNTHESE : Du fait de la distorsion du canal, il faut rajouter de la redondance aux messages émis pour les fiabiliser. Le codage résultant doit alors avoir un rendement inférieur à la capacité du canal. On a donné l exemple de deux codes simples : - Code de parité (n,k=n-1,d min =) Excellent rendement R= n 1 n d= capacité de détection 1, de correction Code de répétition (n, k=1,d min =n=nombre de répétition) Rendement très mauvais, mais très bonne capacité de correction. Entre ces caractéristiques extrêmes, il existe des familles de code permettant de faire un meilleur compromis redondance / capacité de correction et d approcher la capacité d un canal. Ce sont les codes linéaires qui seront étudiés dans le(s) chapitre(s) suivant(s). B. GELLER Généralités sur les codes correcteurs 14

45 ANNEXES : A1 - Formule de Sterling Première démonstration : La distribution de Poisson, entièrement caractérisé e par un paramètre (qui est égal à sa moyenne et à sa variance) s écrit : N P(N)= exp N! Pour N suffisamment large, cette distribution tend vers la Gaussienne de même moyenne et variance (cf. figure pour =15). On peut alors écrire λ 1 (N-λ) exp-λ exp- N! πλ λ N pour N proche de la moyenne. En particulier pour N=, on obtient : N N 1 N exp-n, soit la formule de Sterling : N! exp-n πn. N! πn Finalement, toujours pour N large, en prenant le logarithme de la formule de Sterling, on obtient : log (N!)= Nlog (N)-N+0.5log (N) Nlog (N)-N. (On pourrait même dans l expression précédente négliger le terme en -N devant Nlog (N) sans aucune incidence sur la démonstration du deuxième théorème de Shannon.) Deuxième démonstration : La croissance de la fonction ln() entraine l encadrement suivant des intégrales sur un intervalle de longueur 1 : k k1 k1 ln( t ) dt ln( k) ln( t) dt ; donc en sommant sur tous les intervalles de 1 à N : 1 N k N 1 ln( t ) dt ln( N!) ln( t) dt ; en intégrant on obtient : Nln(N)-N+1< ln(n!)< (N+1)ln(N+1)-(N+1)-(ln-), soit en faisant tendre N vers l infini : ln(n!) Nlog (N)-N B. GELLER Généralités sur les codes correcteurs 15

Capacité d un canal Second Théorème de Shannon. Théorie de l information 1/34

Capacité d un canal Second Théorème de Shannon. Théorie de l information 1/34 Capacité d un canal Second Théorème de Shannon Théorie de l information 1/34 Plan du cours 1. Canaux discrets sans mémoire, exemples ; 2. Capacité ; 3. Canaux symétriques ; 4. Codage de canal ; 5. Second

Plus en détail

Quantification Scalaire et Prédictive

Quantification Scalaire et Prédictive Quantification Scalaire et Prédictive Marco Cagnazzo Département Traitement du Signal et des Images TELECOM ParisTech 7 Décembre 2012 M. Cagnazzo Quantification Scalaire et Prédictive 1/64 Plan Introduction

Plus en détail

Compression et Transmission des Signaux. Samson LASAULCE Laboratoire des Signaux et Systèmes, Gif/Yvette

Compression et Transmission des Signaux. Samson LASAULCE Laboratoire des Signaux et Systèmes, Gif/Yvette Compression et Transmission des Signaux Samson LASAULCE Laboratoire des Signaux et Systèmes, Gif/Yvette 1 De Shannon à Mac Donalds Mac Donalds 1955 Claude Elwood Shannon 1916 2001 Monsieur X 1951 2 Où

Plus en détail

Théorie et Codage de l Information (IF01) exercices 2013-2014. Paul Honeine Université de technologie de Troyes France

Théorie et Codage de l Information (IF01) exercices 2013-2014. Paul Honeine Université de technologie de Troyes France Théorie et Codage de l Information (IF01) exercices 2013-2014 Paul Honeine Université de technologie de Troyes France TD-1 Rappels de calculs de probabilités Exercice 1. On dispose d un jeu de 52 cartes

Plus en détail

Systèmes de communications numériques 2

Systèmes de communications numériques 2 Systèmes de Communications Numériques Philippe Ciuciu, Christophe Vignat Laboratoire des Signaux et Systèmes CNRS SUPÉLEC UPS SUPÉLEC, Plateau de Moulon, 91192 Gif-sur-Yvette ciuciu@lss.supelec.fr Université

Plus en détail

Transmission d informations sur le réseau électrique

Transmission d informations sur le réseau électrique Transmission d informations sur le réseau électrique Introduction Remarques Toutes les questions en italique devront être préparées par écrit avant la séance du TP. Les préparations seront ramassées en

Plus en détail

Probabilités sur un univers fini

Probabilités sur un univers fini [http://mp.cpgedupuydelome.fr] édité le 7 août 204 Enoncés Probabilités sur un univers fini Evènements et langage ensembliste A quelle condition sur (a, b, c, d) ]0, [ 4 existe-t-il une probabilité P sur

Plus en détail

Optimisation non linéaire Irène Charon, Olivier Hudry École nationale supérieure des télécommunications

Optimisation non linéaire Irène Charon, Olivier Hudry École nationale supérieure des télécommunications Optimisation non linéaire Irène Charon, Olivier Hudry École nationale supérieure des télécommunications A. Optimisation sans contrainte.... Généralités.... Condition nécessaire et condition suffisante

Plus en détail

Le modèle de Black et Scholes

Le modèle de Black et Scholes Le modèle de Black et Scholes Alexandre Popier février 21 1 Introduction : exemple très simple de modèle financier On considère un marché avec une seule action cotée, sur une période donnée T. Dans un

Plus en détail

Fonctions de plusieurs variables

Fonctions de plusieurs variables Module : Analyse 03 Chapitre 00 : Fonctions de plusieurs variables Généralités et Rappels des notions topologiques dans : Qu est- ce que?: Mathématiquement, n étant un entier non nul, on définit comme

Plus en détail

3 Approximation de solutions d équations

3 Approximation de solutions d équations 3 Approximation de solutions d équations Une équation scalaire a la forme générale f(x) =0où f est une fonction de IR dans IR. Un système de n équations à n inconnues peut aussi se mettre sous une telle

Plus en détail

Communications numériques

Communications numériques Communications numériques 1. Modulation numérique (a) message numérique/signal numérique (b) transmission binaire/m-aire en bande de base (c) modulation sur fréquence porteuse (d) paramètres, limite fondamentale

Plus en détail

ISO/CEI 11172-3 NORME INTERNATIONALE

ISO/CEI 11172-3 NORME INTERNATIONALE NORME INTERNATIONALE ISO/CEI 11172-3 Première édition 1993-08-01 Technologies de l information - Codage de l image animée et du son associé pour les supports de stockage numérique jusqu à environ Ii5 Mbit/s

Plus en détail

Simulation de variables aléatoires

Simulation de variables aléatoires Chapter 1 Simulation de variables aléatoires Références: [F] Fishman, A first course in Monte Carlo, chap 3. [B] Bouleau, Probabilités de l ingénieur, chap 4. [R] Rubinstein, Simulation and Monte Carlo

Plus en détail

Université de La Rochelle. Réseaux TD n 6

Université de La Rochelle. Réseaux TD n 6 Réseaux TD n 6 Rappels : Théorème de Nyquist (ligne non bruitée) : Dmax = 2H log 2 V Théorème de Shannon (ligne bruitée) : C = H log 2 (1+ S/B) Relation entre débit binaire et rapidité de modulation :

Plus en détail

Baccalauréat ES Pondichéry 7 avril 2014 Corrigé

Baccalauréat ES Pondichéry 7 avril 2014 Corrigé Baccalauréat ES Pondichéry 7 avril 204 Corrigé EXERCICE 4 points Commun à tous les candidats. Proposition fausse. La tangente T, passant par les points A et B d abscisses distinctes, a pour coefficient

Plus en détail

Filtrage stochastique non linéaire par la théorie de représentation des martingales

Filtrage stochastique non linéaire par la théorie de représentation des martingales Filtrage stochastique non linéaire par la théorie de représentation des martingales Adriana Climescu-Haulica Laboratoire de Modélisation et Calcul Institut d Informatique et Mathématiques Appliquées de

Plus en détail

Précision d un résultat et calculs d incertitudes

Précision d un résultat et calculs d incertitudes Précision d un résultat et calculs d incertitudes PSI* 2012-2013 Lycée Chaptal 3 Table des matières Table des matières 1. Présentation d un résultat numérique................................ 4 1.1 Notations.........................................................

Plus en détail

Probabilités sur un univers fini

Probabilités sur un univers fini [http://mp.cpgedupuydelome.fr] édité le 10 août 2015 Enoncés 1 Proailités sur un univers fini Evènements et langage ensemliste A quelle condition sur (a,, c, d) ]0, 1[ 4 existe-t-il une proailité P sur

Plus en détail

Cours d Analyse. Fonctions de plusieurs variables

Cours d Analyse. Fonctions de plusieurs variables Cours d Analyse Fonctions de plusieurs variables Licence 1ère année 2007/2008 Nicolas Prioux Université de Marne-la-Vallée Table des matières 1 Notions de géométrie dans l espace et fonctions à deux variables........

Plus en détail

Chapitre 2 : communications numériques.

Chapitre 2 : communications numériques. Chapitre 2 : communications numériques. 1) généralités sur les communications numériques. A) production d'un signal numérique : transformation d'un signal analogique en une suite d'éléments binaires notés

Plus en détail

Programmes des classes préparatoires aux Grandes Ecoles

Programmes des classes préparatoires aux Grandes Ecoles Programmes des classes préparatoires aux Grandes Ecoles Filière : scientifique Voie : Biologie, chimie, physique et sciences de la Terre (BCPST) Discipline : Mathématiques Seconde année Préambule Programme

Plus en détail

Le concept cellulaire

Le concept cellulaire Le concept cellulaire X. Lagrange Télécom Bretagne 21 Mars 2014 X. Lagrange (Télécom Bretagne) Le concept cellulaire 21/03/14 1 / 57 Introduction : Objectif du cours Soit un opérateur qui dispose d une

Plus en détail

Transmission de données. A) Principaux éléments intervenant dans la transmission

Transmission de données. A) Principaux éléments intervenant dans la transmission Page 1 / 7 A) Principaux éléments intervenant dans la transmission A.1 Equipement voisins Ordinateur ou terminal Ordinateur ou terminal Canal de transmission ETTD ETTD ETTD : Equipement Terminal de Traitement

Plus en détail

UE 503 L3 MIAGE. Initiation Réseau et Programmation Web La couche physique. A. Belaïd

UE 503 L3 MIAGE. Initiation Réseau et Programmation Web La couche physique. A. Belaïd UE 503 L3 MIAGE Initiation Réseau et Programmation Web La couche physique A. Belaïd abelaid@loria.fr http://www.loria.fr/~abelaid/ Année Universitaire 2011/2012 2 Le Modèle OSI La couche physique ou le

Plus en détail

LES CARACTERISTIQUES DES SUPPORTS DE TRANSMISSION

LES CARACTERISTIQUES DES SUPPORTS DE TRANSMISSION LES CARACTERISTIQUES DES SUPPORTS DE TRANSMISSION LES CARACTERISTIQUES DES SUPPORTS DE TRANSMISSION ) Caractéristiques techniques des supports. L infrastructure d un réseau, la qualité de service offerte,

Plus en détail

Théorème du point fixe - Théorème de l inversion locale

Théorème du point fixe - Théorème de l inversion locale Chapitre 7 Théorème du point fixe - Théorème de l inversion locale Dans ce chapitre et le suivant, on montre deux applications importantes de la notion de différentiabilité : le théorème de l inversion

Plus en détail

Chapitre 2. Eléments pour comprendre un énoncé

Chapitre 2. Eléments pour comprendre un énoncé Chapitre 2 Eléments pour comprendre un énoncé Ce chapitre est consacré à la compréhension d un énoncé. Pour démontrer un énoncé donné, il faut se reporter au chapitre suivant. Les tables de vérité données

Plus en détail

M2 IAD UE MODE Notes de cours (3)

M2 IAD UE MODE Notes de cours (3) M2 IAD UE MODE Notes de cours (3) Jean-Yves Jaffray Patrice Perny 16 mars 2006 ATTITUDE PAR RAPPORT AU RISQUE 1 Attitude par rapport au risque Nousn avons pas encore fait d hypothèse sur la structure de

Plus en détail

Texte Agrégation limitée par diffusion interne

Texte Agrégation limitée par diffusion interne Page n 1. Texte Agrégation limitée par diffusion interne 1 Le phénomène observé Un fût de déchets radioactifs est enterré secrètement dans le Cantal. Au bout de quelques années, il devient poreux et laisse

Plus en détail

Introduction à l étude des Corps Finis

Introduction à l étude des Corps Finis Introduction à l étude des Corps Finis Robert Rolland (Résumé) 1 Introduction La structure de corps fini intervient dans divers domaines des mathématiques, en particulier dans la théorie de Galois sur

Plus en détail

LA NOTATION STATISTIQUE DES EMPRUNTEURS OU «SCORING»

LA NOTATION STATISTIQUE DES EMPRUNTEURS OU «SCORING» LA NOTATION STATISTIQUE DES EMPRUNTEURS OU «SCORING» Gilbert Saporta Professeur de Statistique Appliquée Conservatoire National des Arts et Métiers Dans leur quasi totalité, les banques et organismes financiers

Plus en détail

Moments des variables aléatoires réelles

Moments des variables aléatoires réelles Chapter 6 Moments des variables aléatoires réelles Sommaire 6.1 Espérance des variables aléatoires réelles................................ 46 6.1.1 Définition et calcul........................................

Plus en détail

Baccalauréat S Antilles-Guyane 11 septembre 2014 Corrigé

Baccalauréat S Antilles-Guyane 11 septembre 2014 Corrigé Baccalauréat S ntilles-guyane 11 septembre 14 Corrigé EXERCICE 1 6 points Commun à tous les candidats Une entreprise de jouets en peluche souhaite commercialiser un nouveau produit et à cette fin, effectue

Plus en détail

3. Conditionnement P (B)

3. Conditionnement P (B) Conditionnement 16 3. Conditionnement Dans cette section, nous allons rappeler un certain nombre de définitions et de propriétés liées au problème du conditionnement, c est à dire à la prise en compte

Plus en détail

Chapitre 7. Statistique des échantillons gaussiens. 7.1 Projection de vecteurs gaussiens

Chapitre 7. Statistique des échantillons gaussiens. 7.1 Projection de vecteurs gaussiens Chapitre 7 Statistique des échantillons gaussiens Le théorème central limite met en évidence le rôle majeur tenu par la loi gaussienne en modélisation stochastique. De ce fait, les modèles statistiques

Plus en détail

Echantillonnage Non uniforme

Echantillonnage Non uniforme Echantillonnage Non uniforme Marie CHABERT IRIT/INP-ENSEEIHT/ ENSEEIHT/TéSASA Patrice MICHEL et Bernard LACAZE TéSA 1 Plan Introduction Echantillonnage uniforme Echantillonnage irrégulier Comparaison Cas

Plus en détail

Sujet proposé par Yves M. LEROY. Cet examen se compose d un exercice et de deux problèmes. Ces trois parties sont indépendantes.

Sujet proposé par Yves M. LEROY. Cet examen se compose d un exercice et de deux problèmes. Ces trois parties sont indépendantes. Promotion X 004 COURS D ANALYSE DES STRUCTURES MÉCANIQUES PAR LA MÉTHODE DES ELEMENTS FINIS (MEC 568) contrôle non classant (7 mars 007, heures) Documents autorisés : polycopié ; documents et notes de

Plus en détail

Chap17 - CORRECTİON DES EXERCİCES

Chap17 - CORRECTİON DES EXERCİCES Chap17 - CORRECTİON DES EXERCİCES n 3 p528 Le signal a est numérique : il n y a que deux valeurs possibles pour la tension. Le signal b n est pas numérique : il y a alternance entre des signaux divers

Plus en détail

Souad EL Bernoussi. Groupe d Analyse Numérique et Optimisation Rabat http ://www.fsr.ac.ma/ano/

Souad EL Bernoussi. Groupe d Analyse Numérique et Optimisation Rabat http ://www.fsr.ac.ma/ano/ Recherche opérationnelle Les démonstrations et les exemples seront traités en cours Souad EL Bernoussi Groupe d Analyse Numérique et Optimisation Rabat http ://www.fsr.ac.ma/ano/ Table des matières 1 Programmation

Plus en détail

(51) Int Cl.: H04L 29/06 (2006.01) G06F 21/55 (2013.01)

(51) Int Cl.: H04L 29/06 (2006.01) G06F 21/55 (2013.01) (19) TEPZZ 8 8 4_A_T (11) EP 2 838 241 A1 (12) DEMANDE DE BREVET EUROPEEN (43) Date de publication: 18.02.1 Bulletin 1/08 (1) Int Cl.: H04L 29/06 (06.01) G06F 21/ (13.01) (21) Numéro de dépôt: 141781.4

Plus en détail

Correction du Baccalauréat S Amérique du Nord mai 2007

Correction du Baccalauréat S Amérique du Nord mai 2007 Correction du Baccalauréat S Amérique du Nord mai 7 EXERCICE points. Le plan (P) a une pour équation cartésienne : x+y z+ =. Les coordonnées de H vérifient cette équation donc H appartient à (P) et A n

Plus en détail

Limites finies en un point

Limites finies en un point 8 Limites finies en un point Pour ce chapitre, sauf précision contraire, I désigne une partie non vide de R et f une fonction définie sur I et à valeurs réelles ou complees. Là encore, les fonctions usuelles,

Plus en détail

Cryptographie et fonctions à sens unique

Cryptographie et fonctions à sens unique Cryptographie et fonctions à sens unique Pierre Rouchon Centre Automatique et Systèmes Mines ParisTech pierre.rouchon@mines-paristech.fr Octobre 2012 P.Rouchon (Mines ParisTech) Cryptographie et fonctions

Plus en détail

Chapitre 3. Mesures stationnaires. et théorèmes de convergence

Chapitre 3. Mesures stationnaires. et théorèmes de convergence Chapitre 3 Mesures stationnaires et théorèmes de convergence Christiane Cocozza-Thivent, Université de Marne-la-Vallée p.1 I. Mesures stationnaires Christiane Cocozza-Thivent, Université de Marne-la-Vallée

Plus en détail

Théorie et codage de l information

Théorie et codage de l information Théorie et codage de l information Les codes linéaires - Chapitre 6 - Principe Définition d un code linéaire Soient p un nombre premier et s est un entier positif. Il existe un unique corps de taille q

Plus en détail

Expérience 3 Formats de signalisation binaire

Expérience 3 Formats de signalisation binaire Expérience 3 Formats de signalisation binaire Introduction Procédures Effectuez les commandes suivantes: >> xhost nat >> rlogin nat >> setenv DISPLAY machine:0 >> setenv MATLABPATH /gel/usr/telecom/comm_tbx

Plus en détail

INTRODUCTION A L ELECTRONIQUE NUMERIQUE ECHANTILLONNAGE ET QUANTIFICATION I. ARCHITECTURE DE L ELECRONIQUE NUMERIQUE

INTRODUCTION A L ELECTRONIQUE NUMERIQUE ECHANTILLONNAGE ET QUANTIFICATION I. ARCHITECTURE DE L ELECRONIQUE NUMERIQUE INTRODUCTION A L ELECTRONIQUE NUMERIQUE ECHANTILLONNAGE ET QUANTIFICATION I. ARCHITECTURE DE L ELECRONIQUE NUMERIQUE Le schéma synoptique ci-dessous décrit les différentes étapes du traitement numérique

Plus en détail

Principe de symétrisation pour la construction d un test adaptatif

Principe de symétrisation pour la construction d un test adaptatif Principe de symétrisation pour la construction d un test adaptatif Cécile Durot 1 & Yves Rozenholc 2 1 UFR SEGMI, Université Paris Ouest Nanterre La Défense, France, cecile.durot@gmail.com 2 Université

Plus en détail

CAPTEURS - CHAINES DE MESURES

CAPTEURS - CHAINES DE MESURES CAPTEURS - CHAINES DE MESURES Pierre BONNET Pierre Bonnet Master GSI - Capteurs Chaînes de Mesures 1 Plan du Cours Propriétés générales des capteurs Notion de mesure Notion de capteur: principes, classes,

Plus en détail

Exercices - Fonctions de plusieurs variables : corrigé. Pour commencer

Exercices - Fonctions de plusieurs variables : corrigé. Pour commencer Pour commencer Exercice 1 - Ensembles de définition - Première année - 1. Le logarithme est défini si x + y > 0. On trouve donc le demi-plan supérieur délimité par la droite d équation x + y = 0.. 1 xy

Plus en détail

1.1 Codage de source et test d hypothèse

1.1 Codage de source et test d hypothèse Théorie de l information et codage 200/20 Cours 8février20 Enseignant: Marc Lelarge Scribe: Marc Lelarge Pour information Page webdu cours http://www.di.ens.fr/~lelarge/info.html Notations Pour des variables

Plus en détail

Espérance conditionnelle

Espérance conditionnelle Espérance conditionnelle Samy Tindel Nancy-Université Master 1 - Nancy Samy T. (IECN) M1 - Espérance conditionnelle Nancy-Université 1 / 58 Plan 1 Définition 2 Exemples 3 Propriétés de l espérance conditionnelle

Plus en détail

Calcul différentiel sur R n Première partie

Calcul différentiel sur R n Première partie Calcul différentiel sur R n Première partie Université De Metz 2006-2007 1 Définitions générales On note L(R n, R m ) l espace vectoriel des applications linéaires de R n dans R m. Définition 1.1 (différentiabilité

Plus en détail

Pour l épreuve d algèbre, les calculatrices sont interdites.

Pour l épreuve d algèbre, les calculatrices sont interdites. Les pages qui suivent comportent, à titre d exemples, les questions d algèbre depuis juillet 003 jusqu à juillet 015, avec leurs solutions. Pour l épreuve d algèbre, les calculatrices sont interdites.

Plus en détail

La fonction exponentielle

La fonction exponentielle DERNIÈRE IMPRESSION LE 2 novembre 204 à :07 La fonction exponentielle Table des matières La fonction exponentielle 2. Définition et théorèmes.......................... 2.2 Approche graphique de la fonction

Plus en détail

Programmation linéaire

Programmation linéaire 1 Programmation linéaire 1. Le problème, un exemple. 2. Le cas b = 0 3. Théorème de dualité 4. L algorithme du simplexe 5. Problèmes équivalents 6. Complexité de l Algorithme 2 Position du problème Soit

Plus en détail

Arithmétique binaire. Chapitre. 5.1 Notions. 5.1.1 Bit. 5.1.2 Mot

Arithmétique binaire. Chapitre. 5.1 Notions. 5.1.1 Bit. 5.1.2 Mot Chapitre 5 Arithmétique binaire L es codes sont manipulés au quotidien sans qu on s en rende compte, et leur compréhension est quasi instinctive. Le seul fait de lire fait appel au codage alphabétique,

Plus en détail

I. Polynômes de Tchebychev

I. Polynômes de Tchebychev Première épreuve CCP filière MP I. Polynômes de Tchebychev ( ) 1.a) Tout réel θ vérifie cos(nθ) = Re ((cos θ + i sin θ) n ) = Re Cn k (cos θ) n k i k (sin θ) k Or i k est réel quand k est pair et imaginaire

Plus en détail

Chapitre 2 Le problème de l unicité des solutions

Chapitre 2 Le problème de l unicité des solutions Université Joseph Fourier UE MAT 127 Mathématiques année 2011-2012 Chapitre 2 Le problème de l unicité des solutions Ce que nous verrons dans ce chapitre : un exemple d équation différentielle y = f(y)

Plus en détail

Probabilités III Introduction à l évaluation d options

Probabilités III Introduction à l évaluation d options Probabilités III Introduction à l évaluation d options Jacques Printems Promotion 2012 2013 1 Modèle à temps discret 2 Introduction aux modèles en temps continu Limite du modèle binomial lorsque N + Un

Plus en détail

Chp. 4. Minimisation d une fonction d une variable

Chp. 4. Minimisation d une fonction d une variable Chp. 4. Minimisation d une fonction d une variable Avertissement! Dans tout ce chapître, I désigne un intervalle de IR. 4.1 Fonctions convexes d une variable Définition 9 Une fonction ϕ, partout définie

Plus en détail

Chaine de transmission

Chaine de transmission Chaine de transmission Chaine de transmission 1. analogiques à l origine 2. convertis en signaux binaires Échantillonnage + quantification + codage 3. brassage des signaux binaires Multiplexage 4. séparation

Plus en détail

Méthodes de quadrature. Polytech Paris-UPMC. - p. 1/48

Méthodes de quadrature. Polytech Paris-UPMC. - p. 1/48 Méthodes de Polytech Paris-UPMC - p. 1/48 Polynôme d interpolation de Preuve et polynôme de Calcul de l erreur d interpolation Étude de la formule d erreur Autres méthodes - p. 2/48 Polynôme d interpolation

Plus en détail

Définitions. Numéro à préciser. (Durée : )

Définitions. Numéro à préciser. (Durée : ) Numéro à préciser (Durée : ) On étudie dans ce problème l ordre lexicographique pour les mots sur un alphabet fini et plusieurs constructions des cycles de De Bruijn. Les trois parties sont largement indépendantes.

Plus en détail

Projet d informatique M1BI : Compression et décompression de texte. 1 Généralités sur la compression/décompression de texte

Projet d informatique M1BI : Compression et décompression de texte. 1 Généralités sur la compression/décompression de texte Projet d informatique M1BI : Compression et décompression de texte Le but de ce projet est de coder un programme réalisant de la compression et décompression de texte. On se proposera de coder deux algorithmes

Plus en détail

de calibration Master 2: Calibration de modèles: présentation et simulation d

de calibration Master 2: Calibration de modèles: présentation et simulation d Master 2: Calibration de modèles: présentation et simulation de quelques problèmes de calibration Plan de la présentation 1. Présentation de quelques modèles à calibrer 1a. Reconstruction d une courbe

Plus en détail

PROBABILITES ET STATISTIQUE I&II

PROBABILITES ET STATISTIQUE I&II PROBABILITES ET STATISTIQUE I&II TABLE DES MATIERES CHAPITRE I - COMBINATOIRE ELEMENTAIRE I.1. Rappel des notations de la théorie des ensemble I.1.a. Ensembles et sous-ensembles I.1.b. Diagrammes (dits

Plus en détail

Dualité dans les espaces de Lebesgue et mesures de Radon finies

Dualité dans les espaces de Lebesgue et mesures de Radon finies Chapitre 6 Dualité dans les espaces de Lebesgue et mesures de Radon finies Nous allons maintenant revenir sur les espaces L p du Chapitre 4, à la lumière de certains résultats du Chapitre 5. Sauf mention

Plus en détail

La Licence Mathématiques et Economie-MASS Université de Sciences Sociales de Toulouse 1

La Licence Mathématiques et Economie-MASS Université de Sciences Sociales de Toulouse 1 La Licence Mathématiques et Economie-MASS Université de Sciences Sociales de Toulouse 1 La licence Mathématiques et Economie-MASS de l Université des Sciences Sociales de Toulouse propose sur les trois

Plus en détail

Contexte. Pour cela, elles doivent être très compliquées, c est-à-dire elles doivent être très différentes des fonctions simples,

Contexte. Pour cela, elles doivent être très compliquées, c est-à-dire elles doivent être très différentes des fonctions simples, Non-linéarité Contexte Pour permettre aux algorithmes de cryptographie d être sûrs, les fonctions booléennes qu ils utilisent ne doivent pas être inversées facilement. Pour cela, elles doivent être très

Plus en détail

LEÇON N 7 : Schéma de Bernoulli et loi binomiale. Exemples.

LEÇON N 7 : Schéma de Bernoulli et loi binomiale. Exemples. LEÇON N 7 : Schéma de Bernoulli et loi binomiale. Exemples. Pré-requis : Probabilités : définition, calculs et probabilités conditionnelles ; Notion de variables aléatoires, et propriétés associées : espérance,

Plus en détail

Résolution de systèmes linéaires par des méthodes directes

Résolution de systèmes linéaires par des méthodes directes Résolution de systèmes linéaires par des méthodes directes J. Erhel Janvier 2014 1 Inverse d une matrice carrée et systèmes linéaires Ce paragraphe a pour objet les matrices carrées et les systèmes linéaires.

Plus en détail

TSTI 2D CH X : Exemples de lois à densité 1

TSTI 2D CH X : Exemples de lois à densité 1 TSTI 2D CH X : Exemples de lois à densité I Loi uniforme sur ab ; ) Introduction Dans cette activité, on s intéresse à la modélisation du tirage au hasard d un nombre réel de l intervalle [0 ;], chacun

Plus en détail

Soutenance de stage Laboratoire des Signaux et Systèmes

Soutenance de stage Laboratoire des Signaux et Systèmes Soutenance de stage Laboratoire des Signaux et Systèmes Bornes inférieures bayésiennes de l'erreur quadratique moyenne. Application à la localisation de points de rupture. M2R ATSI Université Paris-Sud

Plus en détail

Exercices - Polynômes : corrigé. Opérations sur les polynômes

Exercices - Polynômes : corrigé. Opérations sur les polynômes Opérations sur les polynômes Exercice 1 - Carré - L1/Math Sup - Si P = Q est le carré d un polynôme, alors Q est nécessairement de degré, et son coefficient dominant est égal à 1. On peut donc écrire Q(X)

Plus en détail

Baccalauréat ES Polynésie (spécialité) 10 septembre 2014 Corrigé

Baccalauréat ES Polynésie (spécialité) 10 septembre 2014 Corrigé Baccalauréat ES Polynésie (spécialité) 10 septembre 2014 Corrigé A. P. M. E. P. Exercice 1 5 points 1. Réponse d. : 1 e Le coefficient directeur de la tangente est négatif et n est manifestement pas 2e

Plus en détail

La classification automatique de données quantitatives

La classification automatique de données quantitatives La classification automatique de données quantitatives 1 Introduction Parmi les méthodes de statistique exploratoire multidimensionnelle, dont l objectif est d extraire d une masse de données des informations

Plus en détail

LE PROBLEME DU PLUS COURT CHEMIN

LE PROBLEME DU PLUS COURT CHEMIN LE PROBLEME DU PLUS COURT CHEMIN Dans cette leçon nous définissons le modèle de plus court chemin, présentons des exemples d'application et proposons un algorithme de résolution dans le cas où les longueurs

Plus en détail

Suites numériques 3. 1 Convergence et limite d une suite

Suites numériques 3. 1 Convergence et limite d une suite Suites numériques 3 1 Convergence et limite d une suite Nous savons que les termes de certaines suites s approchent de plus en plus d une certaine valeur quand n augmente : par exemple, les nombres u n

Plus en détail

Première partie. Préliminaires : noyaux itérés. MPSI B 6 juin 2015

Première partie. Préliminaires : noyaux itérés. MPSI B 6 juin 2015 Énoncé Soit V un espace vectoriel réel. L espace vectoriel des endomorphismes de V est désigné par L(V ). Lorsque f L(V ) et k N, on désigne par f 0 = Id V, f k = f k f la composée de f avec lui même k

Plus en détail

1 Introduction au codage

1 Introduction au codage CélestineOscarDésiréAnatoleGastonEugène 1 Introduction au codage 1.1 Les ensembles L ensemble de tout les ensembles est Dieu lui-même. Kantor Ensemble des parties d un ensemble désigne l ensemble des sous-ensembles

Plus en détail

I. Introduction. 1. Objectifs. 2. Les options. a. Présentation du problème.

I. Introduction. 1. Objectifs. 2. Les options. a. Présentation du problème. I. Introduction. 1. Objectifs. Le but de ces quelques séances est d introduire les outils mathématiques, plus précisément ceux de nature probabiliste, qui interviennent dans les modèles financiers ; nous

Plus en détail

Codage hiérarchique et multirésolution (JPEG 2000) Codage Vidéo. Représentation de la couleur. Codage canal et codes correcteurs d erreur

Codage hiérarchique et multirésolution (JPEG 2000) Codage Vidéo. Représentation de la couleur. Codage canal et codes correcteurs d erreur Codage hiérarchique et multirésolution (JPEG 000) Codage Vidéo Représentation de la couleur Codage canal et codes correcteurs d erreur Format vectoriel (SVG - Scalable Vector Graphics) Organisation de

Plus en détail

Correction de l examen de la première session

Correction de l examen de la première session de l examen de la première session Julian Tugaut, Franck Licini, Didier Vincent Si vous trouvez des erreurs de Français ou de mathématiques ou bien si vous avez des questions et/ou des suggestions, envoyez-moi

Plus en détail

Modèles à Événements Discrets. Réseaux de Petri Stochastiques

Modèles à Événements Discrets. Réseaux de Petri Stochastiques Modèles à Événements Discrets Réseaux de Petri Stochastiques Table des matières 1 Chaînes de Markov Définition formelle Idée générale Discrete Time Markov Chains Continuous Time Markov Chains Propriétés

Plus en détail

4 Distributions particulières de probabilités

4 Distributions particulières de probabilités 4 Distributions particulières de probabilités 4.1 Distributions discrètes usuelles Les variables aléatoires discrètes sont réparties en catégories selon le type de leur loi. 4.1.1 Variable de Bernoulli

Plus en détail

Probabilités et Statistiques. Feuille 2 : variables aléatoires discrètes

Probabilités et Statistiques. Feuille 2 : variables aléatoires discrètes IUT HSE Probabilités et Statistiques Feuille : variables aléatoires discrètes 1 Exercices Dénombrements Exercice 1. On souhaite ranger sur une étagère 4 livres de mathématiques (distincts), 6 livres de

Plus en détail

Chapitre 13 Numérisation de l information

Chapitre 13 Numérisation de l information DERNIÈRE IMPRESSION LE 2 septembre 2013 à 17:33 Chapitre 13 Numérisation de l information Table des matières 1 Transmission des informations 2 2 La numérisation 2 2.1 L échantillonage..............................

Plus en détail

LES GENERATEURS DE NOMBRES ALEATOIRES

LES GENERATEURS DE NOMBRES ALEATOIRES LES GENERATEURS DE NOMBRES ALEATOIRES 1 Ce travail a deux objectifs : ====================================================================== 1. Comprendre ce que font les générateurs de nombres aléatoires

Plus en détail

Cours 02 : Problème général de la programmation linéaire

Cours 02 : Problème général de la programmation linéaire Cours 02 : Problème général de la programmation linéaire Cours 02 : Problème général de la Programmation Linéaire. 5 . Introduction Un programme linéaire s'écrit sous la forme suivante. MinZ(ou maxw) =

Plus en détail

Chapitre 2. Matrices

Chapitre 2. Matrices Département de mathématiques et informatique L1S1, module A ou B Chapitre 2 Matrices Emmanuel Royer emmanuelroyer@mathuniv-bpclermontfr Ce texte mis gratuitement à votre disposition a été rédigé grâce

Plus en détail

Les indices à surplus constant

Les indices à surplus constant Les indices à surplus constant Une tentative de généralisation des indices à utilité constante On cherche ici en s inspirant des indices à utilité constante à définir un indice de prix de référence adapté

Plus en détail

Continuité d une fonction de plusieurs variables

Continuité d une fonction de plusieurs variables Chapitre 2 Continuité d une fonction de plusieurs variables Maintenant qu on a défini la notion de limite pour des suites dans R n, la notion de continuité s étend sans problème à des fonctions de plusieurs

Plus en détail

De même, le périmètre P d un cercle de rayon 1 vaut P = 2π (par définition de π). Mais, on peut démontrer (difficilement!) que

De même, le périmètre P d un cercle de rayon 1 vaut P = 2π (par définition de π). Mais, on peut démontrer (difficilement!) que Introduction. On suppose connus les ensembles N (des entiers naturels), Z des entiers relatifs et Q (des nombres rationnels). On s est rendu compte, depuis l antiquité, que l on ne peut pas tout mesurer

Plus en détail

Calcul matriciel. Définition 1 Une matrice de format (m,n) est un tableau rectangulaire de mn éléments, rangés en m lignes et n colonnes.

Calcul matriciel. Définition 1 Une matrice de format (m,n) est un tableau rectangulaire de mn éléments, rangés en m lignes et n colonnes. 1 Définitions, notations Calcul matriciel Définition 1 Une matrice de format (m,n) est un tableau rectangulaire de mn éléments, rangés en m lignes et n colonnes. On utilise aussi la notation m n pour le

Plus en détail

Notes du cours MTH1101 Calcul I Partie II: fonctions de plusieurs variables

Notes du cours MTH1101 Calcul I Partie II: fonctions de plusieurs variables Notes du cours MTH1101 Calcul I Partie II: fonctions de plusieurs variables Guy Desaulniers Département de mathématiques et de génie industriel École Polytechnique de Montréal Automne 2014 Table des matières

Plus en détail

La programmation linéaire : une introduction. Qu est-ce qu un programme linéaire? Terminologie. Écriture mathématique

La programmation linéaire : une introduction. Qu est-ce qu un programme linéaire? Terminologie. Écriture mathématique La programmation linéaire : une introduction Qu est-ce qu un programme linéaire? Qu est-ce qu un programme linéaire? Exemples : allocation de ressources problème de recouvrement Hypothèses de la programmation

Plus en détail

Chapitre I La fonction transmission

Chapitre I La fonction transmission Chapitre I La fonction transmission 1. Terminologies 1.1 Mode guidé / non guidé Le signal est le vecteur de l information à transmettre. La transmission s effectue entre un émetteur et un récepteur reliés

Plus en détail