Compression de données en alphabet infini : les classes enveloppe exponentielles

Dimension: px

Commencer à balayer dès la page:

Download "Compression de données en alphabet infini : les classes enveloppe exponentielles"

Catherine Lachance
il y a 6 ans
Total affichages :

1 Compression de données en alphabet infini : les classes exponentielles doctorant sous la direction d Élisabeth Gassiat École doctorale de Mathématiques Laboratoire de Mathématiques, Univ. Paris-Sud 11 Séminaire de 2ème année 9 janvier 2009

2 Plan de l exposé AutoCensuring Code () 4

3 Compression sans perte Compression sans perte : X = X 1, X 2,... est le signal produit par une source P.

4 Compression sans perte Compression sans perte : X = X 1, X 2,... est le signal produit par une source P. On veut encoder X 1:n = X 1, X 2,..., X n avec le moins de bits possible.

5 Compression sans perte Compression sans perte : X = X 1, X 2,... est le signal produit par une source P. On veut encoder X 1:n = X 1, X 2,..., X n avec le moins de bits possible. Un alphabet dénombrable N : chaque X i est un entier strictement positif.

6 Compression sans perte Compression sans perte : X = X 1, X 2,... est le signal produit par une source P. On veut encoder X 1:n = X 1, X 2,..., X n avec le moins de bits possible. Un alphabet dénombrable N : chaque X i est un entier strictement positif. Meilleure longueur moyenne de code : l entropie binaire H(P n ) = E P n[ log 2 P n (X 1:n )] (Shannon 1948).

7 Compression sans perte Compression sans perte : X = X 1, X 2,... est le signal produit par une source P. On veut encoder X 1:n = X 1, X 2,..., X n avec le moins de bits possible. Un alphabet dénombrable N : chaque X i est un entier strictement positif. Meilleure longueur moyenne de code : l entropie binaire H(P n ) = E P n[ log 2 P n (X 1:n )] (Shannon 1948). Source inconnue : trouver un code qui se comporte bien pour une classe de sources.

8 REdondance moyenne La compression de données s exprime comme un problème d estimation (Kraft 1949) : un code f une probabilité Q n f (x 1:n ) 2 l(f (x 1:n))

9 REdondance moyenne La compression de données s exprime comme un problème d estimation (Kraft 1949) : un code f une probabilité Q n f (x 1:n ) 2 l(f (x 1:n)) Redondance : l entropie relative D(P n ; Q n ) = E P n [ P n ] (X 1:n ) log 2 Q n. (X 1:n ) Elle mesure le nombre moyen de bits redondants.

10 REdondance moyenne La compression de données s exprime comme un problème d estimation (Kraft 1949) : un code f une probabilité Q n f (x 1:n ) 2 l(f (x 1:n)) Redondance : l entropie relative D(P n ; Q n ) = E P n [ P n ] (X 1:n ) log 2 Q n. (X 1:n ) Elle mesure le nombre moyen de bits redondants. Redondance minimax : Pour une classe de sources Λ, R n (Λ) = inf sup D(P n ; Q n ). Q n P Λ

11 REdondance moyenne La compression de données s exprime comme un problème d estimation (Kraft 1949) : un code f une probabilité Q n f (x 1:n ) 2 l(f (x 1:n)) Redondance : l entropie relative D(P n ; Q n ) = E P n [ P n ] (X 1:n ) log 2 Q n. (X 1:n ) Elle mesure le nombre moyen de bits redondants. Redondance minimax : Pour une classe de sources Λ, R n (Λ) = inf sup D(P n ; Q n ). Q n P Λ Code minimax : un code Q n qui atteint le minimum ci-dessus sup D(P n ; Q n ) = R n (Λ). P Λ

12 à décroissance exponentielle Des classes pas trop grandes : sinon la redondance est infinie (Kieffer 1978).

13 à décroissance exponentielle Des classes pas trop grandes : sinon la redondance est infinie (Kieffer 1978). Les classes de sources iid avec une intégrable sont pertinantes (Boucheron, Garivier, and Gassiat 2006).

14 à décroissance exponentielle Des classes pas trop grandes : sinon la redondance est infinie (Kieffer 1978). Les classes de sources iid avec une intégrable sont pertinantes (Boucheron, Garivier, and Gassiat 2006). Définition Soit C et α > 0 des réels vérifiant C > e 2α. La Classe à décroissance exponentielle Λ Ce α est définie par Λ Ce α = {P : k 1, P(k) Ce αk et P est stationnaire sans mémoire.} Notations : P est la distribution de X 1 sous P. Λ 1 = {P : P Λ} est la classe des premières marginales.

15 Redondance minimax des classes à décroissance exponentielle Lien entre la redondance et l entropie métrique pour la distance de Hellinger (Haussler et Opper 1997). ( ) 2. h(p, Q) = P(k) Q(k) k 1

16 Redondance minimax des classes à décroissance exponentielle Lien entre la redondance et l entropie métrique pour la distance de Hellinger (Haussler et Opper 1997). ( ) 2. h(p, Q) = P(k) Q(k) k 1 Seulement pour des sources iid.

17 Redondance minimax des classes à décroissance exponentielle Lien entre la redondance et l entropie métrique pour la distance de Hellinger (Haussler et Opper 1997). ( ) 2. h(p, Q) = P(k) Q(k) k 1 Seulement pour des sources iid. Théorème Soit C et α > 0 des réels vérifiant C > e 2α. Alors R n (Λ Ce α ) n 1 4α log e log2 n.

18 Algorithme Le codage arithmétique basé sur le mélange de Krichevsky-Trofimov est bon en alphabet fini ;

19 Algorithme Le codage arithmétique basé sur le mélange de Krichevsky-Trofimov est bon en alphabet fini ; Les symboles grands sont rares ;

20 Algorithme Le codage arithmétique basé sur le mélange de Krichevsky-Trofimov est bon en alphabet fini ; Les symboles grands sont rares ; = Censurer les symboles grands (Boucheron, Garivier, and Gassiat 2006).

21 Algorithme Le codage arithmétique basé sur le mélange de Krichevsky-Trofimov est bon en alphabet fini ; Les symboles grands sont rares ; = Censurer les symboles grands (Boucheron, Garivier, and Gassiat 2006). Quel seuil utiliser? Le maximum des symboles passés.

22 Algorithme Le codage arithmétique basé sur le mélange de Krichevsky-Trofimov est bon en alphabet fini ; Les symboles grands sont rares ; = Censurer les symboles grands (Boucheron, Garivier, and Gassiat 2006). Quel seuil utiliser? Le maximum des symboles passés. Deux parties dans le code : C1 : Code arithmétique basé sur le mélange de Krichevsky-Trofimov pour les symboles non-censurés ; C2 : Un code dû à Elias pour les symboles censurés.

23 Qualités de l algorithme Codage en ligne ;

24 Qualités de l algorithme Codage en ligne ; Calcul rapide ;

25 Qualités de l algorithme Codage en ligne ; Calcul rapide ; Adaptativité ;

26 Qualités de l algorithme Codage en ligne ; Calcul rapide ; Adaptativité ; Un seul code préfixe pour tout X ;

27 Qualités de l algorithme Codage en ligne ; Calcul rapide ; Adaptativité ; Un seul code préfixe pour tout X ; Théorème Pour tous nombres C et α > 0 tels que C > e 2α, sup E P n[l((x 1:n )) H(P n )] R n (Λ Ce α ). P Λ n Ce α

28 Groupes de travail Groupe de Travail IT-STAT à TELECOM-Paris.

29 Groupes de travail Groupe de Travail IT-STAT à TELECOM-Paris. Publications Universal Coding on Infinite Alphabets : (article soumis).

30 Groupes de travail Groupe de Travail IT-STAT à TELECOM-Paris. Publications Universal Coding on Infinite Alphabets : (article soumis). Missions Journées Statistiques du Sud, Toulouse, juin 2008.

31 Groupes de travail Groupe de Travail IT-STAT à TELECOM-Paris. Publications Universal Coding on Infinite Alphabets : (article soumis). Missions Journées Statistiques du Sud, Toulouse, juin Autres formations Cours d Anglais. Formation apprendre à rédiger de l ED.

32 Merci pour votre attention

Documents pareils

Capacité d un canal Second Théorème de Shannon. Théorie de l information 1/34

Capacité d un canal Second Théorème de Shannon Théorie de l information 1/34 Plan du cours 1. Canaux discrets sans mémoire, exemples ; 2. Capacité ; 3. Canaux symétriques ; 4. Codage de canal ; 5. Second