Automates, énumération et algorithmes

Transcription

1 Institut Gaspard-Monge Université de Marne-la-Vallée Habilitation à diriger les recherches

2 Problématique générale Études quantitatives d ensembles de mots. Énumération et génération d ensembles de mots. Domaines d application : compression de données, analyse d algorithmes. Techniques utilisées : Combinatoire des mots, Théorie des automates, Combinatoire énumérative et analytique, Dynamique symbolique.

3 Plan Introduction Version régulière du théorème de Kraft-McMillan Codage de Huffman pour des sources infinies β-numération Mots de Lyndon (factorisation standard), automates déterministes et accessibles Énumération Génération aléatoire

4 Introduction Théorème de Kraft-McMillan Codage de Huffman Un code préfixe C sur un alphabet A est un ensemble de mots de A dont aucun n est le préfixe d un autre. Décodage instantané Compression sans perte de donnée (Algorithme de Huffman) C 1 = {11, 10, 01, 001, 000} C 2 = 0 1 = {1, 01, 001, 0001, } La série génératrice d un ensemble C de mots : s(z) = n 1 s n z n où s n est le nombre de mots de C de longueur n.

5 et arbres Théorème de Kraft-McMillan Codage de Huffman Les mots d un code préfixe correspondent aux chemins de la racine aux feuilles dans un arbre A -aire C = {11, 10, 01, 001, 000} s(z) = 3z 2 + 2z 3 C = 0 1 = {1, 01, 001, 0001, } s(z) = z n = z 1 z n 1

6 Théorème de Kraft-McMillan Théorème de Kraft-McMillan Codage de Huffman Théorème (Kraft-McMillan) Une série s à coefficients entiers positifs est la série génératrice d un code préfixe sur un alphabet à k lettres si et seulement si elle satisfait l inégalité de Kraft pour l entier k : Comme s(1/k) 1. n 1 s n k n s i k n i, on peut choisir s n mots de longueur n qui n ont pas de préfixe dans le code déja construit C. i=1

7 Arbres réguliers - Séries régulières Théorème de Kraft-McMillan Codage de Huffman Un arbre est régulier s il n a qu un nombre fini de sous-arbres non isomorphes En identifiant les racines des sous-arbres isomorphes C = 0 1 = {1, 01, 001, 0001,...} est un code préfixe régulier. La série s(z) = n 1 zn = z 1 z, s n étant le nombre de chemins réussis de longueur n, est régulière.

8 Théorème de Kraft-McMillan Codage de Huffman Une version régulière du théorème de Kraft-McMillan Théorème (Bassino, Béal, Perrin, 2000) Une série s est la série génératrice d un code préfixe régulier sur un alphabet à k lettres si et seulement si elle est régulière et satisfait l inégalité de Kraft pour l entier k : s(1/k) 1.

9 Théorème de Kraft-McMillan Codage de Huffman Une version régulière du théorème de Kraft-McMillan Théorème (Bassino, Béal, Perrin, 2000) Une série s est la série génératrice d un code préfixe régulier sur un alphabet à k lettres si et seulement si elle est régulière et satisfait l inégalité de Kraft pour l entier k : s(1/k) 1. La preuve repose sur la construction de l automate des multi-ensembles : généralisation de l automate des sous-ensembles (déterminisation) par l ajout de multiplicités dans les états de l automate. les multiplicités sont définies par un vecteur propre approché v à coefficients entiers positifs Mv kv où M est la matrice d adajcence de l automate de s (Algorithme de Franaszek).

10 Théorème de Kraft-McMillan Codage de Huffman Compression sans perte de donnée - Codage de Huffman Problème : Coder un texte contenant un nombre fini de symboles distincts dont les probabilités (les fréquences) sont connues en un minimum de symboles 0 et 1. Algorithme de Huffman Produit un code préfixe optimal. Chaque symbole est la feuille d un arbre obtenu par fusion successive des 2 symboles les moins probables. A (8%) 0 40% 60% 20% C(20%) D (28%) E(32%) 0 1 B(12%) Texte sur l alphabet : A, B, C, D et E. 0 1

11 Théorème de Kraft-McMillan Codage de Huffman Codage de Huffman pour une source infinie Si une source émet indépendamment 0 et 1, avec les probabilités q et 1 q, la probabilité du mot 0 i 1 est p i = (1 q)q i. Run-length encoding Coder {0 i 1 i N} où p i = (1 q)q i.

12 Théorème de Kraft-McMillan Codage de Huffman Codage de Huffman pour une source infinie Si une source émet indépendamment 0 et 1, avec les probabilités q et 1 q, la probabilité du mot 0 i 1 est p i = (1 q)q i. Run-length encoding Coder {0 i 1 i N} où p i = (1 q)q i. L algorithme de Huffman ne s applique pas à un ensemble infini de symboles.

13 Théorème de Kraft-McMillan Codage de Huffman Codage de Huffman pour une source infinie Si une source émet indépendamment 0 et 1, avec les probabilités q et 1 q, la probabilité du mot 0 i 1 est p i = (1 q)q i. Run-length encoding Coder {0 i 1 i N} où p i = (1 q)q i. L algorithme de Huffman ne s applique pas à un ensemble infini de symboles. Théorème (Linder, Tarokh et Zeger 1997) Pour toute source dénombrable d entropie finie, il existe un code optimal qui est limite d une suite des codes de Huffman pour des versions tronquées des variables aléatoires de la source. Ce résultat ne donne aucun algorithme de construction d un code optimal.

14 Codes de Golomb Introduction Théorème de Kraft-McMillan Codage de Huffman Un code optimal est le code de Golomb formé de l branches infinies où l est l entier positif tel que q l + q l+1 1 < q l + q l 1, (Golomb 1966, Gallager et Van Voorhis 1975). Quand q = 1/2 k : codes de Rice (utilisés dans FLAC).

15 Théorème de Kraft-McMillan Codage de Huffman Codage de Huffman pour une source infinie La méthode de construction est due à Gallager et Van Voorhis (1975) Définir une suite d alphabets réduits (S j ) j= 1 dans lesquels les symboles strictement plus grand que j sont partitionnés en un nombre fini de symboles virtuels dont la probabilité est égale à la somme des probabilités des symboles qu il contient. Vérifier que la suite d alphabets réduits (S j ) j= 1 est compatible avec le processus de construction de bas en haut d un arbre de Huffman. Utiliser un argument de convergence pour s assurer que la suite de codes de Huffman finis ainsi obtenue converge vers un code infini C.

16 Théorème de Kraft-McMillan Codage de Huffman Source géométrique bidimensionnelle Run-length encoding Coder {0 i 1 i N} où p i = (1 q)q i. Pour ameliorer l efficacité du codage Coder {0 i 10 j 1 (i, j) N 2 } où P(X = i, Y = j) = p i p j = (1 q)q i+j.

17 Théorème de Kraft-McMillan Codage de Huffman Source géométrique bidimensionnelle Run-length encoding Coder {0 i 1 i N} où p i = (1 q)q i. Pour ameliorer l efficacité du codage Coder {0 i 10 j 1 (i, j) N 2 } où P(X = i, Y = j) = p i p j = (1 q)q i+j. Théorème (Bassino, Clément, Seroussi, Viola 2005) Quand q = 1/2, un code optimal est la convolution de 2 codes de Golomb d ordre 1. Quand q = 1/ k 2, un code optimal est l union de k 2 convolutions de codes de Golomb d ordre 1. Se généralise au codage de d blocs 0 i 110 i i d

18 Théorème de Kraft-McMillan Codage de Huffman Source géométrique bidimensionnelle q = 1/2 k Pour q = 1/2 k, T k arbre régulier de la largeur non bornée.

19 Théorème de Kraft-McMillan Codage de Huffman Source géométrique bidimensionnelle q = 1/2 k Pour q = 1/2 k, T k arbre régulier de la largeur non bornée.

20 Théorème de Kraft-McMillan Codage de Huffman Source géométrique bidimensionnelle q = 1/2 k Pour q = 1/2 k, T k arbre régulier de la largeur non bornée.

21 Théorème de Kraft-McMillan Codage de Huffman Source géométrique bidimensionnelle q = 1/2 k Pour q = 1/2 k, T k arbre régulier de la largeur non bornée. Code limite de q = 1/2 k quand k +

22 Théorème de Kraft-McMillan Codage de Huffman Source géométrique bidimensionnelle q = 1/2 k Pour q = 1/2 k, T k arbre régulier de la largeur non bornée. Code limite de q = 1/2 k quand k +

23 Redondance Introduction Théorème de Kraft-McMillan Codage de Huffman Redondance par symbole (0 < q 1/2) Code préfixe optimal pour des 2-blocs Code de Golomb Codes C k optimaux pour q = 1/2 k Redondance (en bits par symbole) du code préfixe optimal (empirique), du code de Golomb et des codes C k optimaux pour q = 1/2 k.

24 β-numération Introduction β-numération Mots de Lyndon La β-numération : système de numération qui généralise la numération positionnelle en base entière à une base réelle β strictement supérieure à 1. Système de numération redondant : unicité de la représentation d un nombre par le choix de sa plus grande représentation pour l ordre lexicographique. Résultats obtenus Un résultat de classification des systèmes dynamiques associés (Bassino 2002) Transducteurs pour la quasi-addition des β-entiers (Akiyama, Bassino, Frougny 2005) Propriétes statistiques de systèmes où certains chiffres sont absents (Bassino, Prodinger 2004)

25 Mots de Lyndon Introduction β-numération Mots de Lyndon Introduits par Lyndon sous le nom de suites lexicographiques standard. Définition de bases pour l algèbre de Lie libre, le monoïde libre et le groupe libre. Un mot est un mot de Lyndon s il est strictement plus petit, pour l ordre lexicographique, que tous suffixes propres. L = {a, b, ab, aab, abb, aaab, aabb, abbb, aaaab, aaabb, aabab, aabbb, ababb, abbbb,... }

26 Factorisation standard β-numération Mots de Lyndon La factorisation standard d un mot de Lyndon w qui n est pas une lettre est : w = uv où v est le plus petit suffixe propre de w. Sur A = {a, b}, aaabaab = aaab aab, aaababb = a aababb.

27 Factorisation standard β-numération Mots de Lyndon La factorisation standard d un mot de Lyndon w qui n est pas une lettre est : w = uv où v est le plus petit suffixe propre de w. Sur A = {a, b}, aaabaab = aaab aab, aaababb = a aababb. La complexité en moyenne des algorithmes de calcul des bases de l algèbre de Lie libre ou du groupe libre est liée au nombre maximal d appels récursifs à l opération de factorisation standard (hauteur de l arbre de Lyndon).

28 β-numération Mots de Lyndon Mots de Lyndon ayant un facteur droit fixé Théorème (Bassino, Clément, Nicaud, 2005) Soit v un mot de Lyndon. L ensemble F v des mots de Lyndon ayant le mot v comme facteur standard droit est un langage régulier. Théorème (Berstel, Boasson 1997) L ensemble des mots de Lyndon n est pas un langage algébrique.

29 β-numération Mots de Lyndon Mots de Lyndon ayant un facteur droit fixé Théorème (Bassino, Clément, Nicaud, 2005) Soit v un mot de Lyndon. L ensemble F v des mots de Lyndon ayant le mot v comme facteur standard droit est un langage régulier. Idée de la preuve : Tout mot de F v privé de sa première lettre se factorise, de manière unique, en un produit de mots de Lyndon décroissants pour l ordre lexicographique dont le plus petit est v. Conséquence : La factorisation standard d un mot w peut être calculée en temps linéaire (Duval 1983). Théorème (Berstel, Boasson 1997) L ensemble des mots de Lyndon n est pas un langage algébrique.

30 β-numération Mots de Lyndon Longueur moyenne des facteurs standard Théorème (Bassino, Clément, Nicaud, 2005) Pour la distribution uniforme sur les mots de Lyndon de longueur n sur un alphabet à 2 lettres, la longueur moyenne du facteur standard droit est asymptotiquement égale à 3n/4. L ensemble L n des mots de Lyndon de longueur n est partitionné en deux ensembles à peu près de même taille : l ensemble al n 1 et son complémentaire L n \ al n 1.

31 β-numération Mots de Lyndon Longueur moyenne des facteurs standard Théorème (Bassino, Clément, Nicaud, 2005) Pour la distribution uniforme sur les mots de Lyndon de longueur n sur un alphabet à 2 lettres, la longueur moyenne du facteur standard droit est asymptotiquement égale à 3n/4. L ensemble L n des mots de Lyndon de longueur n est partitionné en deux ensembles à peu près de même taille : l ensemble al n 1 et son complémentaire L n \ al n 1. Les mots de al n 1 ont tous la lettre a pour facteur gauche et leur suffixe de longueur n 1 pour facteur droit. Problème Longueur moyenne du facteur droit sur l ensemble L n \ al n 1

32 Mots de Lyndon de L \ al β-numération Mots de Lyndon Lemme (Bassino, Clément, Nicaud 2005) La longueur moyenne du facteur droit des mots de L n \ al n 1 est asymptotiquement égale à n/2. Construction d une involution ϕ sur L n \ al n 1, et telle que la moyenne des longueurs des facteurs standard droits de w et ϕ(w) soit égale à n/2.

33 Mots de Lyndon de L \ al β-numération Mots de Lyndon Lemme (Bassino, Clément, Nicaud 2005) La longueur moyenne du facteur droit des mots de L n \ al n 1 est asymptotiquement égale à n/2. Construction d une involution ϕ sur L n \ al n 1, et telle que la moyenne des longueurs des facteurs standard droits de w et ϕ(w) soit égale à n/2. Modélisation de L n \ al n 1 par une spécification des mots selon leur décomposition selon les plus longue plages de a (longueur de cette plage, nombre de plages, propriété lexicographique des facteurs). Utilisation de méthodes de combinatoire analytique, en particulier de la construction des cycles (Flajolet, Soria 1991).

34 Résultats expérimentaux β-numération Mots de Lyndon *x/ length of the right factor length of the Lyndon word Longueur moyenne du facteur droit de mots de Lyndon dont la longueur varie de à Les points sont calculés à partir de mots.

35 β-numération Mots de Lyndon Équirépartition de la longueur des facteurs standard number of hits size of the right factor Distribution de la longueur du facteur standard droit sur L n \ al n 1 calculée à partir de mots de Lyndon de longueur La loi limite (Chassaing, Marchand, Zohoorian Azad 2005).

36 Énumération Génération aléatoire et automates minimaux Les langages réguliers sont les langages acceptés par un automate fini (les ensembles de mots qui étiquettent les chemins réussis dans un automate). À chaque langage régulier est associé de manière unique un automate particulier : son automate minimal. Problème Énumération des langages réguliers selon la taille de leur automate minimal. But En interprétant la complexité en espace d un langage régulier comme le nombre d états de son automate minimal, étude en moyenne d algorithmes sur les langages réguliers.

37 Énumération Génération aléatoire Automates accessibles, déterministes et complets Un automate est déterministe et complet pour un certain alphabet s il a un unique état initial et si de chaque état part exactement une transition d étiquette donnée dans l alphabet. accessible si tout état peut être atteint par un chemin issu d un état initial. L automate minimal d un langage rationnel est l automate déterministe et complet ayant le moins d états qui reconnaît ce langage. Deux automates finis sont isomorphes s ils ne diffèrent que par l étiquette de leurs états. Problème Compter le nombre d automates déterministes, accessibles et complets à n états (sur un alphabet fini) à un isomorphisme près.

38 Énumération Génération aléatoire Des automates à des suites d entiers a a 1 b 2 b 3 a, b a b 5 a, b b 6 a 4

39 Énumération Génération aléatoire Des automates à des suites d entiers a a 1 b 2 b 3 a, b a b 5 a, b b 6 a 4 Suites d entiers associée (2, 4, 4, 5, 5, 6, 6). À tout automate de taille n sur un alphabet à k lettres, on associe une suite d entiers (x 1,, x (k 1)n+1 ). Arbre recouvrant obtenu par un parcours en profondeur selon l ordre lexicographique. Pour la ième transition qui n est pas dans l arbre, x i est le nombre d états de l automate déjà couverts par l arbre (NB : x (k 1)n+1 = n).

40 Énumération exacte Introduction Énumération Génération aléatoire F n = {(x 1,...,x (k 1)n ) [ 1, n ] (k 1)n pour tout i, x i i k 1 et x i x i 1 }. Quand k = 2, il s agit des chemins de Dick de longueur n. Le nombre d automates associés au même élément F de F n (même arbre recouvrant) : n F = n (k 1)n i=1 x i. Théorème (Nicaud 2000, Champarnaud et Paranthoën 2005) Le nombre A n d automates complets, déterministes et accessibles de taille n sur un alphabet à k lettres est où f n = F F n F, A n = n 2 n f n,

41 Énumération asymptotique Énumération Génération aléatoire Théorème (Bassino, Nicaud 2005) Le nombre A n d automates complets, déterministes et accessibles de taille n sur un alphabet à k lettres est A n = Θ ( n 2 n { kn n }), où { kn n } est le nombre de partitions d un ensemble à kn éléments en n sous-ensembles non-vides (Nombre de Stirling de 2ème espèce). En relâchant la contrainte : pour tout i, x i i k 1, on obtient f n { kn n }. La borne inférieure vient de la majoration de cette surestimation en fonction du plus petit indice i tel que x i < i k 1.

42 Énumération Génération aléatoire Théorème (Korshunov 1978 et 1986) Le nombre d automates déterministes complets et accessibles à n états sur un alphabet à k lettres est asymptotiquement égal à ( 1 ka ) 1/2 k a k r=1 1 ( kr r r 1 ( kr r 1 + r=1 )( e k ν(k) ) r )( e k ν(k) ) r 2 n ν n (k) n kn, (n 1)! où a k est racine de 1 + x = xe k/(1+x) et ν(k) = a a k k (1 + a k) k 1 a k. Théorème (Reformulation) Ce nombre est asymptotiquement égal à C k n 2 n { kn n } où Ck = 1 + et β k est une constante. r=1 1 ( kr r r 1 ( kr r 1 + r=1 )( e k 1 ) r β k )( ) e k 1 r, β k

43 Résultats expérimentaux Énumération Génération aléatoire Comparaison pour des alphabet de taille k = 2, 3 et 4 des valeurs A de n n o n2 n knn pour n = 100, 300 et 400 avec C k = lim n + A n n2 n n knn o. k C k La valeur de C k tend très vite vers 1 quand k tend vers +. Par exemple, C

44 Génération aléatoire Introduction Énumération Génération aléatoire rejet rejet Partitions S n F n Dfa Minimal Générateur de Boltzmann Méthode récursive Méthode récursive : Nicaud 2000, Champarnaud et Paranthoën 2005.

45 Générateurs de Boltzmann (Duchon, Flajolet, Louchard et Schaeffer 2004) Énumération Génération aléatoire But Engendrer uniformément les partitions d un ensemble à kn éléments en n sous-ensembles non-vides. Génération de la taille de chacun des n sous-ensembles selon une loi de Poisson de paramètre x = ζ k (point de col de { } kn n ). La probabilité d obtenir une partition de taille exactement kn est α asymptotiquement kn k. Le nombre moyen de rejets est O( n). Tirer une permutation aléatoire de {1,..., kn}. Théorème (Bassino, Nicaud 2005) La complexité en moyenne de la génération aléatoire d un automate complet, déterministe et accessible à n états par un générateur de Boltzmann est O(n 3/2 ).

46 Automates minimaux Introduction Énumération Génération aléatoire Algorithme de génération aléatoire par rejet (non prouvé). Conjecture : Asymptotiquement une proportion constante d automates déterministes, complets et accessibles sont minimaux. Expérimentalement : 80% des automates sur un alphabet à deux lettres sont minimaux, cette proportion augmente vite avec la taille de l alphabet. Conséquences : Énumération des langages réguliers selon la taille de leur automate minimal. Étude en moyenne d algorithmes sur les langages réguliers (intersection, union...).