Compression de donnžes... Christian Quest

Transcription

1 ... Christian Quest

2 Qui suis-je? Auteurs de plugins 4D Ð Internet-ToolKit (ITK) Ð Stuff-ToolKit Ð Serial-ToolKit (STK) Ð PGP-ToolKit (expžrimental) DŽveloppements pour ACI Ð Premiers composants ržseaux de 4D Server (ADSP et TCP/IP) Ð 4D Remote Administrateur de 4d-forum, membre du comitž de rždaction de Plan te4d

3 But de cet atelier DŽcouvrir ce quõest la compression de donnžes Les atouts de la compression de donnžes Le principe gžnžral Les diffžrents types de compression Les diffžrents algorithmes et outils Compression de donnžes dans 4D

4 La compression de donnžes RŽduire le volume de donnžes

5 Les atouts Gain en espace de stockage Ð Sur disque Ð En mžmoire Gain en temps sur les lectures/žcritures Ð Moins de donnžes ˆ lire/žcrire physiquement sur disque Ð Compression + Žcriture plus rapide quêõune Žcriture des donnžes brutes Ð Lecture + džcompression plus rapide quêõune lecture des donnžes brutes Gain sur les temps de transmission Ð Moins de donnžes ˆ transmettre Ð Compression + envoi / ržception + džcompression plus rapide

6 Les atouts : exemples Gain en espace de stockage Ð Une image JPEG se compresse facilement ˆ 90% Ð Un fichier HTML compressž en GZIP se comprime facilement ˆ 50% de sa taille originale

7 Les atouts : exemples Gain en temps sur les lectures/žcritures Ð Temps pour Žcrire une image de 14Mo: 5s (soit 2,8Mo/s) Ð Temps pour compresser une image de 14Mo en JPEG: 3,4s, soit 6,5Mo/s, ržsultat: 503Ko (soit 4% de lêõoriginal) Ð Temps pour Žcrire une image JPEG de 503Ko: 0,2s Ð Temps total compression + Žcriture: 3,6s, soit 1,4s de moins (gain de 24% en temps et 96% en volume stockž sur disque).

8 Les atouts : exemples Gain sur les temps de transmission Ð Temps de transmission ˆ 56Kbps/s dõun fichier HTML de 30Ko: 5,4s Ð Temps de compression du fichier HTML au format ÇÊGZIPÊÈ: 0,05s (soit 600Ko/s), taille compressže: 15Ko (gain de 50% en volume) Ð Temps de transmission de lõhtml compressž: 2,7s Ð Temps total compression/transmission/džcompression: 2,8s, au lieu de 5,4s, soit un gain de pr s de 50% en temps

9 Autres atouts Les formats dõarchive (comme ZIP ou Stuffit) ržduisent le nombre de fichiers Ð Un seul fichier ZIP ou Stuffit peut contenir des centaines voire des milliers de fichier Ð Ces fichiers peuvent tre organisžs hižrarchiquement Les fichiers compressžs sont ÇvŽrifiablesÈ (notion de checksum)

10 Les diffžrents types de compression Les compressions ÇÊtextuellesÊÈ Ð Les donnžes džcompressžes sont exactement les m me que les donnžes originales Ð On peut compresser/džcompresser les donnžes autant de fois que lêõon veut Ð Exemple: fichiers Stuffit, ZIP Les compressions destructrices Ð Les donnžes džcompressžes ne sont pas exactement les m me que les donnžes originales Ð Les compressions/džcompressions successives džtruisent petit ˆ petit les donnžes

11 Les compressions ÇÊtextuellesÊÈ Supprimer la notion dõoctets, voire m me de bits Rechercher et Žliminer les ržpžtitions

12 Le principe de base Comment mettre plus de pommes de terre dans des boites? En faisant de la purže!

13 Supprimer la notion dõoctets ou de bits Un octet contient 8 bits, mais souvent on ne se sert que de 7bits, voire m me de moins. Exemple: Ð un code barre est composž dõune douzaine de chiffres (12 octets en texte ASCII), Ð chaque chiffre a une valeur de 0 ˆ 9, soit moins de 4 bits utiles (exactement log(10)/log(2) soit 3,322 bits), Ð En codant chaque chiffre sur 4 bits, on gagne džjˆ 50% en volume (6 octets au lieu de 12) Ð En codant exactement sur log(10)/log(2) bits, on

14 Rechercher les ržpžtitions Certaines informations sont plus souvent pržsente que dõautres dans les donnžes que lõon veut compresser. Exemple: dans un fichier HTML, on trouvera beaucoup de signes <, /, et > On va chercher ˆ coder les donnžes se ržpžtant souvent sur moins de bits, et les donnžes moins fržquentes sur plus de bits. Principe de la compression ÇÊHuffmanÊÈ

15 Eliminer les ržpžtitions On va chercher ˆ Žlargir la ržduction des ržpžtitions ˆ des groupes dõoctets plut t que des octets simples. Exemple: dans un fichier HTML, on trouvera souvent des balises comme <B> </B>, que lõon cherchera ˆ coder comme en bloc. Principe utilisž par les compressions Lempel-Ziv, zip, gzip

16 Autres principes Le codage arithmžtique (tr s efficace) utilise une notion de probabilitž il casse la barri re du bit

17 Le principe gžnžral de la compression Un mod le fourni une probabilitž d'apparition d'une information On code l'apparition d'une information ˆ partir du mod le Le mod le peut tre fixe, ou s'adapter aux donnžes au fžr et ˆ mesure de la compression

18 Le principe gžnžral de la džcompression Le m me mod le fournit une probabilitž d'apparition des information On džcode l'apparition d'une information ˆ l'aide du mod le On met ˆ jour le mod le si on est dans un mode "adaptatif"

19 Exemple: compression "Huffman" Message ˆ coder: abracadabra FrŽquence de chaque caract res: a=5, b=2, c=1, d=1, r=2 RŽsultat codž: 23 bits soit 73,8% de gain InconvŽnient: besoin de transmettre la table des

20 Compression adaptative Elle adapte le mod le automatiquement aux donnžes GŽnŽralement plus efficace Pas besoin de transmettre le mod le, on commence avec un mod le "de džpart" Peut fonctionner "ˆ la volže"

21 Compression non adaptative NŽcessite une analyse pržalable des donnžes, ou bien l'utilisation d'un mod le fixe Peu utilisže car gžnžralement moins performante UtilisŽe par exemple par les Fax (compression de Huffman avec une table fixe de fržquence)

22 Les algorithmes de compression ÇÊtextuelleÊÈ Les algorithmes statistiques Ð Ces algorithmes se basent essentiellement la fržquence dõapparition des donnžes (Huffman, Codage ArithmŽtique) Les algorithmes ˆ base de dictionnaires Ð Ces algorithmes ne nžcessitent pas de passe initialise dõanalyse. Ils sont les plus ržpandus.

23 Les algorithmes de compression ÇÊtextuelleÊÈ Huffman: 1952, peu efficace Lempel-Ziv Ð LZ77: ,94 bpc (Bits par caract re) Ð LZMW: ,32 bpc Ð LZH: ,30 bpc Ð LZB: ,18 bpc MTF (Moffat): ,24 bpc GZIP: ,71 bpc PPMC (Moffat): ,48 bpc, puis 2,34 (1993) PPMD (Teahan): ,27 bpc

24 Comparaison des algorithmes Comparaison algorithmes RAR LZOP LZS ARJ GZIP LHA PKZIP Stuffit PPMD BZIP

25 Conclusion de cette comparaison Certains algorithmes (PPMD, Stuffit, ARC, RAR) sont les plus efficaces (plus de 70% de gain) Une famille d'algorithmes "ZIP" tr s proches au niveau gain, mais plus ou moins rapides (implžmentations diffžrentes) Certains algorithmes sont extr mement rapide (LZOP) mais compriment moins bien

26 Autres particularitžs Certains algorithmes sont optimisžs en džcompression (džcompression tr s rapide, mais compression bien plus lente) Certains algorithmes sont optimisž pour leur Žconomie de mžmoire

27 Les compressions destructrices Elles se basent sur la perception que lõon a de lõinformation et vont Žliminer les informations que nous ne pouvons pas percevoir Ð Exemple: avec JPEG, les informations de couleur sont codžes avec moins de pržcision que les informations de luminositž car lõïil humain est moins sensible aux couleurs quõˆ la luminositž

28 La compression GIF Ce n'est pas une compression destructriceé maisé Elle est limitže ˆ une palette de 256 couleurs (forme de destruction d'information pour les images originales contenant plus de 256 couleurs) InadaptŽe aux images

29 La compression JPEG JPEG = Joint Photographic Expert Group Elle est adaptže ˆ la compression dõimage ÇÊphotographiquesÊÈ, cõest ˆ dire en ton continus. Le principe : Ð LÕimage est džcoupže en carržs de 8x8 pixels. Ð Pour chaque carrž, une luminositž et une couleur moyenne sont calculžes, puis la variation de luminositž et de couleur de chaque pixel est codže en zig-zag en partant du coin haut-gauche.

30 La compression JPEG Avantages Ð Pas de notion de palette de couleurs, c'est un codage "fržquentiel" (analyse des fržquences Ð Code "progressif" possible (on encode en plusieurspasse, chaque passe Žtant de plus en plus džtaillže) Ð Permet de choisir un rapport compression/qualitž

31 La compression JPEG InconvŽnients Ð Le džcoupage en carržs de 8x8 pixels fait rapidement appara tre des džfauts ˆ la fronti re de ces carržs Ð InadaptŽ aux images non "photographiques" (graphiques) Ð Pas de gestion de transparence (canal alpha par exemple)

32 La compression JPEG JPEG 2000: l'žvolution de JPEG BasŽ sur la compression par ondelettes Plus de džcoupage en 8x8 pixels Meilleure compression et de meilleure qualitž En cours de standardisation Format ˆ "options"

33 La compression MPEG Elle est adaptže ˆ la compression de sžquence dõimages (films, vidžo) Le principe : Ð Chaque image est compressže avec un syst me proche du JPEG (džcoupage en carržs) Ð A cela sêõajoute une džtection des mouvement et des parties fixes de lêõimage UtilisŽe par les DVD, les cha nes numžriques, certains appareil photo numžriques, voire

34 La compression MPEG Comme JPEG, on peut choisir le rapport compression/qualitž M me genre de džfauts ližs au džcoupages des images en blocs de 8x8 pixels

35 La compression MP3 Elle est adaptže ˆ la compression de sons de musique C'est un sous ŽlŽments de la norme MPEG Le principe : Ð LÕoreille humaine ne per oit quõenviron 10% de lõinformation sonore du fait de limitations mžcaniques Ð On parle de compression psycho-acoustique Ð Les signaux de fržquences voisines se masquent, un signal fort masque les signaux proches plus faibles, etc.

36 Les compressions psycho-acoustiques UtilisŽes par les MiniDisc Les futures radio-numžriques (DAB)

37 Compression de donnžes dans 4D Compression "textuelle" de fichiers/texte/donnžes Compression "destructrices" d'images/sons/vidžo

38 Les outils de compression pour 4D COMPRESSER BLOB Ð Compression "textuelle" proprižtaire ˆ 4D (basže sur LZS) Utilisation de plugins Ð Stuff-ToolKit Ð Qpix Ð Qmedia

39 Stuff-ToolKit Stuffit-Engine dans 4D Permet d'exploiter les fonctionnalitžs de Stuffit-Engine depuis le langage de 4D Ð Compression/DŽcompression Stuffit, ZIP, BZIP Ð DŽcompression d'une multitude d'autres formats/algorithmes Ð Support des "images disque" Ð Disponible pour MacOS (version Windows pržvue) Ð Version "Pro" intžgrant Stuffit-Engine DEMO

40 Qpix (Escape) Compression d'images Permet d'exploiter les fonctionnalitžs de compression/džcompression d'images de QuickTime Support des (tr s) nombreux formats d'images reconnus par QuickTime Disponible pour MacOS et Windows

41 QMedia (Escape) Compression de "moovies" Permet d'exploiter les fonctionnalitžs de compression/džcompression de "moovies" de QuickTime Support des (tr s) nombreux formats de vidžo reconnus par QuickTime Disponible pour MacOS et Windows

42 Questions/RŽponses