Représentation du texte

Transcription

1 Représentation du texte 1 le code ASCII On associe à chaque caractère, un nombre, que l on convertit ensuite en binaire. La table de passage entre le caractère et le nombre s appelle un charset ou code. Le code historiquement le plus populaire est l ASCII pour American Standart Code for Information Interchange À l aide de l éditeur de texte notepad++, créer un fichier texte (avec l extension.txt), contenant 5 lettres se suivant dans l ordre alphabétique. Vous pouvez ouvrir ce fichier texte avec un éditeur hexadécimal comme frhed. 1. Sur combien de bits un caractère est-il codé? 2. Sur combien d octets un caractère est-il codé? Vérifiez la taille du fichier en cliquant sur l onglet «Éditer», puis «propriété du fichier». 3. Quel est la taille totale du fichier? Cliquer sur l onglet «Édition» puis «Panneau des caractères ASCII» 4. Quelle est le rapport entre la taille du fichier et le nombre de caractères? Tapez «table ascii» sur un moteur de recherche et vous percevrez sa popularité! Voici un site bien pratique : Au vu de la table ASCII, combien faut-il de bits pour coder un caractère ASCII? Le code ASCII se base sur un tableau contenant les caractères les plus utilisés en langue anglaise : les lettres de l alphabet en majuscule (de A à Z) et en minuscule (de a à z), les dix chiffres arabes (de 0 à 9), des signes de ponctuation (point, virgule, point-virgule, deux points, points d exclamation et d interrogation, apostrophe ou quote, guillemet ou double quotes, parenthèses,crochets etc.), quelques symboles et certains caractères spéciaux invisibles (espace, retour-chariot,tabulation, retour-arrière, etc.), le symbole $ et % pour les transactions financières. Le symbole euro ( ) n existait pas à l époque! 8 bits permettent de coder 256 caractères. Pourquoi le code ASCII ne compte que seulement 128 caractères? À la création du code ASCII, en 1963, disposer de 128 caractères était jugé suffisant. Donc, 7 bits étaient suffisants pour chaque caractères. Mais les ordinateurs manipulent octet par octet. C est donc à chaque fois un gachis de un bit : Ce premier bit qui reste toujours à zéro? Et bien non! Ce premier bit servait à l époque pour faire du contrôle de parité Comment sont codés les chiffres 1 et 2 en ASCII? 2. Que remarquez vous? 3. Comment sont codés les lettres A et B en ASCII? 4. Que remarquez vous? 5. Si chaque caractère en ASCII occupe un octet, quel est le taille d un texte de 7000 caractères? 6. Quelle est la taille en octets de la phrase : «Enfin! Je viens de comprendre.»? Vérifiez le On peut ensuite écrire la même chose dans un logiciel de traitement de texte LibreOffice et se rendre compte que la taille du fichier obtenu n est pas du tout la même. Quelle peut en être l explication? 1. C est une sécurité pour éviter les erreurs lors des transmissions, qui étaient très fréquentes dans les premières mémoires électroniques. 1

2 Il y a des informations (renseignements) en plus (métadonnées) ; Il se souvient de la position du curseur, cette information doit donc être rangée quelque part ; Le texte n est pas sauvegardé tel quel mais compressé ; Il y a aussi la mise en page (police de caractères, couleur, etc.). 1. Coder en hexadécimal le texte suivant : Iscles. 2. Retrouvez le texte codé : Peut-on coder en binaire la phrase «Un âne est-il passé par là?» à l aide de la seule table ASCII? Justifier votre réponse 2 plus de caractères, mais toujours sur huit bits Les mémoires devenant plus fiables et, de nouvelles méthodes plus sûres que le contrôle de parité ayant été inventées, le 8 ième bit a pu être utilisé pour le codage de nouveaux caractères : c est la table ascii étendue. Si on utilise véritablement les huit bits pour le codage, combien peut-on coder de caractères au total? On élimine ainsi l inconvénient très gênant de ne coder que les lettres non accentuées, ce qui peut suffire en anglais, mais pas dans les autres langues (comme le français et l espagnol par exemple). On a pu aussi rajouter des caractères typographiques utiles comme des tirets de diverses tailles et sortes. Par exemple, en français les caractères é, è, ç, à, ù, ô, æ, œ, sont fréquemment utilisés alors qu ils ne figurent pas dans la table ASCII. 3 de la difficulté de convenir d une norme Le fait d utiliser un bit supplémentaire a bien entendu ouvert des possibilités mais malheureusement tous les caractères ne pouvaient être pris en charge. La norme ISO appelée aussi Latin-1 ou Europe occidentale est la première partie d une norme plus complète appelée ISO 8859 (qui comprend 16 parties) et qui permet de coder tous les caractères des langues européennes. La première norme ISO permet de coder 191 caractères de l alphabet latin qui avaient à l époque été jugés essentiels dans l écriture, mais omet quelques caractères fort utiles (ainsi, la ligature œ n y figure pas). Dans les pays occidentaux, cette norme est utilisée par de nombreux systèmes d exploitation, dont Apple OSX, Gnu Linux et Microsoft Windows. Elle a donné lieu à quelques extensions et adaptations, dont Windows (appelée ANSI) et ISO (qui prend en compte le symbole créé après la norme ISO ). C est source de grande confusion pour les développeurs de programmes informatiques car un même caractère peut être codé différemment suivant la norme utilisée. Voici deux tableaux présentant côte à côte ces deux encodages : 2

3 À première vue, on a les mêmes caractères aux mêmes places ; un regard plus attentif montre l affectation de caractères supplémentaires sur des zones inutilisées dans ISO Un examen encore plus attentif montre enfin que les deux tables sont tout à fait incompatibles. Nous avons tous un jour reçu un courriel bizarre ou lu une page web telle que celle-ci : Bien que ceci soit de moins en moins fréquent (nous comprendrons bientôt pourquoi), on trouve parfois des phrases dans lesquelles certains caractères sont remplacés par d autres qui n ont rien à voir et qui empêchent la lecture et la compréhension du texte. Il s agit ici d un problème d encodage et de décodage. La personne qui écrit le texte utilise une norme différente de celle utilisée par celui qui le lit. 4 codage Unicode La globalisation des échanges culturels et économiques a mis l accent sur le fait que les langues européennes coexistent avec de nombreuses autres langues aux alphabets spécifiques voire sans alphabet. La généralisation de l utilisation d internet dans le monde a ainsi nécessité une prise en compte d un nombre beaucoup plus important de caractères (à titre d exemple, le mandarin possède plus de 5000 caractères!). Une autre motivation pour cette évolution résidait dans les possibles confusions dues au trop faible nombre de caractères pris en compte ; ainsi, les symboles monétaires des différents pays n étaient pas tous représentés dans le système ISO , de sorte que les ordres de paiement internationaux transmis par courrier électronique risquaient d être mal compris. La norme Unicode a donc été crée pour permettre le codage de textes écrits quel que soit le système d écriture utilisé. On attribue à chaque caractère un nom, une position normative et un bref descriptif qui seront les mêmes quelle que soit la plate-forme informatique ou le logiciel utilisés. Un consortium composé d informaticiens, de chercheurs, de linguistes et de personnalités représentant les États ainsi que les entreprises s occupe donc d unifier toutes les pratiques en un seul et même système : l Unicode. L Unicode est une table de correspondance Caractère-Code (Charset), l UTF-8 et l UTF-16 sont les encodages correspondants (Encoding) les plus répandus. Maintenant, par défaut, les navigateurs Internet utilisent le codage UTF-8 et les concepteurs de sites pensent de plus en plus à créer leurs pages web en prenant en compte cette même norme ; c est pourquoi il y a de moins en moins de problèmes de compatibilité. Unicode en pratique Ouvrez un navigateur web et aller sur Faites afficher les propriétés de la page (dans l onglet «Outils» dans Mozilla Firefox) 3

4 1. Quel est l encodage de la page? 2. Faites décoder la page par le navigateur en utilisant un décodage ISO Que constatez vous? 3. Faites afficher le code source de la page (touches CTRL+U sous Mozilla Firefox) et repérer dans la page où se trouve la déclaration du codage (un indice : c est au début!) L Unicode permet de représenter aujourd hui caractères. Extrait de la table unicode : Unicode en pratique Vous allez écrire une page web! Créer un fichier nommé page.html avec notepad++. Elle contiendra le texte qui suit. La phrase bizarre à l intérieur est un pangramme. Vous pourrez directement le copier et le coller sur Wikipedia. <!doctype html> <html> <head> <meta charset="utf-8"> <title>votre superbe page web</title> </head> <body> <h1>voici un texte qui sert de test</h1> <p>portez ce vieux whisky au juge blond qui fume sur son île intérieure, à côté de l alcôve ovoïde, où les bûches se consument dans l âtre, ce qui lui permet de penser à la cænogénèse de l être dont il est question dans la cause ambiguë entendue à Moÿ, dans un capharnaüm qui, pense-t-il, diminue çà et là la qualité de son œuvre.</p> </body> </html> 1. Sous notepad++, enregistrez votre page html sous encodage utf-8, puis ouvrez la dans votre navigateur favori. Que constatez vous? 2. Sous notepad++, enregistrez ce texte sous encodage latin-1, puis ouvrez la dans votre navigateur. Que constatez vous? 4

5 3. Sous notepad++, éditez votre page en remplaçant la ligne <meta charset="utf-8"> par la ligne <meta charset="latin1"> et enregistrez sous encodage latin-1. Vérifiez le rendu sur votre navigateur. Que constatez vous? 5