Langages IL - 2ème semestre 2 ème séance : familiarisation avec l environnement Linux Manipulations de base sur les fichiers texte Sommaire 1/ Quelques commandes pour la manipulation des fichiers : cat, more, head, tail, echo, wc 2/ Opérateurs de rédirection > et >> l opérateur Exercice 3/ Quelques commandes supplémentaires pour les fichiers texte : cut, paste, sort, uniq, tr 4/ Exercices sur les commandes et les opérateurs précédents Prochaine séance : la commande grep Bref rappel sur les expressions régulières 1 / Quelques commandes pour la manipulation des fichiers : cat, more, head, tail, echo, wc 9/ cat 'concatenate' 'cat fichier : afficher à l'écran le contenu de fichier. Noter que l'on peut afficher à la suite les contenus de plusieurs fichiers, par un appel de la forme cat fichier_1...fichier_n, ou même cat nom*. Par la suite, on pourra utiliser l opérateur de redirection (>) pour copier la concaténation des fichiers dans un fichier total. Exemple : cat fichier_1 fichier_2 fichier_3 > total cat *.txt > total_bis (pour concaténer tous les fichiers texte dans le répertoire courrant) cat a.txt b.txt affiche le contenu du fichier a.txt, puis de b.txt à l'écran cat *.txt affiche le contenu des fichiers texte dans le répertoire courant par ordre alphabétique cat BARDET_*.txt affiche le contenu de tous les fichiers du répertoire courrant commençant par le préfixe BARDET_, suivi d'une suite quelconque de caractères, suivi du suffixe.txt cat -n a.txt affiche à l'écran le contenu du ficher a.txt, avec des lignes numérotées. cat -b a.txt même chose, mais ne numérote pas les lignes vides. cat -s a.txt affiche le contenu de a.txt en réduisant plusieurs lignes vides successives à une seule ligne vide.
10/ more more fichier : afficher à l'écran le contenu de fichier, en s'arrêtant à chaque fois que l'affichage remplit une page écran. Pour continuer l'affichage, appuyer sur la barre d'espace, pour arrêter l affichage écran par écran, appuyer sur q ( quit ) 11/ head head -n 20 fichier : affiche les 20 premières lignes de fichier 12/ tail tail -n 20 fichier : affiche les 20 dernières lignes de fichier Les commandes head -n NB fichier et tail -n NB fichier permettent d'afficher les NB premières et respectivement dernières lignes de fichier. tail +30 fichier affiche le contenu de fichier à partir de la ligne 30. 13/ echo echo chaîne. Afficher chaîne (une suite de caractères quelconque) à l'écran, suivi d'un retour-chariot (caractère invisible, provoquant le retour à la ligne). echo chaîne > fichier: au lieu d'afficher chaîne à l'écran, créer fichier, et stocker la sortie de echo chaîne (c'est-à-dire chaîne, suivi d'un retour-chariot) dans fichier. Noter que si fichier existe, son contenu est écrasé. Ainsi, la séquence de commandes echo toto > test.txt cat test.txt echo tutu > test.txt cat test.txt affichera à l''ecran successivement toto suvi d'un retour-chariot (premier contenu de test.txt) puis tutu suvi d'un retour-chariot (second contenu). 14/ wc wc fichier ( word count ) affiche à l'écran le nombre de lignes le nombre de mots, et le nombre de caractères contenus dans fichier. Elle peut recevoir les options -l (line), -w (word), et -c (char). Sans option elle donne les 3 informations sur la même ligne. wc -l fichier affiche le nombre de lignes de fichier, wc -w fichier affiche le nombre de mots de fichier, wc -c fichier affiche le nombre de caractères de fichier, 2 / Redirection 2.1 les opérateurs de redirection > et >> Plus généralement, l'opérateur > permet de rediriger la sortie de n'importe quelle commande vers un fichier, en écrasant son contenu si celui-ci existe déjà. Ainsi, cat fichier_1 fichier_2 affiche à l'écran les contenus de fichier_1 et (puis) fichier_2. cat fichier_1 fichier_2 > fichier_3 stocke à la suite dans fichier_3 les contenus
de fichier_1 et fichier_2. La séquence de commandes echo toto > test_1.txt echo tutu > test_2.txt cat test_1.txt test_2.txt > test_3.txt cat test_3.txt affichera: toto tutu L'opérateur >> redirige de la même manière la sortie d'une commande vers un fichier, mais, dans le cas où celui-ci existe déjà, en stockant celle-ci à la fin du fichier. Ainsi, dans l'exemple précédent, cat test_1.txt test_2.txt > test_3.txt est équivalent à: cat test_1.txt > test_3.txt (stocker toto dans test_3.txt) cat test_2.txt >> test_3.txt (stocker tutu après toto). 2.2 L'opérateur Rappelons que > permet de rediriger la sortie d'une commande vers un fichier, et que >> permet d'ajouter la sortie d'une commande à la fin d'un fichier. Un troisième opérateur,, permet de rediriger la sortie d'une commande vers une autre commande. Exemples : grep -E "a" fichier ls affiche à l'écran toutes les lignes de fichier contenant un ``a'', affiche à l'écran la liste des fichiers du répertoire courant, ls grep -E "a" redirige la liste des fichiers du répertoire courant vers la commande grep, et affiche à l'écran les fichiers dont le nom contient un ``a'', ls grep -E "a" > liste.txt stocke dans liste.txt la liste des fichiers du répertoire courant dont le nom contient un ``a''. Autres exemples de redirection : cat Selverstone.txt more head n 20 Selverstone.txt wc l echo -n abcd wc -c affiche à l'écran le nombre de lettres de la chaîne ``abcd'' (4)
Exercices sur la manipulation des fichiers (echo, cat, >, >>, cp, mv, rm) 3. 1. Revenir à votre répertoire privé, et descendre dans Documents. à l'aide de echo et de >, créer un fichier Shake contenant (sans les guillemets, et suivie d'un retour-chariot) la chaîne ``to be''. Afficher le contenu de Shake. créer une copie de Shake appelée Speare. en utilisant >>, ajouter à la fin de Shake (toujours sans guillemets, et suivie d'un retour-chariot) la chaîne ``or not''. Afficher le nouveau contenu de Shake. Afficher successivement, et en une seule commande, les contenus de Shake et de Speare. Rediriger la sortie de cette commande vers un nouveau fichier Shakespeare. Afficher son contenu. créer une copie de Shake appelée Will. renommer Will en Sha. détruire le fichier Spear. Vérifier que le répertoire courant ne contient plus que Sha, Shake et Shakespeare. En utilisant * et un prefixe ad hoc, effacer Shake et Shakespeare en un seul appel de rm, sans effacer Sha. Garder en réserve Sha pour l'exercice suivant. Effacer Speare et Shakespeare. Avant destruction ou renommage, les fichiers Shake, Speare et Shakespeare devraient contenir respectivement: To be to be to be Or not or not to be 3.2 Copier dans Linux/exos les répertoires corpus_en et corpus_fr. Rappel : afin de copier tout le répertoire, utiliser l option r (récursif) pour la commande cp. Déplacez-vous dans le répertoire Linux/exos. +Calculez combien de mots comporte votre corpus anglais dans son ensemble. Et le français. + Concaténez tous les fichiers dans le sous-répertoire Anglais/textes et redirigez la sortie dans anglais.all. Pareil pour le français. + Combien de mots comporte votre corpus anglais dans son ensemble (cette fois-ci, calculez la même information à l aide du fichier anglais.all)? Et le français? 3/ Quelques commandes supplémentaires pour la manipulation des fichiers 15/tr 'translate characters' Des exemples typiques de l utilisation de la commande tr sont : - constituer la liste de mots dans un fichier (la suite \n représente le retour à la ligne) : cat VOLCEN.txt tr \n - substituer les caractères en majuscule par des minuscules (la sortie de cette commande
ne contient plus de majuscule): cat VOLCEN.txt tr 'A-Z' 'a-z' - effacer certains caractères (avec l option d : la sortie de la commande ne contient plus de caractère x ou y) : cat VOLCEN.txt tr d xy 16/cut On suppose qu'on a à faire avec un fichier organisé en colonnes séparées par un délimiteur (par défaut un tab) comme suit : mot1 cat1 lemme1 mot2 cat2 lemme2 etc. cut -f3 ne garde que le troisième champs de chaque ligne d'un tel texte : lemme1 lemme2 cut -f3,5 ne garde que le troisième et cinquième champs (colonne) du texte cut -f3-5,7 ne garde que le 3ème, 4ème, 5ème et 7ème champs cut -f2 -d":" ne garde que le deuxième champs du texte et utilise le caractère ":" comme délimiteur 17/paste combine les fichiers horizontalement sépares par un caractère séparateur (par défaut un tab). L'option -d permet de définir un séparateur : Si on a deux fichiers de la forme suivante fichier1 mot1 mot2 mot3 fichier2 lemme1 lemme2 lemme3 La commande paste -d":" fichier1 fichier2 > fichier3 va créée un fichier nommé fichier3 de la forme : mot1:lemme1 mot2:lemme2 mot3:lemme3 18/sort sort fichier sort tri alphabétique sort -n tri par ordre numérique sort -m fusioner plusieurs fichiers triés en un seul sort -r tri decroissant (alphabétique ou numérique) * * pour toutes les commandes précitées les options peuvent être combinées de deux manières : - sort -nr - sort -n -r
sort -c vérifier si un fichier est déjà trié Maintenant on peut constituer la liste triée de mots du corpus : cat VOLCEN.txt tr \n sort 19/uniq 'unique' - garde une occurrence unique de chaque ligne dans un fichier (élimine les doublons). NOTE : pour que la commande fonctionne correctement, il faut que le fichier soit trié d'abord. Maintenant on peut construire la liste triée des mots dans le corpus, ne gadant qu'une occurrence unique de chaque mot : cat VOLCEN.txt tr \n sort uniq L'option -c permet de connaître en plus le nombre de lignes identiques dans un fichier. cat VOLCEN.txt tr \n sort uniq -c L'option -d permet d'afficher uniquement les lignes doublons. 4/ EXERCICES 4.1/ compléter cette dernière commande de façon à connaître la liste des 20 mots les plus fréquents dans le corpus avec leur nombre d'occurrences. 4.2/ compléter la commande précédente de façon à ne pas faire de différence entre les mots en majuscule et minuscules. (transformer avant les majuscules en minuscules). 4.3 Exercice à rendre par mail à l'adresse alexa.volanschi@gmail.com avant le.. février 2007 : cat, sort, uniq, cut, paste, tr, tail, head En utilisant ces commandes, et uniqument ces commandes, créer la liste des 50 suites de 2 mots les plus fréquents dans votre corpus. Indications : penser à utiliser l'option +1 avec la commande tail )