b a s h Le livre de Recettes

Transcription

1 b a s h Le livre de Recettes Solutions et exemples pour s cripteurs Traduction de François Cerbelle et Hervé Soulard D e C a r l A l b i n g, J P V o s s e n & C a m e r o n N e w h a m

2

3 bash Le livre de Recettes

4 De Carl Albing, JP Vossen & Cameron Newham bash Le livre de Recettes Traduction de François Cerbelle et Hervé Soulard Digit Books Éditeur de livres numériques Brest

5 Digit Books, 2009, pour la traduction française Couverture : Yves Buraud Illustration de «Autour de la lune» de Jules Verne ( ) de Émile-Antoine Bayard et Alphonse de Neuville. ISBN : Prix : 36 O Reilly Media, Inc L édition originale de ce livre a été publiée aux États-Unis par O Reilly Media sous le titre bash Cookbook. Les programmes figurant dans ce livre ont pour but d illustrer les sujets traités. Il n est donné aucune garantie quant à leur fonctionnement une fois compilés, assemblés ou interprétés dans le cadre d une utilisation professionnelle ou commerciale. Toute représentation ou reproduction, intégrale ou partielle, faite sans le consentement de l auteur, de ses ayants droit, ou ayants cause, est illicite (loi du 11 mars 1957, alinéa 1er de l article 40). Cette représentation ou reproduction, par quelque procédé que ce soit, constituerait une contrefaçon sanctionnée par les articles 425 et suivants du Code pénal. La loi du 11 mars 1957 autorise uniquement, aux termes des alinéas 2 et 3 de l article 41, les copies ou reproductions strictement réservées à l usage privé du copiste et non destinées à une utilisation collective d une part et, d autre part, les analyses et les courtes citations dans un but d exemple et d illustration.

6

7 Table des matières Préface... xv 1. Débuter avec bash Comprendre l invite de commandes Afficher son emplacement Chercher et exécuter des commandes Obtenir des informations sur des fichiers Afficher tous les fichiers cachés Protéger la ligne de commande Utiliser ou remplacer des commandes Déterminer si le shell est en mode interactif Faire de bash le shell par défaut Obtenir bash pour Linux Obtenir bash pour xbsd Obtenir bash pour Mac OS X Obtenir bash pour Unix Obtenir bash pour Windows Obtenir bash sans l installer Documentation de bash Sortie standard Écrire la sortie sur le terminal ou une fenêtre Écrire la sortie en conservant les espaces Mettre en forme la sortie Écrire la sortie sans le saut de ligne Enregistrer la sortie d une commande Enregistrer la sortie vers d autres fichiers... 37

8 vi Table des matières 2.7. Enregistrer la sortie de la commande ls Envoyer la sortie et les erreurs vers des fichiers différents Envoyer la sortie et les erreurs vers le même fichier Ajouter la sortie à un fichier existant Utiliser seulement le début ou la fin d un fichier Sauter l en-tête d un fichier Oublier la sortie Enregistrer ou réunir la sortie de plusieurs commandes Relier une sortie à une entrée Enregistrer une sortie redirigée vers une entrée Connecter des programmes en utilisant la sortie comme argument Placer plusieurs redirections sur la même ligne Enregistrer la sortie lorsque la redirection semble inopérante Permuter STDERR et STDOUT Empêcher l écrasement accidentel des fichiers Écraser un fichier à la demande Entrée standard Lire les données d entrée depuis un fichier Conserver les données avec le script Empêcher un comportement étrange dans un here document Indenter un here document Lire l entrée de l utilisateur Attendre une réponse Oui ou Non Choisir dans une liste d options Demander un mot de passe Exécuter des commandes Lancer n importe quel exécutable Connaître le résultat de l exécution d une commande Exécuter plusieurs commandes à la suite Exécuter plusieurs commandes à la fois Déterminer le succès d une commande Utiliser moins d instructions if Lancer de longues tâches sans surveillance Afficher des messages en cas d erreur Exécuter des commandes placées dans une variable Exécuter tous les scripts d un répertoire Variables du shell Documenter un script Incorporer la documentation dans les scripts Améliorer la lisibilité des scripts... 90

9 Table des matières vii 5.4. Séparer les noms de variables du texte environnant Exporter des variables Afficher les valeurs de toutes les variables Utiliser des paramètres dans un script Parcourir les arguments d un script Accepter les paramètres contenant des espaces Accepter des listes de paramètres contenant des espaces Compter les arguments Extraire certains arguments Obtenir des valeurs par défaut Fixer des valeurs par défaut Utiliser null comme valeur par défaut valide Indiquer une valeur par défaut variable Afficher un message d erreur pour les paramètres non définis Modifier certaines parties d une chaîne Utiliser les tableaux Logique et arithmétique Utiliser l arithmétique dans un script Conditionner l exécution du code Tester les caractéristiques des fichiers Tester plusieurs caractéristiques Tester les caractéristiques des chaînes Tester l égalité Tester avec des correspondances de motifs Tester avec des expressions régulières Modifier le comportement avec des redirections Boucler avec while Boucler avec read Boucler avec un compteur Boucler avec des valeurs en virgule flottante Réaliser des branchements multiples Analyser les arguments de la ligne de commande Créer des menus simples Modifier l invite des menus simples Créer une calculatrice NPI simple Créer une calculatrice en ligne de commande Outils shell intermédiaires I Rechercher une chaîne dans des fichiers Garder uniquement les noms de fichiers Obtenir une réponse vrai/faux à partir d une recherche Rechercher une chaîne en ignorant la casse

10 viii Table des matières 7.5. Effectuer une recherche dans un tube Réduire les résultats de la recherche Utiliser des motifs plus complexes dans la recherche Rechercher un numéro de sécu Rechercher dans les fichiers compressés Garder une partie de la sortie Conserver une partie d une ligne de sortie Inverser les mots de chaque ligne Additionner une liste de nombres Compter des chaînes Afficher les données sous forme d histogramme Afficher un paragraphe de texte après une phrase trouvée Outils shell intermédiaires II Trier votre affichage Trier les nombres Trier des adresses IP Couper des parties de la sortie Retirer les lignes identiques Compresser les fichiers Décompresser des fichiers Vérifier les répertoires contenus dans une archive tar Substituer des caractères Changer la casse des caractères Convertir les fichiers DOS au format Linux/Unix Supprimer les guillemets Compter les lignes, les mots ou les caractères dans un fichier Reformater des paragraphes Aller plus loin avec less Rechercher des fichiers avec find, locate et slocate Retrouver tous vos fichiers MP Traiter les noms de fichiers contenant des caractères étranges Accélérer le traitement des fichiers trouvés Suivre les liens symboliques Retrouver des fichiers sans tenir compte de la casse Retrouver des fichiers d après une date Retrouver des fichiers d après leur type Retrouver des fichiers d après leur taille Retrouver des fichiers d après leur contenu Retrouver rapidement des fichiers ou du contenu Retrouver un fichier à partir d une liste d emplacements possibles

11 Table des matières ix 10. Autres fonctionnalités pour les scripts Convertir un script en démon Réutiliser du code Utiliser des fichiers de configuration dans un script Définir des fonctions Utiliser des fonctions : paramètres et valeur de retour Intercepter les signaux Redéfinir des commandes avec des alias Passer outre les alias ou les fonctions Dates et heures Formater les dates en vue de leur affichage Fournir une date par défaut Calculer des plages de dates Convertir des dates et des heures en secondes depuis l origine Convertir des secondes depuis l origine en dates et heures Déterminer hier ou demain en Perl Calculer avec des dates et des heures Gérer les fuseaux horaires, les horaires d été et les années bissextiles Utiliser date et cron pour exécuter un script au nème jour Tâches utilisateur sous forme de scripts shell Afficher une ligne de tirets Présenter des photos dans un album Charger votre lecteur MP Graver un CD Comparer deux documents Analyses et tâches similaires Analyser les arguments d un script Afficher ses propres messages d erreur lors de l analyse Analyser du contenu HTML Placer la sortie dans un tableau Analyser la sortie avec une fonction Analyser du texte avec read Analyser avec read dans un tableau Déterminer le bon accord Analyser une chaîne caractère par caractère Nettoyer une arborescence SVN Configurer une base de données MySQL Extraire certains champs des données Actualiser certains champs dans des fichiers de données

12 x Table des matières Supprimer les espaces Compacter les espaces Traiter des enregistrements de longueur fixe Traiter des fichiers sans sauts de ligne Convertir un fichier de données au format CSV Analyser un fichier CSV Scripts sécurisés Éviter les problèmes de sécurité classiques Éviter l usurpation de l interpréteur Définir une variable $PATH sûre Effacer tous les alias Effacer les commandes mémorisées Interdire les fichiers core Définir une variable $IFS sûre Définir un umask sûr Trouver les répertoires modifiables mentionnés dans $PATH Ajouter le répertoire de travail dans $PATH Utiliser des fichiers temporaires sécurisés Valider l entrée Fixer les autorisations Afficher les mots de passe dans la liste des processus Écrire des scripts setuid ou setgid Restreindre les utilisateurs invités Utiliser un environnement chroot Exécuter un script sans avoir les privilèges de root Utiliser sudo de manière plus sûre Utiliser des mots de passe dans un script Utiliser SSH sans mot de passe Restreindre les commandes SSH Déconnecter les sessions inactives Scripts élaborés Trouver bash de manière portable Définir une variable $PATH de type POSIX Développer des scripts shell portables Tester des scripts sous VMware Écrire des boucles portables Écrire une commande echo portable Découper l entrée si nécessaire Afficher la sortie en hexadécimal Utiliser la redirection du réseau de bash Déterminer mon adresse

13 Table des matières xi Obtenir l entrée depuis une autre machine Rediriger la sortie pour toute la durée d un script Contourner les erreurs «liste d arguments trop longue» Journaliser vers syslog depuis un script Envoyer un message électronique depuis un script Automatiser un processus à plusieurs phases Configurer bash Options de démarrage de bash Personnaliser l invite Modifier définitivement $PATH Modifier temporairement $PATH Définir $CDPATH Raccourcir ou modifier des noms de commandes Adapter le comportement et l environnement du shell Ajuster le comportement de readline en utilisant.inputrc Créer son répertoire privé d utilitaires Utiliser les invites secondaires : $PS2, $PS3 et $PS Synchroniser l historique du shell entre des sessions Fixer les options de l historique du shell Concevoir une meilleure commande cd Créer un nouveau répertoire et y aller avec une seule commande Aller au fond des choses Étendre bash avec des commandes internes chargeables Améliorer la complétion programmable Utiliser correctement les fichiers d initialisation Créer des fichiers d initialisation autonomes et portables Commencer une configuration personnalisée Maintenance et tâches administratives Renommer plusieurs fichiers Utiliser GNU Texinfo et Info sous Linux Dézipper plusieurs archives ZIP Restaurer des sessions déconnectées avec screen Partager une unique session bash Enregistrer une session complète ou un traitement par lots Effacer l écran lorsque vous vous déconnectez Capturer les méta-informations des fichiers pour une restauration Indexer de nombreux fichiers Utiliser diff et patch Compter les différences dans des fichiers Effacer ou renommer des fichiers dont le nom comporte des caractères spéciaux

14 xii Table des matières Insérer des en-têtes dans un fichier Éditer un fichier sans le déplacer Utiliser sudo avec un groupe de commandes Trouver les lignes présentes dans un fichier mais pas dans un autre Conserver les N objets les plus récents Filtrer la sortie de ps sans afficher le processus grep Déterminer si un processus s exécute Ajouter un préfixe ou un suffixe à l affichage Numéroter les lignes Écrire des séquences Émuler la commande DOS pause Formater les nombres Réduire la saisie Naviguer rapidement entre des répertoires quelconques Répéter la dernière commande Exécuter une commande similaire Effectuer des substitutions sur plusieurs mots Réutiliser des arguments Terminer les noms automatiquement Assurer la saisie Bourdes du débutant Oublier les autorisations d exécution Résoudre les erreurs «Aucun fichier ou répertoire de ce type» Oublier que le répertoire de travail n est pas dans $PATH Nommer un script «test» S attendre à pouvoir modifier les variables exportées Oublier des guillemets lors des affectations Oublier que la correspondance de motifs trie par ordre alphabétique Oublier que les tubes créent des sous-shells Réinitialiser le terminal Supprimer des fichiers avec une variable vide Constater un comportement étrange de printf Vérifier la syntaxe d un script bash Déboguer des scripts Éviter les erreurs «commande non trouvée» avec les fonctions Confondre caractères génériques du shell et expressions régulières

15 Table des matières xiii A. Listes de référence B. Exemples fournis avec bash C. Analyse de la ligne de commande D. Gestion de versions E. Compiler bash Index

16

17 Préface Tout système d exploitation moderne dispose d un interpréteur de commandes (un shell), voire même de plusieurs. Certains shells sont orientés ligne de commande, comme celui étudié dans ce livre, tandis que d autres offrent une interface graphique, comme l Explorateur de Windows ou le Finder du Mac. Certaines personnes utiliseront l interpréteur de commande uniquement pour lancer leur application préférée et n y retourneront qu à la fermeture de leur session. Cependant, les interactions entre l utilisateur et le shell sont généralement plus fréquentes et plus élaborées. Mieux vous connaîtrez votre shell, plus vous serez rapide et efficace. Que vous soyez administrateur système, programmeur ou simple utilisateur, un script shell pourra, dans certaines occasions, vous faire gagner du temps ou faciliter la répétition d une tâche importante. Même la définition d un simple alias, qui modifie ou raccourcit le nom d une commande souvent utilisée, peut avoir un effet substantiel. Nous allons nous intéresser, entre autres, à tous ces aspects. Comme c est le cas avec tout langage de programmation général, il existe plusieurs manières d effectuer une tâche. Parfois, il n existe qu une seule bonne manière, mais, le plus souvent, vous avez le choix entre deux ou trois approches équivalentes. Celle que vous choisissez dépend de votre style personnel, de votre créativité et de votre connaissance des différentes commandes et techniques. Cela s applique aussi bien à nous, en tant qu auteurs, qu à vous, en tant que lecteur. Dans la plupart des exemples, nous proposons une seule méthode et la mettons en œuvre. Parfois, nous optons pour une méthode particulière et expliquons pourquoi nous pensons qu il s agit de la meilleure. Nous présenterons, à l occasion, plusieurs solutions équivalentes afin que vous puissiez choisir celle qui correspond le mieux à vos besoins et à votre environnement. Quelquefois, vous devrez choisir entre un code efficace très astucieux et un code plus lisible. Nous nous tournons toujours vers le code le plus lisible. En effet, l expérience nous a appris que la lisibilité du code astucieux écrit aujourd hui n est plus la même 6 ou 18 mois et 10 projets plus tard. Vous risquez alors de passer beaucoup de temps à vous interroger sur le fonctionnement de votre code. Faites-nous confiance : écrivez du code clair et bien documenté. Vous vous en féliciterez plus tard.

18 xvi Préface Notre public Ce livre est destiné aux utilisateurs de systèmes Unix ou Linux (et Mac compris), ainsi qu aux administrateurs qui peuvent se trouver chaque jour devant plusieurs systèmes différents. Il vous aidera à créer des scripts qui vous permettront d en faire plus, en moins de temps, plus facilement et de manière plus cohérente que jamais. Les utilisateurs débutants apprécieront les sections qui concernent l automatisation des tâches répétitives, les substitutions simples et la personnalisation de leur environnement afin qu il soit plus agréable et peut-être plus conforme à leurs habitudes. Les utilisateurs expérimentés et les administrateurs trouveront de nouvelles solutions et des approches différentes à des tâches courantes. Les utilisateurs avancés seront intéressés par tout un ensemble de techniques utilisables sur-le-champ, sans devoir se souvenir de tous les détails syntaxiques. Cet ouvrage s adresse particulièrement : aux néophytes d Unix ou de Linux qui ont peu de connaissances du shell, mais qui souhaitent dépasser la seule utilisation de la souris ; aux utilisateurs d Unix ou de Linux expérimentés et aux administrateurs système qui recherchent des réponses rapides à leurs questions concernant l écriture de scripts shell ; aux programmeurs travaillant dans un environnement Unix ou Linux (ou même Windows) qui veulent améliorer leur productivité ; aux administrateurs système qui débutent sous Unix ou Linux ou qui viennent d un environnement Windows et qui doivent se former rapidement ; aux utilisateurs de Windows et les administrateurs système expérimentés qui souhaitent disposer d un environnement puissant pour l exécution de scripts. Ce livre ne s attardera pas longtemps sur les bases de l écriture de scripts shell. Pour cela, consultez Le shell bash de Cameron Newham (Éditions O Reilly) et Introduction aux scripts shell de Nelson H.F. Beebe et Arnold Robbins (Éditions O Reilly). Notre objectif est d apporter des solutions aux problèmes classiques, en insistant sur la pratique et non sur la théorie. Nous espérons que ce livre vous fera gagner du temps lorsque vous rechercherez une solution ou essaierez de vous souvenir d une syntaxe. En réalité, ce sont les raisons de la rédaction de cet ouvrage. Nous voulions un livre qui propose des idées et permette de passer directement aux exemples pratiques opérationnels en cas de besoin. Ainsi, nous n avons pas à mémoriser les différences subtiles entre le shell, Perl, C, etc. Nous supposons que vous avez accès à un système Unix ou Linux (ou bien, reportezvous à la recette 1.15, page 25, ou à la recette 15.4, page 339) et que vous savez comment ouvrir une session, saisir des commandes basiques et utiliser un éditeur de texte. Pour la majorité des exemples, vous n aurez pas besoin des droits du super-utilisateur (root). En revanche, ils seront indispensables pour quelques-uns, notamment ceux qui concernent l installation de bash.

19 Préface xvii Contenu de ce livre Le sujet de cet ouvrage est bash, le GNU Bourne Again Shell. Il fait partie de la famille des shells Bourne, dont les autres membres sont le shell Bourne originel, sh, le shell Korn, ksh, ainsi que sa version pdksh (Public Domain Korn Shell). Bien qu ils ne soient pas au cœur de ce livre, tout comme dash et zsh, les scripts présentés fonctionneront assez bien avec ces autres interpréteurs de commandes. Vous pouvez lire cet ouvrage du début à la fin ou l ouvrir et sélectionner ce qui retient votre attention. Cela dit, nous espérons surtout que dès que vous aurez une question sur la manière d effectuer une tâche ou besoin d un conseil, vous pourrez trouver facilement la réponse adaptée (ou proche) et économiser du temps et des efforts. La philosophie Unix tend à construire des outils simples qui répondent parfaitement à des problèmes précis, puis à les combiner selon les besoins. L association des outils se fait généralement au travers d un script shell car ces commandes, appelées tubes, peuvent être longues et difficiles à mémoriser ou à saisir. Lorsque ce sera nécessaire, nous emploierons ces outils dans le contexte d un script shell pour réunir les différents éléments qui permettent d atteindre l objectif visé. Ce livre a été écrit avec OpenOffice.org Writer sur la machine Linux ou Windows disponible à un moment donné et en utilisant Subversion (voir l annexe D, Gestion de versions). Grâce au format ODF (Open Document Format), de nombreux aspects de l écriture de ce livre, comme les références croisées et l extraction de code, ont été simplifiés (voir la recette 13.17, page 285). Logiciel GNU bash, ainsi que d autres outils mentionnés dans ce livre, font partie du projet GNU ( GNU est un acronyme récursif qui signifie en anglais GNU s Not Unix (GNU n est pas Unix). Démarré en 1984, ce projet a pour objectif de développer un système d exploitation de type Unix libre. Sans trop entrer dans les détails, ce que l on nomme couramment Linux est, en réalité, un noyau avec un ensemble minimal de différents logiciels. Les outils GNU se placent autour de ce cœur et bons nombres d autres logiciels peuvent être inclus selon les distributions. Cependant, le noyau Linux lui-même n est pas un logiciel GNU. Le projet GNU défend l idée que Linux devrait en réalité se nommer «GNU/Linux». C est également l avis d autres acteurs et certaines distributions, notamment Debian, emploie cette dénomination. Par conséquent, on peut considérer que l objectif du projet GNU a été atteint, même si le résultat n est pas exclusivement GNU. De nombreux logiciels importants, en particulier bash, sont issus du projet GNU et il existe des versions GNU de pratiquement tous les outils mentionnés dans ce livre. Bien que les outils fournis par ce projet soient plus riches en fonctionnalités et, en général, plus faciles à utiliser, ils sont également parfois légèrement différents. Nous reviendrons sur ce sujet à la recette 15.3, page 337, même si les fournisseurs d Unix commerciaux, entre les années 1980 et 1990, sont largement responsables de ces différences. Tous ces aspects de GNU, Unix et Linux ont déjà été traités en détail (dans des livres aussi épais que celui-ci), mais nous pensons que ces remarques étaient nécessaires. Pour plus d informations sur le sujet, consultez le site

20 xviii Préface Note sur les exemples de code Les éléments d exécution d un script shell sont généralement présentés de la manière suivante : $ ls a.out cong.txt def.conf fichier.txt autre.txt zebra.liste $ Le premier caractère est souvent un symbole dollar ($) pour indiquer que la commande a été saisie à l invite du shell bash. (N oubliez pas qu elle peut être différente et que vous pouvez la modifier, comme l explique la recette 16.2, page 368.) L invite est affichée par l interpréteur de commandes. C est à vous de saisir le reste de la ligne. De manière similaire, la dernière ligne de ces exemples est souvent une invite (à nouveau un $) afin de montrer que l exécution de la commande est terminée et que le contrôle est revenu au shell. Le symbole dièse (#) pose plus de problèmes. Dans de nombreux fichiers Unix ou Linux, y compris les scripts du shell bash, ce symbole dénote le début d un commentaire et nos exemples l emploient ainsi. Mais, dans l invite de bash (à la place de $), # signifie que vous avez ouvert une session en tant que root. Puisqu un seul de nos exemples exécute ses commandes en tant que root, vous ne devriez pas être trop perturbé, mais il est important que vous le sachiez. Lorsque la chaîne d invite est absente d un exemple, nous montrons en réalité le contenu d un script shell. Pour quelques exemples longs, nous numérotons les lignes du script, mais ces numéros ne font pas partie du script lui-même. Parfois, nous montrons un exemple sous forme d un journal de session ou d une suite de commandes. Nous pouvons également utiliser la commande cat avec un ou plusieurs fichiers afin de vous révéler le contenu du script et/ou des fichiers de données utilisés dans l exemple ou dans le résultat d une opération. $ cat fichiers_donnees static en-tete ligne1 static en-tete ligne2 1 toto 2 titi 3 tata De nombreux scripts et fonctions plus élaborés sont également disponibles en téléchargement. Pour plus de détails, reportez-vous à la section Votre avis, page xxi. Nous avons décidé d utiliser #!/usr/bin/env bash avec ces exemples car cette déclaration est plus portable que #!/bin/bash, que vous pourrez rencontrer sur Linux ou sur un Mac. Pour plus d informations, consultez la recette 15.1, page 334. Vous pourrez également remarquer la ligne suivante dans certains exemples de code : # bash Le livre de recettes : nom_extrait Cela signifie que le code, en version américaine, est disponible en téléchargement sur le site mis en place par les auteurs pour ce livre ( Sa version francisée se trouve sur le site Le téléchargement (.tgz ou.zip) est documenté, mais vous trouverez le code dans les fichiers au format./chxx/nom_extrait, où chxx correspond au chapitre et nom_extrait au nom du fichier.