shell sh, ksh, bash (avec exercices corrigés) Programmation sous Unix/Linux Programmation shell sous Unix/Linux 4 édition Nouvelle édition

Transcription

1 sh, ksh, bash (avec exercices corrigés) Ingénieur informatique au sein de la société Ociensa Technologies, spécialiste en développement informatique notamment dans les environnements Unix et Linux, Christine Deffaix Rémy intervient sur des missions de développement et de formation auprès de grands comptes. Sa solide expérience s allie à ses qualités pédagogiques pour fournir au lecteur un ouvrage réellement efficace sur l apprentissage de l écriture de scripts shell. Les chapitres du livre Avant-propos Introduction Mécanismes essentiels du shell Paramétrage de l environnement de travail Les bases de la programmation shell Aspects avancés de la programmation shell Les expressions régulières La commande sed Le langage de programmation awk Les commandes filtres Solutions des exercices Annexes Pour plus d informations : 29,90 sur : b Les exemples de scripts du livre. b Les fichiers d exercices et leur solution. Christine DEFFAIX RÉMY ISBN : Ce livre sur la programmation shell s adresse aux utilisateurs et administrateurs des systèmes Unix/Linux souhaitant se former à l écriture de scripts shell. Les fonctionnalités des trois shells couramment utilisés (Bourne shell, ksh 88 et 93, bash) sont détaillées et leurs différences signalées. Les thèmes sont présentés de manière progressive et pédagogique, ce qui fait de cet ouvrage un support idéal destiné aussi bien à la formation professionnelle qu à l autoformation. Les premiers chapitres sont consacrés au fonctionnement du shell : lancement d une commande, caractères spéciaux du shell couramment employés (redirections, tubes...), paramétrage de l environnement de travail de l utilisateur (variables et fichiers d environnement...). Les mécanismes internes sont expliqués en détail et illustrés par de nombreux schémas. La suite de l ouvrage est dédiée à la programmation proprement dite. Les bases de la programmation (variables, structures de contrôle, commandes de test et de calculs,...) sont présentées et illustrées par de nombreux exemples. Sont ensuite détaillés les aspects avancés de la programmation shell (gestion des fichiers, fonctions,...). La dernière partie de l ouvrage traite des outils annexes indispensables au traitement de chaînes de caractères et de fichiers textes : les expressions régulières basiques et étendues, l éditeur non interactif sed, un panorama étendu du langage awk ainsi que les principales commandes filtres des systèmes unix. Des exercices permettront au lecteur de pratiquer l écriture de scripts shells tout au long de l ouvrage. Les exemples de scripts Téléchargement présentés.frdans l ouvrage, ainsi que les solutions des exercices sont disponibles en téléchargement sur le site Programmation shell sous Unix/Linux Programmation shell sous Unix/Linux shell sous Unix/Linux Programmation sh, ksh, bash (avec exercices corrigés) 4 édition ième Nouvelle édition Christine DEFFAIX RÉMY

2 Table des matières 1 Les éléments à télécharger sont disponibles à l'adresse suivante : Saisissez la référence ENI de l'ouvrage RI4PRO dans la zone de recherche et validez. Cliquez sur le titre du livre puis sur le bouton de téléchargement. Avant-propos Chapitre 1 Introduction 1. Définition du shell Caractéristiques d'un interpréteur de commandes Interpréteurs de commandes (shells) Historique Avec quel shell faut-il programmer? Scripts de démarrage Autres scripts Nom des exécutables Shells abordés dans cet ouvrage Chapitre 2 Mécanismes essentiels du shell 1. Commandes internes et externes Les commandes externes Les commandes internes Implémentation interne et implémentation externe Affichage à l'écran La commande echo Le caractère "\n" Le caractère "\c" Le caractère "\t" Liste des caractères d'échappement Les commandes print et printf

3 2 Programmation shell sous Unix/Linux, sh, ksh, bash 3. Le caractère ~ (tilde) La commande interne cd Substitution de noms de fichiers Expressions basiques Le caractère * Le caractère? Les caractères [ ] Expressions complexes ?(expression) *(expression) (expression) !(expression) Alternatives Interprétation du shell Séparateur de commandes Redirections Entrée et sorties standard des processus Entrée standard Sortie standard Sortie d'erreur standard Héritage Redirection des sorties en écriture Sortie standard Sortie d'erreur standard Sortie standard et sortie d'erreur standard Se protéger d un écrasement involontaire de fichier Éliminer les affichages Mécanisme interne Redirection de l'entrée standard

4 Table des matières Redirections avancées Rediriger les descripteurs 1 et 2 vers le même fichier La double redirection en lecture Fermeture d'un descripteur Tubes de communication Commandes ne lisant pas leur entrée standard Commandes lisant leur entrée standard Exemples triviaux Cas des filtres Compléments Enchaîner des tubes Dupliquer les sorties Envoyer la sortie standard et la sortie d'erreur standard dans le tube Regroupement de commandes Les parenthèses Les accolades Conclusion Processus en arrière-plan Exercices Fonctionnalités diverses Exercice 1 : commandes internes et externes Exercice 2 : génération de noms de fichiers Exercice 3 : séparateur de commandes Redirections Exercice Exercice Exercice Exercice Exercice Exercice

5 4 Programmation shell sous Unix/Linux, sh, ksh, bash 11.3 Tubes de communication Exercice Exercice Exercice Exercice Chapitre 3 Paramétrage de l'environnement de travail 1. Variables d'environnement Liste des variables Affichage de la valeur d'une variable Modification de la valeur d'une variable Principales variables HOME PATH PWD PS PS TMOUT TERM LOGNAME Processus et variables d'environnement Exportation des variables Liste des variables exportées Variables devant être exportées Exporter une variable Les options du shell Activer et désactiver une option du shell Visualiser la liste des options Principales options ignoreeof noclobber

6 Table des matières emacs et vi xtrace Les alias Définir un alias Visualiser la liste des alias Visualiser tous les alias Visualiser un alias en particulier Supprimer un alias Historique de commandes Paramétrer le rappel de commandes en ksh Option vi Option emacs Paramétrer le rappel de commandes en bash La complétion de noms de fichiers La complétion du bash La complétion du ksh Tableau récapitulatif Les fichiers d'environnement Caractéristiques des fichiers d'environnement Shell de connexion Fichiers d'environnement lus par le shell de connexion Session utilisant un Bourne Shell Session utilisant un Korn Shell Session utilisant un Bourne Again Shell Exercices Variables d'environnement Exercice Exercice Alias de commande Exercice Exercice

7 6 Programmation shell sous Unix/Linux, sh, ksh, bash Chapitre 4 Les bases de la programmation shell 1. Les variables utilisateur Nommer une variable Définir une variable Affecter une valeur à une variable Affecter une valeur contenant au moins un espace Variable indéfinie Retirer la définition d'une variable Isoler le nom d'une variable Variables numériques Variables complexes Substitution de variables Substitution de commandes Caractères de protection Les simples quotes Le caractère \ Les guillemets Récapitulatif des caractères spéciaux Interprétation d'une ligne de commande Écriture et lancement d'un script shell Définition Exécution d'un script par un shell enfant Exécution d'un script par le shell courant Commentaires Variables réservées du shell Les paramètres positionnels La commande shift Syntaxe Principe

8 Table des matières Code de retour d'une commande La variable? La commande exit Autres variables spéciales PID du shell interpréteur PID du dernier processus lancé en arrière-plan La commande read Syntaxe Lectures au clavier Code de retour La variable IFS Exécution de tests Introduction La commande test Syntaxe Tests sur les fichiers Tests sur les chaînes de caractères Tests sur les nombres Les opérateurs Exemple concret d'utilisation La commande [[ ]] Les opérateurs du shell Évaluation de l'opérateur && Évaluation de l'opérateur L'arithmétique La commande expr Syntaxe Opérateurs La commande (( )) Syntaxe Utilisation La commande let

9 8 Programmation shell sous Unix/Linux, sh, ksh, bash 11.4 Arithmétique sur les flottants ksh Autres shells Substitution d'expressions arithmétiques Mise au point d'un script Option -x Autres options Les structures de contrôle if case Syntaxe Principe Utilisation Boucle for Boucle while Syntaxe Utilisation Boucle infinie until Syntaxe Utilisation break et continue Exercices Variables, caractères spéciaux Exercice 1 : variables Exercice 2 : variables Exercice 3 : substitution de commande Exercice 4 : caractères de protection Variables, affichages et lectures clavier Exercice 1 : variables Exercice 2 : paramètres positionnels Exercice 3 : lectures clavier

10 Table des matières Tests et arithmétique Exercice 1 : tests sur des fichiers Exercice 2 : tests de chaînes de caractères Exercice 3 : tests numériques Exercice 4 : arithmétique Exercice 5 : opérateurs logiques des commandes [ ], [[ ]] et opérateurs logiques du shell Structures de contrôle if, case, boucle for Exercice 1 : les commandes [ ] et [[ ]], la structure de contrôle if Exercice 2 : structures de contrôle case, boucle for Boucles Exercice 1 : boucle for, commande tr Exercice 2 : boucle for, arithmétique Exercice 3 : boucles for, while Chapitre 5 Aspects avancés de la programmation shell 1. Comparatif des variables * Utilisation de * et Utilisation de "*" Utilisation de "@" Substitution de variables Longueur de la valeur contenue dans une variable Manipulation de chaînes de caractères Retirer le plus petit fragment à gauche Retirer le plus grand fragment à gauche Retirer le plus petit fragment à droite Retirer le plus grand fragment à droite Tableaux Assigner un élément Référencer un élément

11 10 Programmation shell sous Unix/Linux, sh, ksh, bash 3.3 Assignation globale d'un tableau Référencer tous les éléments d'un tableau Obtenir le nombre d'éléments d'un tableau Obtenir la longueur d'un élément d'un tableau Tableaux associatifs Initialisation des paramètres positionnels avec set Les fonctions Définition d'une fonction Code de retour d'une fonction Portée des variables Définition de variables locales Passage d'arguments Exploiter l'affichage d'une fonction Programme complet de l'exemple Commandes d'affichage La commande print Utilisation simple Suppression du saut de ligne naturel de print Afficher des arguments commençant par le caractère "-" Écrire sur un descripteur particulier La commande printf Gestion des entrées/sorties d'un script Redirection des entrées/sorties standard Gestion de fichiers Ouverture de fichier Lecture à partir d'un fichier Écriture dans un fichier Fermeture d'un fichier Traitement d'un fichier Informations préalables Les différentes façons d'exploiter un fichier

12 Table des matières Découper une ligne en champs Modifier le séparateur de ligne La commande eval Gestion des signaux Principaux signaux Ignorer un signal Modifier le traitement associé à un signal Repositionner le traitement par défaut du shell vis-à-vis d'un signal Utiliser trap à partir d'un script shell Gestion de menus avec select Analyse des options d'un script avec getopts Gestion d'un processus en arrière-plan Script d'archivage incrémental et transfert sftp automatique Objectif Le fichier uploadbackup.sh Le fichier fonctions.inc.sh Exercices Fonctions Exercice 1 : fonctions simples Exercice 2 : fonctions simples, statut de retour Exercice 3 : passage de paramètres, retour de valeur Exercice 4 : fichiers Exercice 5 : fichiers, fonctions, menu select Exercice 6 : fichiers, tableaux associatifs (bash 4, ksh93) Chapitre 6 Les expressions régulières 1. Introduction Caractères communs aux ERb et ERe

13 12 Programmation shell sous Unix/Linux, sh, ksh, bash 3. Caractères spécifiques aux ERb Caractères spécifiques aux ERe Exploitation des expressions régulières par les commandes La commande vi La commande grep La commande expr sed et awk Exercices Expressions régulières Exercice 1 : expressions régulières avec vi Exercice 2 : grep Chapitre 7 La commande sed 1. Utilisation de la commande sed Exemples Utilisation de sed en ligne de commande La commande d (delete) La commande p (print) La commande w (write) Négation d'une commande (!) La commande s (substitution) Script sed Exercices Expressions régulières Exercice 1 : insertion de balises dans un fichier Exercice 2 : formatage de fichier

14 Table des matières 13 Chapitre 8 Le langage de programmation awk 1. Principe Syntaxe Variables spéciales Variables prédéfinies dès le lancement de awk Variables initialisées lors du traitement d'une ligne Exemples simples Critères de sélection Expressions régulières Tests logiques Intervalles de lignes Structure d'un script awk BEGIN Sections intermédiaires END Commentaires Variables Exemple Opérateurs La fonction printf Redirections Lecture de la ligne suivante : next Structures de contrôle if for while do-while break continue Terminer un script

15 14 Programmation shell sous Unix/Linux, sh, ksh, bash 8. Tableaux Tableaux indicés par un entier Tableaux associatifs Définition Tester l'existence d'un élément Supprimer un élément Les arguments de la ligne de commande Fonctions intégrées Fonctions travaillant sur les chaînes Fonctions mathématiques Autres fonctions La fonction getline La fonction close La fonction system Fonctions utilisateur Exercices awk en ligne de commande Exercice 1 : awk et autres filtres Exercice 2 : critères de sélection Exercice 3 : critères de sélection, affichage de champs, sections BEGIN et END Scripts awk Exercice 4 : fonctions Exercice 5 : analyse d'un fichier de log Exercice 6 : génération d'un fichier d'étiquettes Chapitre 9 Les commandes filtres 1. Introduction Syntaxe d'appel des commandes filtres

16 Table des matières Visualisation de données Consultation de données, création de fichiers : cat Valeur des octets d'un flux de données : od Filtrage de lignes : grep Dernières lignes d'un flux de données : tail Premières lignes d'un flux de données : head Duplication de la sortie standard : tee Numérotation de lignes : nl Présentation d'un flux de données : pr Traitement de données Comptage de lignes, de mots et de caractères : wc Extraction de caractères : cut Tri de données : sort paste split Transformation de caractères : tr Dédoublonnage : uniq Compressions, archivages et conversions Compressions : gzip, bzip Archives tar Archives cpio Copie physique, transformations : dd Changement d'encodage : iconv Commandes réseau sécurisées Connexion à distance : ssh Transfert de fichier : sftp Commandes de sftp s'exécutant sur la machine locale Commandes s'exécutant sur la machine distante Commandes de transfert Connexion automatique sans mot de passe

17 16 Programmation shell sous Unix/Linux, sh, ksh, bash 7. Autres commandes La commande xargs Comparer deux fichiers : cmp Lignes communes à deux fichiers : comm Chapitre 10 Solutions des exercices 1. Solutions du chapitre Mécanismes essentiels du shell Fonctionnalités diverses Exercice 1 : commandes internes et externes Exercice 2 : génération de noms de fichiers Exercice 3 : séparateur de commandes Redirections Exercice Exercice Exercice Exercice Exercice Exercice Tubes de communication Exercice Exercice Exercice Exercice Solutions du chapitre Paramétrage de l'environnement de travail Variables d'environnement Exercice Exercice Alias de commande Exercice Exercice

18 Table des matières Solutions du chapitre Les bases de la programmation shell Variables, caractères spéciaux Exercice 1 : variables Exercice 2 : variables Exercice 3 : substitution de commande Exercice 4 : caractères de protection Variables, affichages et lectures clavier Exercice 1 : variables Exercice 2 : paramètres positionnels Exercice 3 : lectures clavier Tests et arithmétique Exercice 1 : tests sur des fichiers Exercice 2 : tests de chaînes de caractères Exercice 3 : tests numériques Exercice 4 : arithmétique Exercice 5 : opérateurs logiques des commandes [ ], [[ ]] et opérateurs logiques du shell Structures de contrôle if, case, boucle for Exercice 1 : les commandes [ ] et [[ ]], la structure de contrôle if Exercice 2 : structures de contrôle case, boucle for Boucles Exercice 1 : boucle for, commande tr Exercice 2 : boucle for, arithmétique Exercice 3 : boucles for, while Solutions du chapitre Aspects avancés de la programmation shell Fonctions Exercice 1 : fonctions simples Exercice 2 : fonctions simples, statut de retour Exercice 3 : passage de paramètres, retour de valeur Exercice 4 : fichiers Exercice 5 : fichiers, fonctions, menu select

19 18 Programmation shell sous Unix/Linux, sh, ksh, bash Exercice 6 : fichiers, tableaux associatifs (bash 4, ksh93) Solutions du chapitre Les expressions régulières Expressions régulières Exercice 1 : expressions régulières avec vi Exercice 2 : grep Solutions du chapitre La commande sed Expressions régulières Exercice 1 : insertion de balises dans un fichier Exercice 2 : formatage de fichier Solution du chapitre Le langage de programmation awk awk en ligne de commande Exercice 1 : awk et autres filtres Exercice 2 : critères de sélection Exercice 3 : critères de sélection, affichage de champs, sections BEGIN et END Scripts awk Exercice 4 : fonctions Exercice 5 : analyse d'un fichier de log Exercice 6 : génération d'un fichier d'étiquettes Annexes 1. Caractères spéciaux du shell Commandes internes au shell Ordre d'interprétation d'une commande Index

20 79 Chapitre 3 Paramétrage de l'environnement de travail 1. Variables d'environnement Paramétrage de l'environnement de travail Les thèmes abordés dans ce chapitre permettront à l'utilisateur de paramétrer son environnement de travail en tenant compte du shell utilisé. Un certain nombre de variables sont définies dans l'environnement du shell. Elles contiennent des informations nécessaires au fonctionnement de l'interpréteur et/ou des commandes lancées à partir de celui-ci. 1.1 Liste des variables La commande set donne la liste des variables définies dans le shell courant. Exemple set HOME=/home/christie LOGNAME=christie PATH=/usr/bin:/bin PS1=' ' PS2='> ' TERM=vt100...

21 80 Programmation shell sous Unix/Linux, sh, ksh, bash 1.2 Affichage de la valeur d'une variable Le caractère spécial du shell permet d accéder au contenu d'une variable. Exemple echo HOME /home/christie 1.3 Modification de la valeur d'une variable Le shell permet d'initialiser ou de modifier des variables. Exemple variable=valeur echo variable valeur Si la valeur contient des caractères spéciaux du shell (, >, espace...), il faut empêcher le shell d'interpréter ceux-ci en entourant la valeur avec des simples quotes. Remarque Utiliser des simples quotes est l'une des trois manières de masquer des caractères en shell. Ce point sera détaillé ultérieurement. Exemple Le symbole ">" (redirection) doit être masqué, l'espace (séparateur de mots sur la ligne de commande) également : variable='mot1 mot2 =>' echo variable mot1 mot2 => Editions ENI - All rights reserved

22 Paramétrage de l'environnement de travail Chapitre 3 81 Remarque Il ne faut pas mettre d'espace autour du signe =. Le shell ne comprendrait pas qu'il s'agit d'une affectation. 1.4 Principales variables Les variables présentées ci-dessous possèdent une valeur au niveau du shell de connexion. D'autres variables peuvent être définies ultérieurement HOME Cette variable contient la valeur du répertoire d'accueil de l'utilisateur. Elle ne doit pas être modifiée PATH La variable PATH contient une liste de répertoires qui sont explorés par le shell lorsqu'il doit lancer une commande externe. Remarque En aucun cas, une commande n'est recherchée dans le répertoire courant si celui-ci ne figure pas dans la variable PATH. Exemples echo PATH /usr/bin:/bin La commande date est trouvée : date Tue Jan 28 17:51:23 MET 2014 En effet, elle se situe dans le répertoire /usr/bin : find / -name date 2> /dev/null /usr/bin/date

23 82 Programmation shell sous Unix/Linux, sh, ksh, bash La commande ping n'est pas trouvée : ping localhost ksh: ping: not found La commande est située dans le répertoire /usr/sbin qui n'est pas cité dans la variable PATH : find / -name ping 2> /dev/null /usr/sbin/ping Le répertoire courant n'est pas exploré s'il n'est pas cité dans PATH : cd /usr/sbin ping localhost ksh: ping: not found Modifier le contenu de la variable PATH : PATH=PATH:/usr/sbin echo PATH /usr/bin:/bin:/usr/sbin La commande ping est trouvée : ping localhost localhost is alive Rechercher une commande dans le répertoire courant Pour qu'une commande soit recherchée dans le répertoire courant, il faut ajouter en fin de variable PATH la chaîne ":." ou simplement le caractère ":". Exemple PATH=/usr/bin:/usr/local/bin:/home/christie/bin:. Équivalent à : PATH=/usr/bin:/usr/local/bin:/home/christie/bin: Editions ENI - All rights reserved

24 Paramétrage de l'environnement de travail Chapitre PWD ksh bash PS1 Cette variable contient la valeur du répertoire courant. Elle est mise à jour par le shell dès que l'utilisateur change de répertoire. Cette variable peut être utilisée en ksh pour faire apparaître la valeur du répertoire courant dans le prompt. Cette variable contient la chaîne de caractères représentant le prompt principal. Exemple echo PS1 PS1='Entrez une commande => ' Entrez une commande => date Thu Jan 30 17:27:51 MET 2014 Entrez une commande => Avec le ksh et le bash, il est possible de paramétrer son prompt de telle façon qu'il contienne en permanence la valeur du répertoire courant. Faire apparaître la valeur du répertoire courant dans le prompt en ksh Il faut se servir de la variable PWD.

25 84 Programmation shell sous Unix/Linux, sh, ksh, bash Exemple Ici, le prompt est composé de deux caractères : le symbole "" suivi d'un espace (cf. Figure 1) : Figure 1 : Initialisation de PS1 avec le répertoire courant (1) echo -PS Le répertoire courant est /home/christie : pwd /home/christie Initialisation de PS1 avec la chaîne de caractères 'PWD' ; il faut empêcher le shell de substituer PWD par sa valeur au moment de l'affectation, donc il faut protéger l'expression avec des quotes (cf. Figure 2) : PS1='PWD ' Editions ENI - All rights reserved