TP Système d exploitation numéro 4

Transcription

1 TP Système d exploitation numéro 4 cycle ingénieur - 1ere année Année L objectif de ce TP est d étudier un outil unix appelé awk qui permet d effectuer des traitements sur des fichiers texte via un langage de commande relativement simple. Il est alors possible, via ce langage, d effectuer des recherches et des traitements sur des motifs présents dans le fichier. Introduction La commande awk La commande awk a pour objectif de relire un fichier écrit dans le langage awk, d interpréter les commandes fournies et de les exécuter sur un fichier de données passé en paramètre. La syntaxe de la commande est la suivante : awk -f programme.awk fichierdedonnees Principe de fonctionnement La commande awk, lorsqu elle est lançée, relit le fichier de données ligne par ligne et applique le programme fourni sur la ligne courante(celle qui vient d être lue). Elle considère également que chaque ligne du fichier de données est formatée sous forme de mots ou de colonnes, en nombre quelconque, et permet d accèder au contenu de chaque mot/colonne (que nous appelerons champ) par l intermédiaire de variables prédéfinies nommées $1 pour le premier champ, $2 pour le second et ainsi de suite. La variable $0 permet de représenter l ensemble de la ligne. Le fichier de programme Il va contenir les instructions, en langage awk, à appliquer successivement sur chacune des lignes du fichier de données. Ces instructions doivent être comprises entre un couple d accolades { et }. Un exemple est donné ci-après : { } print $0 1

2 Ce programme awk très simple aura pour effet d afficher à l écran chacune des lignes du fichier de données (le print a pour effet d afficher la liste des variables et données qui le suivent). À noter qu il est possible d utiliser également une fonction d affichage nommée printf qui s utilise comme la fonction de même nom en langage C. Pour vous permettre de faire un premier essai, recopiez le programme d exemple dans un fichier nommé pg0.awk et appliquez le sur le fichier de données notes1 que vous avez récupéré avec le sujet. Exercice 1 1. Modifiez le programme pg0.awk de manière à ce que chaque ligne du fichier soit affichée en étant encadrée par les caractères [ et ]. 2. Écrivez un programme awk nommé pg1.awk qui permet d afficher uniquement le nom des étudiants présents dans le fichier notes1. 3. Modifier ce programme de telle manière qu il affiche le prénom, suivi du nom, de chaque étudiant. 4. En étudiant précisément la liste des étudiants, expliquez pourquoi l affichage obtenu dans les deux cas n est pas tout à fait correct. Utilisation d un séparateur Awk considère que, par défaut, les champs sont séparés par des espaces. Lorsque ce n est pas le cas, il faut lui indiquer le caractère utilisé pour distinguer les différents champs. Une façon de lui fournir cette information est de lui indiquer, sur la ligne de commande, le caractère utilisé comme séparateur dans le fichier de données. L option de awk est alors l option -F, suivie du caractère séparateur. Exercice 2 awk -f programme.awk -F separateur fichierdedonnees 1. Le fichier notes2 contient les mêmes données, mais un séparateur de champs a été introduit, sous la forme du caractère. Utilisez votre programme pg1.awk sur ce fichier en tenant compte de ce séparateur. Cela résout-il le problème qui était apparu dans l exercice précédent? 2. Modifiez à présent votre programme pour qu il affiche également la première note de chaque étudiant. Cela fonctionne-t-il? Pourquoi? Modifiez le fichier notes2 pour que l on puisse par la suite traiter n importe quelle note de chaque étudiant, avec le séparateur. 2

3 Variables prédéfinies Il existe d autres variables prédéfinies que les variables $i, utilisables dans awk. En voici quelques unes : NF : nombre de champs de la ligne courante NR : numéro de la ligne courante FNR : nombre de lignes du fichier traités Exercice 3 Écrivez un programme pg2.awk qui permette d afficher le numéro d ordre de chaque étudiant, suivi de son nom et prénom. Critères de sélection La puissance de awk réside dans le fait que cet outil est capable d appliquer des critères de sélection évolués sur chacune des lignes d un fichier, afin de déterminer si les opérations choisies par le développeur doivent être effectuées sur une ligne donnée. Un exemple basique serait de recherche si une ligne d un fichier de données contient le mot toto, auquel cas la ligne serait affichée. Dans le cas contraire, on passera à la ligne suivante. Syntaxe La syntaxe générale d un programme awk sera alors la suivante : criteres { actions } Un programme awk va donc être une succession de couples (critères, action); à chaque ligne lue, awk évalue successivement chaque critère sur cette ligne et, si le critère est évalué positivement, l action correspondante est appliquée sur la ligne. À noter que lorsque le critère est omis (comme c était le cas sur les exemples précédents), l action est automatiquement appliquée sur chacune des lignes du fichier. Critères fixes Awk fourni deux critères fixes, au sens où ils ne sont pas appliqués sur chaque ligne, mais pour l un, avant de démarrer l analyse des lignes du fichier et, pour l autre, après le traitement du fichier. Ces critères sont les suivants : BEGIN : les actions qui lui sont associées sont appliquées avant de démarrer les traitements du fichier; END : les actions qui lui sont associées sont appliquées après le traitement du fichier. Exemple : le programme suivant affiche un message avant d afficher chaque ligne du fichier, puis lorsque tout le fichier a été affiché. 3

4 BEGIN { print "--- début du fichier ---" } { print $0 } END { print "--- fin du fichier ---" } Exercice 4 1. Modifiez votre programme pg2.awk de telle sorte que, lors de l affichage, une entête soit affichée avant la liste des étudiants. Celle-ci comportera le texte Année 2012/ Complétez votre programme afin que ce texte d entête soit souligné (en affichant une ligne emplie de caractères -). 3. Complétez votre programme de telle sorte que l affichage de la liste des étudiants soit terminée par le texte : Effectif total = et le nombre total d étudiants affichés. Critères de comparaison Vous allez à présent utiliser des critères de sélection pour chacune des lignes du fichier. Les premiers que vous allez utiliser sont basés sur des comparaisons, par exemple entre les valeurs contenues dans le fichier et d autres fixées en fonction de l objectif désiré. À noter que le langage awk utilise les opérateurs classiques du langage C pour toutes les comparaisons, ainsi que les opérateurs logiques de ce langage pour relier les différentes comparaisons. Exercice 5 1. Écrivez un programme pg3.awk qui permette d afficher la liste des étudiants contenus dans le fichier notes2 dont la première note est inférieure à 10. Le numéro d ordre de l étudiant et sa note seront affichées en plus de son identité. Le titre de la liste affichée sera : module 1 : etudiants non admis. 2. Écrivez un programme pg4.awk qui permette d afficher la liste des étudiants qui ont au moins une note inférieure à 8. L entête de la liste sera le texteannée 2012/2013 : etudiants non admis, le numéro d ordre et toute la ligne concernant les étudiants sélectionnés apparaîtront. Critères de recherche Des critères de recherche plus élaborés peuvent être définis par l intermédiaire des expressions régulières. Sans entrer dans tous les détails, une expression régulière est une chaîne de caractères qui comporte des caractères classiques et des caractères particuliers qui permettent d exprimer le nombre de répétitions du caractère précédent. Les expressions régulières permettent alors de créer des motifs de longueur quelconque à partir d une expression concise. Les caractères spéciaux standards des expressions régulières sont : 4

5 *:lecaractèrequiprécèdeestrépétéunnombrequelconquedefois(ycomprisaucune fois); + : le caractère qui précède est répété une fois ou plus;? : le caractère qui précéde apparaît 0 ou 1 fois. Exemples l expression hello? représente les motifs : hell et hello l expression hello* représente les motifs : hell, hello, helloo, hellooo, helloooo, etc. l expression hello+ représente les motifs : hello, helloo, hellooo, etc. l expression x+y?z représente les motifs : xz, xyz, xxz, xxyz, xxxz, xxxyz, etc. Le langage awk rajoute quelques caractères spéciaux supplémentaires, parmi lesquels : ^ : marque le début de la chaîne; $ : marque la fin de la chaîne;. : un caractère quelconque; [...] : une plage de caractères; [^...] : les caractères de la plage sont interdits; ~ : spécifie que le critère qui suit s applique à un champ particulier (à spécifier juste avant);!~ : spécifie que le critère qui suit ne s applique pas sur un champ particulier (à spécifier juste avant). Pour utiliser une expression régulière avec awk, celle-ci doit être placée entre des caractères / /. Voici quelques exemples d utilisation pour quelques critères de recherche : /A+/ : la chaîne contient l un des motifs A, AA, AAA, etc $3 ~/A+/ : le troisème champ de la ligne contient l un des motifs A, AA, AAA, etc /^F/ : la chaîne commence par le caractère F; /1$/ : la chaîne se termine par le caractère 1; /[a-z]/ : la chaîne contient au moins une minuscule; $3!~/[a-z]/ : le champ 3 ne contient aucune minuscule; /^[A-Z]+/ : la chaîne (non vide) ne contient que des majuscules. Exercice 6 1. Écrivez un programme pg5.awk qui permette d afficher la liste des étudiants qui ont un 15 dans l une des matières. 2. Écrivez un programme pg6.awk qui permette d afficher la liste des étudiants qui ont les motifs in ou ll dans leur prénom. 5

6 Calculs Opérateurs et variables Awk offre également la possibilité d effectuer des calculs sur les données présentes dans le fichier à analyser. Pour cela il permet d utiliser des variables numériques et de type chaînes de caractères et d utiliser les opérateurs arithmétiques classiques sur les variables numériques. Ces opérateurs sont les mêmes qu en langage C, sachant qu il existe également un opérateur puissance, noté ^. Les variables n ont pas à être déclarées ni typées : elles sont créées au moment de leur utilisation, leur type étant déterminé par les données que le programme souhaite y ranger. À noter également que lors de sa création, une variable est automatiquement initialisée, à 0 pour un numérique, à la chaîne vide pour les chaînes de caractères. Exercice 7 1. Écrivez un programme pg7.awk qui permette de calculer et d afficher la moyenne générale de chaque étudiant. Celle-ci sera affichée à la fin de la ligne qui concerne chaque étudiant. Vous penserez évidemment à mettre un titre à votre affichage. 2. Modifiez votre programme de telle sorte qu il affiche également la moyenne de chaque module après avoir analysé toutes les lignes. 3. L enseignant du module 2 s est aperçu, après avoir rendu les notes, que l une des questions posées ne pouvait pas être résolue. Pour pallier son erreur, il souhaite rajouter 1 point à tous les étudiants. Écrivez un programme pg8.awk qui permette de faire cette correction et de générer un fichier notescorrigees qui contienne les bonnes valeurs. Pour générer ce fichier, vous penserez à rediriger l affichage de la sortie standard vers le fichier souhaité (voir TP1). Fonctions prédéfinies Diverses fonctions prédéfinies sont également utilisables. Parmi celles-ci, en voici quelques unes qui traitent des chaînes de caractères : length(t) : retourne la longueur de la chaîne T match(t,s) : retourne la position de la chaîne S dans la chaîne T, ou 0. index(t,c) : retourne la position du caractère C dans la chaîne T, ou 0. substr(t,d,n) : retourne une chaîne composée de N caractères de T à partir de D. gsub(w,s,t) : remplace les occurrences de la chaîne W par la chaîne S dans la chaîne T. D autres fonctions numériques existent également, telles que log(x), exp(x), sqrt(x), cosinus(x), sinus(x), etc. 6

7 Exercice 8 Écrire un programme pg9.awk qui recherche et affiche la ligne de plus grande longueur du fichier de données. Structures de contrôle Awk offre également la possibilité d utiliser les structures de contrôle classiques, telles que l alternative (if) et les boucles Tant Que (while) et Pour (for). Leur syntaxe est la même que celle du langage C et elles ne peuvent évidemment être utilisées que dans le cadre des parties action associées aux différents critères de sélection. Exercice 9 Écrire le programme pg10.awk qui permet d afficher la liste des étudiants avec leurs note et leur moyenne générale, suivie du mot admis s ils sont admis, ou rien s ils ne sont pas admis. On précise qu un étudiant est admis s il a plus de 10 de moyenne générale et aucune note en dessous de 8. Complétez votre programme de manière à ce que chaque note inférieure à 8 soit encadrée par des crochets [ ]. Finalisez votre programme en affichant le nombre d étudiants admis et le pourcentage d admis. 7