Formation Technicien Supérieur de Support en Informatique T2SI Le module LINUX Session 2012-2013 J04 Version 01 Christian DELAIR christian@delair.fr.eu.org GRETA / GITA Formation continue au Lycée polyvalent Diderot 61, rue d'angers 75019 Paris Formation T2SI. Session 2012-2013. Module Linux 1/13
Table des matières L'architecture d'un système GNU/Linux...3 Les processus...4 Les Signaux...5 Principe des Démons (Daemons)...6 Les Entrées/Sorties standards...7 La redirection des entrées sorties...8 La concaténation...10 Les tubes (les pipelines)...11 Les Enchainements de commandes synchrone et asynchrone...13 Formation T2SI. Session 2012-2013. Module Linux 2/13
L'architecture d'un système GNU/Linux Le diagramme ci-dessous donne une vue conceptuelle de l'architecture d'un système GNU/Linux. Il s'agit d'une vue simplifiée qui masque une grande partie de la complexité de Linux. L'essentiel est ici de comprendre qu'il y a deux espaces d'adressage mémoire distincts : L'espace du noyau (kernel space) est ici en bleu pâle/cyan L'espace utilisateur (user space) est ici en rose pâle/violet L'espace noyau est un espace d'adressage matériel protégé. L'espace utilisateur communique avec le noyau via les appels système (System Calls) Le matériel (le hardware) communique avec l'espace du noyau en utilisant les interruptions matérielles, les IRQ (de l'anglais Interrupt Request) pour demande d'interruption. Diagramme simplifié de l'architecture d'un système GNU/Linux : Le système est une sorte d'empilement de couches (de briques) logicielles. Toutes les couches ne sont pas nécessaires suivant qu'il s'agisse d'un serveur, d'un poste de travail, d'un téléphone ou d'un système embarqué. Les différentes briques de l'environnement graphique peuvent être adaptées (remplacées) suivant les besoins, le noyau aussi peut être adapté. Le noyau peut être recompilé pour être adapté ou optimisé, les composants statiques chargés dans le noyau peuvent être redéfinis. Il est aussi possible de rajouter (ou retirer) des modules au noyau en cours de fonctionnement (via les commandes insmod, rmmod, et modprobe). Formation T2SI. Session 2012-2013. Module Linux 3/13
Les processus Un processus (process) est un programme chargé en RAM et en cours d'exécution par le processeur à l'instant t. Pour simplifier, un processus est défini par son nom, son PID et son PPID. Le PID: Process ID (ID pour Identifier), c'est l'identifiant, le numéro du processus qui est un nombre entier codé sur 16 bits le PPID: Parent Process ID est le numéro du processus père (son père est celui qui l'a lancé) Linux prend en charge plusieurs processus. Un processus peut créer de nouveaux processus. On dit qu'il crée un ou des processus fils. Le processus à aussi un UID (Unique identifier) qui correspond à l'uid de l'utilisateur qui a crée le processus. La gestion des processus et la gestion mémoire sont très finement liées. Un processus peut s'exécuter, suivant le cas dans zones mémoire distinctes : soit en kernel-space (l'espace réservé au noyau) ou soit en user-space (l'espace réservé aux applications/utilisateur). La séparation entre l'espace noyau et l'espace utilisateur est une brique de base très importante de la sécurité des systèmes Unix/Linux. Un processus en espace utilisateur ne peut pas accéder à la zone mémoire d'un autre processus car la mémoire est protégée. Un accès de ce type déclenche un kernel trap (une exception ou fault) qui en général stop le processus qui tente la violation d'espace mémoire. Init (/sbin/init) est le premier processus qui démarre après que le noyau soit chargé en mémoire, son PID est donc «1» et son PPID=0 Le processus (Init) est crée directement par le noyau, c'est pour cela que son PPID=0 Init lance tous les autres processus, il est donc le père de tous les autres processus (*) (*) Depuis peu, Linux dispose de quelques processus qui sont lancés directement par le noyau en dehors d'init. Ils sont lancés par kthreadd (c'est le processus "init" des threads du kernel). Ces processus exécutent du code noyau. On reconnais ces processus par leur PPID (2) et leurs noms qui sont entre [ ] comme [sync_supers]. En résumé : Les processus (init) PID=1 et (kthreadd) PID=2 sont créés directement par le noyau. Leur PPID à la valeur «0», cela indique qu'ils n'ont pas de parents «0» signifiant que le père est le «noyau lui-même». Un processus qui perd son père est «adopté» par Init et son PPID devient 1 (test avec sleep) Les commandes : ps, top, pstree, kill permettent de «voir» et gérer les processus la commande ps permet de lister la table des processus gérés par le noyau. Pour lister tous les processus, avec leurs UID, PID et PPID on peut utiliser la commande : ps -ef ou ps -ax Formation T2SI. Session 2012-2013. Module Linux 4/13
Les Signaux Les signaux sont des interruptions logicielles qui correspondent à des actions sur un processus en cours. Les signaux peuvent provenir de différentes sources : Une séquence de touche via le clavier (Ctrl-C par exemple) La commande kill qui permet d'envoyer un signal à un processus Un autre programme ou un autre processus Le Noyau lui même La commande kill, par défaut, envoie un signal pour terminer le processus, pour cela, il faut être "root" ou bien le propriétaire du processus concerné. kill -l (liste tous les signaux qu'il est possible d'utiliser) man 7 signal (pour les développeurs) Pour réinitialiser un processus : kill -1 <pidnum> ou kill -HUP <pidnum> Kill -1 <pidnum> SIGHUP Force le process à relire son fichier de configuration. Kill -15 <pidnum> SIGTERM Termine le processus proprement Kill -9 <pidnum> SIGKILL Tue (au sens de termine violemment) le processus ps -ef Liste les processus avec leur UID, PID et PPID Formation T2SI. Session 2012-2013. Module Linux 5/13
Principe des Démons (Daemons) Sous Unix et GNU/Linux un démon (daemon) est un programme (un processus) qui tourne en tâche de fond (on dit aussi en background). Les démons Unix sont l'équivalent des «services» sous Windows. Classiquement, les noms des démons se terminent par la lettre "d" (pour daemon). Voici quelques daemons habituels sur un serveur GNU/Linux : dhcpd named sshd ftpd proftpd pure-ftpd vsftpd httpd nmbd smbd nfsd cupsd crond rsyslogd spamd mysqld Le serveur DHCP (souvent celui de l'isc https://www.isc.org) Serveur DNS (Domain Name System de BIND 9 de l'isc) Le serveur SSH (accès distants sécurisés et cryptés via OpenSSH) Le serveur FTP de base Le serveur FTP ProFTPD est très finement configurable Le serveur FTP de Pure-FTPd est sous licence BSD Un serveur FTP très sécurisé et très rapide Le serveur HTTP (Serveur Web Apache) Serveur de noms NetBIOS (sur IP) de la suite Samba Serveur SMB/CIFS de samba qui fournit les services aux clients Serveur NFS (Network File System de SUN Microsystem) Serveur d'impression (Common Unix Printing System) de Apple Inc Serveur qui gère les tâches planifiées (tâches système et utilisateurs) Gère les messages dans les logs (les journaux d'événements). Gestion du spam sur les serveurs de mail Serveur de la base de données MySQL bluetoothd Gestion des équipements Bluetooth (seulement sur les postes clients) smartd Contrôle les disques SATA/SCSI utilisant la technologie SMART "Self-Monitoring, Analysis et Reporting" intégré dans les disques durs Les différences entre un processus et un démon : Un démon est un processus, mais un processus n'est pas toujours un démon Un démon, en principe connecte STDIN, STDOUT et STDERR vers /dev/null Un démon correspond souvent à un service qui est actif au boot du serveur et qui restera actif sur une longue période de temps (généralement jusqu'à l'arrêt du serveur). Par exemple init, dhcpd et crond sont des démons. Un processus peut durer de quelques microsecondes (une commande qui donne un résultat immédiat) à plusieurs heures/jours (un code de calculs ou de simulations par exemple). Formation T2SI. Session 2012-2013. Module Linux 6/13
Les Entrées/Sorties standards Pour un processus qui n'est pas un démon, la norme POSIX définit 3 descripteurs de fichier standard (File Descriptor) qui correspondent à trois flux de données que l'on appelle les «entrées-sorties standard» ou Standard streams en Anglais. Descripteurs Nom Intitulé 0 stdin Standard Input (entrée standard) associée au clavier 1 stdout Standard Output (sortie standard)associée à l'écran 2 stderr Standard Error (erreur standard) associée à l'écran Il faut bien comprendre cette logique pour assimiler le fonctionnement des tubes (pipe) " " et des Redirections des Entrées-Sorties ">" "<" dans les lignes de commandes. En effet chaque commande Unix/Linux étant un programme, devient un processus au moment ou elle s'exécute. Elle dispose donc de ces trois flux de données qui lui sont automatiquement associés. Par défaut, pour chaque commande exécutée : L'entrée standard d'une commande est associée au clavier (pour entrer les données) La sortie standard est associée à l'écran (pour afficher le, ou les résultats) La sortie d'erreur est aussi associés à l'écran. (pour afficher les messages d'erreurs) Formation T2SI. Session 2012-2013. Module Linux 7/13
La redirection des entrées sorties Les caractères " > " et " < " peuvent être utilisés dans les lignes de commandes pour rediriger les flux de données des entrées et des sorties : > Redirige la sortie standard (STDOUT) < Redirige l'entrée standard (STDIN) 2> Redirige la sortie des erreurs (STDERR) > Redirection de la sortie standard STDOUT Elle permet de rediriger la sortie standard, vers un fichier On utilise le symbole de redirection simple : > dans une ligne de commande lorsque l'on souhaite rediriger le flux des données issues de la sortie standard d'une commande vers un fichier : ls -als > Liste_fichiers.txt Ici, par exemple, la commande ls n'affichera pas sa liste comme elle le fait normalement à l'écran c.a.d sur (stdout). Le symbole de redirection simple de la sortie standard > va rediriger le flux des données de stdout vers le fichier dont le nom est indiqué en argument : Liste_fichiers.txt On pourra, par la suite, vérifier le contenu du fichier Liste_fichiers.txt avec une des commandes : more, less, gedit ou cat cat Liste_fichiers.txt < Redirection de l'entrée standard STDIN Elle permet à une commande de lire les données provenant d'un fichier au lieu du clavier. Elle est moins utilisée que la redirection de la sortie standard. On utilise le symbole de redirection simple : < dans une ligne de commande lorsque l'on souhaite rediriger le flux de l'entrée standard (stdin) ce qui permet à une commande de lire des données provenant d'un fichier au lieu de lire les données provenant du clavier. En redirigeant l'entrée standard (stdin) d'une commande (via le caractère «<»). La commande lira les données depuis un fichier au lieu de les lire au clavier. Exemple : mailx christian@delair.fr.eu.org < message.txt Cette commande va envoyer un email à christian@delair.fr.eu.org Formation T2SI. Session 2012-2013. Module Linux 8/13
Le texte du mail (le corps du message) correspondra au contenu du fichier message.txt A ne pas confondre avec un fichier joint. Ici, par exemple, le fichier calculs.txt contient : 24 * 60 * 60 $ bc -l < calculs.txt 86400 En redirigeant l'entrée standard, la commande bc lira les données provenant du fichier calculs.txt au lieu de les lire depuis le clavier. 2> Redirection de la sortie des erreurs STDERR Elle permet de rediriger la sortie des erreurs, vers un fichier On utilise le symbole de redirection simple : 2> dans une ligne de commande lorsque l'on souhaite rediriger le flux des données issues de la sortie des erreurs d'une commande vers un fichier : $ rm /tmp/fichier_non_existant 2> /tmp/message_erreur.txt Ici, par exemple, avec la commande rm on essaye d'effacer un fichier qui n'existe pas. Le message d'erreur issue de cette commande ne s'affichera pas à l'écran (stderr). En effet, Le symbole de redirection de la sortie des erreurs " 2> " va renvoyer (rediriger) le flux d'erreurs vers le fichier dont le nom est indiqué en argument : /tmp/message_erreur.txt Toutes les entrées sorties peuvent être redirigées indépendamment les unes des autres $ bc -l < calculs.txt > calculs.res 2> calculs.err Dans cet exemple, la commande bc : lit ses données d'entrées depuis le fichier calculs.txt au lieu du clavier écrit les résultats dans le fichier calculs.res au lieu de les afficher à l'écran écrit les erreurs,s'il y en a, dans le fichier calculs.err au lieu de les afficher à l'écran Formation T2SI. Session 2012-2013. Module Linux 9/13
La concaténation Les caractères " >> " peuvent être utilisés dans les lignes de commandes pour rediriger les flux de données des sorties en mode concaténation (mettre bout à bout). La différence entre " > " et " >> " " > " Ce symbole de redirection créer le fichier, s'il n'existe pas ATTENTION : Si le fichier existe, il sera écrasé " >> " Ce symbole de redirection va rajouter dans un fichier pré-existant Si le fichier n'existe pas, il sera crée La commande cat permet aussi de faire de la concaténation La commande cat envoie le contenu d'un fichier sur la sortie standard stdout Quand elle est combinée avec le symbole de redirection " > " la commande cat peut être utilisée pour concaténer plusieurs fichiers dans un seul fichier. cat fichier-1 fichier-2 fichier-n > fichier-résultat Exemple d'utilisation simple : un gros fichier image ISO de 7.5 Go ne passe pas sur une clé USB en FAT32 (maxi 4Go par fichier). On coupe le fichier en 2 morceaux avec la commande split (*) split -b 4G Fichier.iso Fichier_ Après envoi et récupération sur une autre machine, pour ré-assembler le fichier final, il suffit d'utiliser cat avec la redirection " > " stdout cat Fichier_aa Fichier_ab > Fichier.iso (*) La commande split découpe n'importe quel type de fichier ascii, binaire, image, programme, archive compressée... et de n'importe qu'elle plateforme: Linux, Mac, Windows. Pour split, le fichier à découper correspond à une simple suite d'octets. Cette façon de faire est aussi bien pratique pour envoyer des gros fichiers par email à ceux qui ont des limites pour la taille des attachement (couramment entre de 2 à 20 Mo). Formation T2SI. Session 2012-2013. Module Linux 10/13
Les tubes (les pipelines) Les tubes (pipes) : sont des canaux de communication de type FIFO (First In, First Out). Dans un shell, un pipeline est créé automatiquement en utilisant le caractère " " Les plupart des commandes Unix sont conçues comme des filtres pour pouvoir travailler avec des tubes. L'opérateur pipe (" ") sur une ligne de commande signifie que la sortie principale (stdout) de la commande de gauche est transmise à l'entrée principale (stdin) de la commande de droite : Un tube " " (pipe) est donc une redirection entre deux commandes ou deux processus Le pipe redirige la sortie d'une commande sur l'entrée de la commande suivante : $ commande_1 commande_2 La sortie standard du programme commande_1 est redirigée vers l entrée standard du programme commande_2 Autrement dit, le résultat du programme commande_1 sera utilisé comme les données du programme commande_2 commande_1,stdout ==> ==> stdin,commande_2 ps -ef grep init Fonctionnement : La sortie stdout de la commande ps -ef (c.a.d la liste des processus) sera envoyée sur l'entrée stdin de la commande grep qui, dans cet exemple, va rechercher le motif init dans le texte qu'elle reçoit sur son flux d'entrée principale. La commande grep n'affichera que la ou les lignes où le motif init apparaitra. Lorsque l'on travaille dans une console avec le shell, et quand on n'utilise pas de pipe, stdin est relié au clavier et stdout est redirigé vers la console (l'écran). Il y a aussi un troisième flux, stderr (standard error) qui est, par défaut aussi redirigé vers la console pour afficher les messages d'erreur éventuellement renvoyés par la commande. Le mécanisme de tube permet par exemple d'enchaîner des commandes : La première commande écrit dans le tube, la seconde lit dans le même tube. Le pipe disparait lorsque l'exécution des processus mis en jeux se termine. Formation T2SI. Session 2012-2013. Module Linux 11/13
La commande ps «pipée» dans un wc comptera le nombre de processus qui tournent ps -ef wc -l Celle-ci va compter le nombre de fichiers listés par ls ls wc -l Celle-ci va supprimer les noms doublés dans le fichier ListeNoms.txt et les classer par ordre alphabétique cat ListeNoms.txt uniq sort Celle-ci recherche si le fichier libellule est bien contenu dans l'archive au format tar Save_Images.tar tar -tvf Save_Images.tar grep libellule La commande netstat affiche la liste des connexions réseaux. Le grep du processus dhcpd permettra de vérifier si le serveur dhcpd tourne et s'il écoute bien sur le numéro de port 67 en UDP qui correspond au port standard associé au service dhcpd netstat -taupn grep dhcpd La commande dd suivante permet de vérifier si le boot-loader grub est installé sur le disque /dev/sda dd if=/dev/sda bs=512 count=1 strings Formation T2SI. Session 2012-2013. Module Linux 12/13
Les Enchainements de commandes synchrone et asynchrone Il y a différentes possibilités pour exécuter plusieurs commandes, pour les chaîner en gérant leur séquencement. Exécution synchrone Avec le ";" les commandes sont exécutées à la suite, les unes après les autres, de façon séquentielle, sans tenir compte des erreurs d'exécution : commande_1 ; commande_2 ; commande_3 Les commandes sont synchronisées, commande_2 est exécutée quand commande_1 a terminé son job, et commande_3 est exécutée seulement quand commande_2 a elle même terminé son job. Il y a un ordre d'exécution, les commandes attendent que les précédentes soient terminées. ifdown eth0 ; ifup eth0 Exécution asynchrone Avec le "&" les commandes sont exécutées en parallèle et de façon asynchrone commande_1 & commande_2 & commande_3 Il n'y a pas d'ordre, elles sont lancées en même temps et elle vivent leur vie chacune de leur côté. On dit qu'elles sont exécutées en background (en tâche de fond, ou en arrière-plan). Exécution dans un shell fils (un sous shell) Avec les parenthèses (), on peut regrouper des commandes pour les exécuter dans un shell fils (commande_1 ; commande_2 ; commande_3) Les commandes incluses entre () sont exécutées dans un shell fils, elles créent un environnement temporaire, le temps de lancer une, ou des, commandes. Dans cet exemple, on groupe les quatre commandes suivantes : (cd /var; df -h. ; ls wc -l) Comparer le résultat avec et sans les parenthèses : cd /var; df -h. ; ls wc -l Quelle est la différence? Formation T2SI. Session 2012-2013. Module Linux 13/13