Linux pour le calcul de haute performance Daniel Stubbs Le 17 février 2015

Linux pour le calcul de haute performance Daniel Stubbs Le 17 février 2015

Linux Une forme d Unix, un système d exploitation qui précède Windows et OS X. Séparation claire entre le cœur du système d exploitation et son affichage graphique (fenêtres, usage de souris). En vous branchant aux grappes de CQ, votre interaction avec le système d exploitation passera surtout par la ligne de commande (clavier). Cela pourrait sembler ringard mais il permet beaucoup de robustesse et puissance, une fois quelques commandes apprises. Comme d habitude, «practice makes perfect». 2

Sommaire 1. Accès aux grappes 2. Système de fichiers 3. Éditeurs de texte 4. Transfert de fichiers 5. Compression et archivage 6. Les processus, l interpréteur de commandes et les variables d environnement 7. Modules 8. Soumission des tâches 9. Monitorage 10. Outils de traitement 3

Accès aux grappes La seule façon de vous brancher aux grappes de CQ, c est par ssh (Secure Shell). Avec ssh, votre mot de passe est chiffré avant d être transmis à travers le réseau au serveur. Pour se brancher, il faut évidemment savoir le nom de la machine (cottos.calculquebec.ca par exemple), votre nom d usager et enfin votre mot de passe. La première fois que vous vous branchez à une machine, ssh vous demande si vous voulez stocker la clé du serveur et on répond normalement par «oui». 4

Accès aux grappes, suite Si vous utilisez OS X, alors vous avez déjà ssh, il vous suffit d ouvrir Terminal.app (dans /Applications/Utilities) et taper ssh nom_usager@nom_de_machine Windows ne vient pas avec un logiciel ssh par défaut, mais il est facile d en télécharger un gratuitement. Un des plus répandus est «PuTTY», vous sauvegardez le fichier binaire sur votre bureau et lorsque vous cliquez sur l icône vous avez la fenêtre: 5

Accès aux grappes, suite 6

Accès aux grappes, suite Une autre possibilité pour les usagers de Windows est Cygwin, un émulateur d Unix gratuit qu on peut installer. Il existe aussi les machines virtuelles, avec lesquelles on peut rouler Linux à l intérieur d un poste de travail sous Windows ou OS X. Si vous voulez lancer des applications graphiques sur un serveur de CQ, il faut aussi établir une connexion x11 et avoir un serveur x11 installé sur votre poste de travail. Pour cela il faut ajouter l option X ou Y. On se débranche d un serveur en tapant la commande exit 7

Accès aux grappes, suite 8

Accès aux grappes, suite 9

Accès aux grappes, suite 10

Système de fichiers Avec Linux (comme OS X) le système de fichiers prend racine avec «/», le nomenclature Windows (C:\, D:\ etc.) n existe pas. Lorsque vous vous branchez à une machine de CQ, vous commencez toujours dans votre répertoire personnel ou «Home», normalement /home/nom_usager sous Linux. Lors de votre connexion vous voyez aussi le «Message of the Day» pour la machine. La première fois que vous vous branchez, votre répertoire personnel est évidemment presque vide. 11

Système de fichiers, suite Quelques commandes de base pour naviguer dans l arborescence du système de fichiers: mkdir Créer un répertoire ls Afficher le contenu d un répertoire cd Aller dans un répertoire cp [-r] Copier un fichier ou répertoire mv Déplacer un fichier ou répertoire rm [-r] Supprimer un fichier ou répertoire pwd Afficher le répertoire dans lequel on se trouve Vous pouvez en savoir plus sur ces commandes en utilisant la commande man 12

Système de fichiers, suite 13

Système de fichiers, suite 14

Système de fichiers, suite 15

Système de fichiers, suite 16

Système de fichiers, suite Il existe quelques raccourcis utiles, comme ~ qui correspond à votre répertoire personnel et.. qui est le répertoire qui se trouve au-dessus de l actuel répertoire. En général, les commandes sont toujours en minuscule un constat commun à Unix, C et C++ et le système suppose que vous savez exactement ce que vous faites. Pour les noms des répertoires et fichiers il est sage d éviter des espaces ou lettres accentuées, donc «mes_pensees» au lieu de «mes pensées». 17

Système de fichiers, suite Avec chaque fichier et répertoire il existe aussi un ensemble de permissions pour contrôler l accès à cet objet. Il y a trois niveaux de permission, associés avec la lecture (r), l exécution (x) et l écriture (w). Sur un autre axe, il y a trois classes d usagers pour chaque objet: le propriétaire, son groupe et les autres. Pour chaque objet cela nous donne donc neuf permissions à gérer avec l outil chmod, chmod o-r fichier1 chmod g+x répertoire1 chmod u+rwx fichier2 18

Système de fichiers, suite Si on veut modifier le propriétaire ou le groupe d un objet, on dispose de chown et chgrp pour le faire. Pour voir les permissions actuelles, on ajoute une option à la commande ls, ls l nom_de_fichier 19

Système de fichiers, suite 20

Système de fichiers, suite 21

Système de fichiers, suite 22

Système de fichiers, suite 23

Système de fichiers, suite Une autre manière de gérer les permissions est le «ACL», pour Access Control List, dont les deux commandes principales sont setfacl et getfacl. Avec les ACL vous pouvez donner des permissions à plusieurs usagers ou groupes de façon plus ciblée getfacl nom_de_ficher setfacl m "u:belandmi:r-x" vec.out Lorsque vous listez un fichier avec ces permissions étendues il y a un petit «+» à la fin pour vous en rappeler. 24

Affichage des fichiers Pour voir le contenu d un fichier il existe une variété d outils Parmi les plus communs on trouve cat (totalité de fichier), more et less (contrôle interactif de l affichage). Si on s intéresse seulement au début ou fin d un fichier, on a les commandes head et tail. La commande tail n 50 resultat.txt donne par exemple les 50 dernières lignes du fichier resultat.txt. 25

Affichage des fichiers, suite 26

Affichage des fichiers, suite 27

Affichage des fichiers, suite 28

Affichage des fichiers, suite 29

Éditeurs de texte Avec mkdir on peut créer des répertoires, mais pour créer un fichier (texte) on utilise un éditeur de texte. Il en existe plusieurs sur Linux et vous pouvez choisir celui qui vous convient. Parmi les plus simples on trouve nano et plus riche, il y a vi. Ces deux-là fonctionnent purement avec un clavier, pour avoir une interface graphique il existe emacs et nedit. Ces derniers ressemblent plus aux logiciels comme Notepad (sous Windows) et TextEdit.app (sous OS X). 30

Éditeurs de texte, suite Un problème qui pourrait arriver avec les fichiers de texte vient de la question, comment une ligne se termine-t-elle? Windows ne répond pas de la même façon que Linux, donc on a les deux outils dos2unix et unix2dos pour s en occuper. Il faut surtout éviter les logiciels de traitement de texte tels Word, Pages ou OpenOffice : ils ne créent pas de vrais fichiers «plain text». Sous Windows la meilleure idée est l emploi de Notepad. Sous OS X, ouvrez Terminal.app et ensuite utiliser nano, vi ou emacs. 31

Éditeurs de texte, suite 32

Éditeurs de texte, suite 33

Éditeurs de texte, suite 34

Transfert des fichiers Pour télécharger des fichiers entre les serveurs de Calcul Québec et votre poste de travail, on utilise scp et sftp. Ces deux logiciels font partie de la même famille que ssh et emploie le chiffrement de la connexion. L outil scp fonctionne comme la commande Unix cp (copy): scp nom_usager@machine:recherche/out.dat result.dat Quant à sftp, on l emploie comme l outil ftp: on peut faire cd pour se déplacer et put/get pour faire le transfert. Sous Windows, il existe des logiciels comme WinSCP dont le fonctionnement est semblable à Windows Explorer (avec interface graphique etc.). 35

Transfert des fichiers, suite Comme il est peu probable que votre poste de travail ait un serveur ssh, il faut toujours initier les transferts à partir de votre poste de travail. Si vous prévoyez de faire le transfert de beaucoup de données (dizaines de giga-octets et plus), on aimerait que vous en parliez avec l équipe de support avant de le commencer. 36

Transfert des fichiers, suite 37

Transfert des fichiers, suite 38

Transfert des fichiers, suite 39

Transfert des fichiers, suite 40

Transfert des fichiers, suite 41

Compression et archivage Il existe plusieurs outils pour comprimer les fichiers sous Linux, les plus répandus étant gzip et zip. Ils sont surtout utiles pour les fichiers texte où on peut avoir une compression de 90%. Si on a toute une arborescence à comprimer, on a l outil tar (tape archive) qui permet de convertir cette arborescence en fichier: tar cf recherche.tar recherche/ Ensuite on peut le comprimer par gzip recherche.tar qui crée un fichier recherche.tar.gz (tarball). 42

Compression et archivage, suite Pour extraire un tarball, on fait tar xzf recherche.tar.gz L outil gzip existe sur OS X, mais avec Windows il vaut mieux utiliser zip. L espace disque sur les serveurs de CQ n est pas illimité, donc vous devrez penser à comprimer les fichiers si vous ne vous en servez pas de façon quotidienne. Après un certain temps, vous pouvez aussi migrer certaines données ailleurs. 43

Compression et archivage, suite 44

Compression et archivage, suite 45

Compression et archivage, suite 46

Compression et archivage, suite 47

Les processus Unix Dans Linux chaque commande que vous exécutez prend la forme d un processus, qu elle dure un microseconde ou des jours. Vous pouvez voir les processus qui s exécutent à un moment donné avec la commande ps. Chaque processus a un numéro, son «process ID» (PID), et aussi un propriétaire qui pourrait le tuer avec la commande kill. Un processus a aussi une priorité d exécution par rapport aux autres processus, son «niceness», un entier qui varie entre 0 et 20 (du plus au moins prioritaire). 48

Les processus Unix, suite On peut modifier la priorité d un processus qui s exécute par la commande renice. Si on a processus qui s exécutera assez longtemps, on peut le rouler dans en arrière-plan en ajoutant un & à la fin de la commande. L invite de commande revient tout de suite mais le processus continue de s exécuter en arrière, comme on peut constater avec la commande ps. 49

Les processus Unix, suite 50

Les processus Unix, suite 51

Les processus Unix, suite 52

Les processus Unix, suite 53

Les processus Unix, suite 54

Bash Dans le vocabulaire Unix, le «shell» (interpréteur de commandes) est la couche logiciel qui existe entre le noyau et l usager. Il en existe plusieurs mais sur les machines de CQ, celui par défaut sur nos machines est Bash (Bourne Again Shell). Vous pouvez le personnaliser en modifiant le fichier.bashrc qui se trouve dans votre $HOME. Vous pouvez créer un alias par exemple pour raccourcir des commandes: alias ll='ls l' 55

Bash, suite Dans d autres cas, vous pouvez modifier la valeur d une variable d environnement. Certaines sont définies pour vous, comme $HOME, $PATH ou, sur les machines de CQ, $SCRATCH. Pour voir la valeur d une variable d environnement on fait echo $nom_de_variable Si la variable n est pas définie, le système ne dit rien. Pour donner une valeur à une variable, on utilise la commande export nom_de_variable=valeur 56

Bash, suite Une des variables la plus importante, c est $PATH. Elle détermine les endroits où le système cherchera les applications que vous appelez. C est une liste de répertoires séparés par un «:». Lorsque vous tapez une commande, le système le cherche dans ces répertoires, l un après l autre, jusqu au moment où il le trouve. Vous pouvez voir où le système a trouvé la commande par which nom_de_commande Vous pouvez ajouter un répertoire à votre PATH, export PATH=$PATH:/nouveau/repertoire 57

Bash, suite 58

Bash, suite 59

Bash, suite 60

Bash, suite 61

Modules En général, on préfère que les logiciels et bibliothèques dont vous avez besoin soient installés par les analystes de CQ. On utilise la commande module pour adapter toutes les variables d environnement nécessaires à l usage d un logiciel. Les options les plus communes sont, module list module avail module load nom_de_module module unload nom_de_module module purge module swap vieux_module nouveau_module 62

Modules, suite Avec la commande module, vous pouvez choisir une version particulière d un logiciel. Vous pouvez charger automatiquement des modules en ajoutant module load à la fin du fichier.bashrc dans votre $HOME. Il se peut qu il y ait des dépendances pour les modules que vous chargez, il faut faire donc module load A et ensuite module load B 63

Modules, suite 64

Modules, suite 65

Modules, suite 66

Modules, suite 67

Modules, suite 68

Soumission des tâches La machine à laquelle vous vous branchez par ssh est ce qu on appelle le nœud interactif ou frontal du serveur. Il sert de porte d entrée à la grappe pour tout le monde et donc ne convient point pour vos calculs, qui doivent se passer sur les nœuds de calcul. On utilise un éditeur de texte pour créer un petit fichier ou script qui précise les besoins de la tâche (nombre de processeurs, quantité de mémoire, temps de calcul) ainsi que les actions de la tâche, ligne par ligne. Une fois ce fichier créé on peut soumettre la tâche par la commande qsub script.pbs 69

Soumission des tâches, suite Pour voir l état de la grappe on a la commande qstat. Si vous voulez supprimer une tâche il y a qdel numero_de_tache On peut utiliser la commande pbs_free pour voir combien de processeurs de la grappe sont libres. Quelques limites pour les machines de CQ à l UdeM: une tâche ne peut pas durer plus de 168 heures et si votre tâche demande beaucoup de processeurs il faut démontrer qu elle les utilise efficacement. Vous pouvez soumettre autant de tâches que vous voulez. 70

Soumission des tâches, suite #!/bin/bash #PBS l walltime=52:00:00 #PBS l nodes=2:ppn=12 #PBS l mem=8gb #PBS j oe #PBS r n #PBS o output.txt module load logiciel/2.3 cd recherche mpiexec n 24./mon_code parametre1 > sortie.dat 71

Soumission des tâches, suite 72

Soumission des tâches, suite 73

Soumission des tâches, suite 74

Monitorage des tâches Avec qstat vous pouvez vérifier que votre tâche roule (elle est dans l état «R») mais c est tout. Si vous avez redirigé la sortie du logiciel dans un fichier, vous pouvez y jeter un coup d œil pour voir le progrès de la tâche. Une autre façon, c est d aller directement sur le nœud où la tâche travaille. Avec qstat n job_id vous pouvez apprendre le nœud sur lequel votre tâche roule et vous y brancher par ssh. Une fois sur le nœud, il y a plusieurs commandes pour savoir son état. 75

Monitorage des tâches, suite Le plus répandu, c est top, qui montre les processus qui sont les plus gourmands de temps processeur. Cet outil montre aussi la consommation de mémoire par processus. Il y a aussi la commande free pour voir l évolution de la consommation de mémoire sur un nœud. Pour avoir quelque chose de graphique, il existe aussi le site de Ganglia de CQ. Il permet de voir l état de chaque nœud des grappes à l UdeM (cottos et briarée). 76

Monitorage des tâches, suite 77

Monitorage des tâches, suite 78

Monitorage des tâches, suite Idéalement, vos processus Unix doivent utiliser moins de 95% de la mémoire du nœud et environ 99% de CPU. Si le pourcentage CPU est moins de 99%, il se peut que le processus passe trop de temps dans les appels systèmes comme les opérations I/O. 79

Outils de traitement Linux vous fournit beaucoup d outils pour l analyse et le traitement de données de texte. Ces outils sont en général très vieux et existent donc sur tous les systèmes de type Unix, comme OS X. Ils vous permettent d extraire des données particulières dans un fichier texte, même s il est de grande taille. La vraie force de ces outils vient surtout du fait qu on peut les enchaîner avec le symbole (pipe), de sorte que les données de sortie de la première commande deviennent les données d entrée de la deuxième. 80

Outils de traitement, suite La première commande qu on considère s appelle grep. Il cherche des expressions dans un fichier texte grep pattern fichier Si on veut voir chaque ligne qui contient le mot «Energy» dans un fichier output.txt on écrit donc grep 'Energy' output.txt On peut utiliser l enchaînement avec qstat et grep, qstat a grep 'stubbsda' pour voir seulement ses propres tâches. 81

Outils de traitement, suite Pour comparer deux fichiers, on a la commande diff qui fonctionne comme son nom l indique, montrant les différences qui existent entre deux fichiers texte. La comparaison se fait ligne par ligne des deux fichiers et s ils sont identiques, il n y a pas de sortie. 82

Outils de traitement, suite 83

Outils de traitement, suite 84

Outils de traitement, suite Une autre commande qu on utilise souvent, c est sed (stream editor). Cet outil permet par exemple de facilement remplacer une expression par une autre, cat fichiera.txt sed e 's/10/100/g' > fichierb.txt et dans ce cas chaque occurrence de 10 dans fichiera.txt est remplacé par 100 et écrit dans fichierb.txt. Avec la commande sort on peut faire le tri dans un fichier selon les valeurs d un index, par exemple sort k1 n file.txt trie le fichier selon la valeur de la première colonne qu on suppose être des valeurs numériques. 85

Outils de traitement, suite Pour finir, il existe la commande awk qui permet de faire des opérations sur les colonnes de données dans un fichier texte, par exemple les dupliquer, les déplacer ou les multiplier s il s agit de nombres. 86

Outils de traitement, suite 87

Outils de traitement, suite 88

Outils de traitement, suite 89

Scripts On peut écrire des scripts pour automatiser un processus répétitif. Il s agit d un fichier texte où chaque ligne contient une commande Bash. La première ligne du fichier a toujours la forme #!/bin/bash et il faut que le fichier soit exécutable, donc chmod u+x mon_script.sh On peut les mettre tous dans un répertoire comme $HOME/bin et ajouter ce répertoire dans son $PATH. 90

Scripts, suite #!/bin/bash cd $HOME/recherche for i in {1..5} do echo "Hello $i times" sname="script"$i".pbs" qsub $sname done var="stl" if [ $var = "NTL" ]; then mkdir p NTL else mkdir -p STL fi 91

Autres ressources Il existe aussi beaucoup d autres logiciels dont vous pourriez vous servir: gnuplot Visualisation de données en 2D et 3D python Langage de script octave Environnement de calcul semblable à Matlab xmgrace Visualisation de données en 2D R Analyse statistique perl Langage de script gprof Profilage de code source CVS, SVN, Git Gestion de versions de code source Eclipse Environnement de développement intégré 92

Autres ressources, suite Surtout, les pages man pour les commandes que vous utilisez. Il existe beaucoup de mini-cours et autres documents à propos de l usage de Linux sur Internet. Il y a des livres comme The Linux Command Line: A Complete Introduction par W. Shotts Beginning the Linux Command Line par S. van Vugt Comme les commandes de base n ont pas changé depuis le début d Unix (dans les années 70), vous pouvez vous servir aussi d un vieux livre sur le sujet. 93

Autres ressources, suite Vous pouvez aussi envoyer un courriel à l adresse support@calculquebec.ca pour demander de l aide de l équipe de Calcul Québec. Si vous avez une question sur l usage d une machine en particulier, vous pouvez envoyer le courriel à nom_du_serveur@calculquebec.ca 94