Linux pour le calcul de haute performance Daniel Stubbs Le 23 septembre 2015

Transcription

1 Linux pour le calcul de haute performance Daniel Stubbs Le 23 septembre 2015

2 Linux Une forme d Unix, un système d exploitation dont les origines remontent à la fin des années 1960, bien avant la création de Windows et de MacOS. Il existe une séparation claire entre le cœur du système d exploitation et son affichage graphique (fenêtres + souris). En vous branchant aux grappes de Calcul Québec, votre interaction avec le système d exploitation passera surtout par la ligne de commande (clavier). Cela pourrait sembler un peu ringard mais il permet beaucoup de robustesse et puissance, une fois quelques commandes apprises. 2

3 Sommaire 1. Accès aux grappes 2. Système de fichiers 3. Éditeurs de texte 4. Recherche des données 5. Transfert de fichiers 6. Compression et archivage 7. Les processus, l interpréteur de commandes et les variables d environnement 8. Modules 9. Soumission des tâches 10. Monitorage 11. Exercices 3

4 Accès aux grappes La seule façon de vous brancher aux grappes de CQ, c est par ssh (Secure Shell). Avec ssh, votre mot de passe est chiffré avant d être transmis à travers le réseau au serveur. Pour se brancher, il faut évidemment savoir le nom de la machine (cottos.calculquebec.ca par exemple), votre nom d usager et enfin votre mot de passe. La première fois que vous vous branchez à une machine, ssh vous demande si vous voulez stocker la clé du serveur et on répond normalement par «oui». 4

5 Accès aux grappes, suite Si vous utilisez OS X, alors vous avez déjà ssh, il vous suffit d ouvrir Terminal.app (dans /Applications/Utilities) et taper ssh nom_usager@nom_de_machine Windows ne vient pas avec un logiciel ssh par défaut, mais il est facile d en télécharger un gratuitement. Un des plus répandus est «PuTTY», vous sauvegardez le fichier binaire sur votre bureau et lorsque vous cliquez sur l icône vous avez la fenêtre: 5

6 Accès aux grappes, suite 6

7 Accès aux grappes, suite Une autre possibilité pour les usagers de Windows est Cygwin, un émulateur d Unix gratuit qu on peut installer. Il existe aussi les machines virtuelles, avec lesquelles on peut rouler Linux à l intérieur d un poste de travail sous Windows ou OS X. Si vous voulez lancer des applications graphiques sur un serveur de CQ, il faut aussi établir une connexion x11 et avoir un serveur x11 installé sur votre poste de travail. Pour cela il faut ajouter l option X ou Y. On se débranche d un serveur en tapant la commande exit 7

11 Système de fichiers Avec Linux (comme OS X) le système de fichiers prend racine avec «/», la nomenclature Windows (C:\, D:\ etc.) n existe pas. Lorsque vous vous branchez à une machine de CQ, vous commencez toujours dans votre répertoire personnel ou «Home», normalement /home/nom_usager sous Linux. Lors de votre connexion vous voyez aussi le «Message of the Day» pour la machine. La première fois que vous vous branchez, votre répertoire personnel est évidemment presque vide. 11

12 Système de fichiers, suite Quelques commandes de base pour naviguer dans l arborescence du système de fichiers: mkdir Créer un répertoire ls Afficher le contenu d un répertoire cd Aller dans un répertoire cp [-r] Copier un fichier ou répertoire mv Déplacer un fichier ou répertoire rm [-r] Supprimer un fichier ou répertoire pwd Afficher le répertoire dans lequel on se trouve Vous pouvez en savoir plus sur ces commandes en utilisant la commande man 12

13 Système de fichiers, suite 13

17 Système de fichiers, suite Il existe quelques raccourcis utiles: ~ votre répertoire personnel,. le répertoire actuel.. le répertoire qui se trouve au-dessus du répertoire actuel. Il y a aussi le caractère générique * qu on peut utiliser pour regrouper les opérations sur plusieurs fichiers, par exemple ls *.py pour voir tous les fichiers dont le nom se termine par.py En général, les commandes sont toujours en minuscule : un constat commun à Unix, C et C++, et le système suppose que vous savez exactement ce que vous faites. 17

18 Système de fichiers, suite Pour les noms des répertoires et fichiers il est sage d éviter des espaces ou lettres accentuées, donc «mes_pensees» au lieu de «mes pensées». 18

19 Système de fichiers, suite Avec chaque fichier et répertoire il existe aussi un ensemble de permissions pour contrôler l accès à cet objet. Il y a trois niveaux de permission, associés avec la lecture (r), l exécution (x) et l écriture (w). Sur un autre axe, il y a trois classes d usagers pour chaque objet: le propriétaire, son groupe et les autres. Pour chaque objet cela nous donne donc neuf permissions à gérer avec l outil chmod, chmod o-r fichier1 chmod g+x répertoire1 chmod u+rwx fichier2 19

20 Système de fichiers, suite Si on veut modifier le propriétaire ou le groupe d un objet, on dispose de chown et chgrp pour le faire. Pour voir les permissions actuelles, on ajoute une option à la commande ls, ls l nom_de_fichier Vous pouvez voir les groupes auxquels vous appartenez en tapant la commande groups. 20

25 Système de fichiers, suite Une autre manière de gérer les permissions est le «ACL», pour Access Control List, dont les deux commandes principales sont setfacl et getfacl. Avec les ACL vous pouvez donner des permissions à plusieurs usagers ou groupes de façon plus ciblée getfacl nom_de_ficher setfacl m "u:belandmi:r-x" vec.out Lorsque vous listez un fichier avec ces permissions étendues il y a un petit «+» à la fin pour vous en rappeler. 25

26 Affichage des fichiers Pour voir le contenu d un fichier il existe une variété d outils On peut commencer par la commande wc (word count) qui donne la taille d'un fichier en nombre de lignes, de mots et d'octets. Parmi les plus communs on trouve cat (totalité de fichier), more et less (contrôle interactif de l affichage). Si on s intéresse seulement au début ou fin d un fichier, on a les commandes head et tail. La commande tail n 50 resultat.txt donne par exemple les 50 dernières lignes du fichier resultat.txt. 26

27 Affichage des fichiers, suite 27

31 Éditeurs de texte Avec mkdir on peut créer des répertoires, mais pour créer un fichier (texte) on utilise un éditeur de texte. Il en existe plusieurs sur Linux et vous pouvez choisir celui qui vous convient. Parmi les plus simples on trouve nano et plus riche, il y a vi. Ces deux-là fonctionnent purement avec un clavier, pour avoir une interface graphique il existe emacs et nedit. Ces derniers ressemblent plus aux logiciels comme Notepad (sous Windows) et TextEdit.app (sous OS X). 31

32 Éditeurs de texte, suite Pour commencer vous pouvez vous servir de nano, on ouvre un fichier avec la commande nano nom_de_fichier On peut utiliser les flèches du clavier pour bouger, supprimer les lettres and ajouter du texte. La plupart des commandes pour l'éditeur commencent avec Ctrl, par exemple Ctrl-X pour sortir de l'éditeur Ctrl-W pour chercher un mot ou phrase Ctrl-O pour écrire le contenu dans le fichier Ctrl-K pour supprimer la ligne Ctrl-G pour obtenir de l'aide 32

33 Éditeurs de texte, suite 33

34 Éditeurs de texte, suite Un problème qui pourrait arriver avec les fichiers de texte vient de la question, comment une ligne se termine-t-elle? Windows ne répond pas de la même façon que Linux, donc on a les deux outils dos2unix et unix2dos pour s en occuper. Il faut surtout éviter les logiciels de traitement de texte tels Word, Pages ou OpenOffice : ils ne créent pas de vrais fichiers «plain text». Sous Windows la meilleure idée est l emploi de Notepad. Sous OS X, ouvrez Terminal.app et ensuite utiliser nano, vi ou emacs. 34

38 Recherche des données Après un certain temps l'arborescence de vos répertoires et fichiers risque de devenir assez complexe. Linux offre plusieurs outils pour trouver des données dans un fichier individuel et pour trouver un fichier particulier dans une arborescence ramifiée. On commence avec grep, une commande qui permet de faire des recherches dans les fichiers de texte. L'usage le plus simple et aussi commun est grep mot_de_recherche nom_de_fichier La sortie est chaque ligne du fichier qui contient le mot ou expression cherché. 38

39 Recherche des données, suite Comme la commande ls, il y a un grand nombre d'options pour grep. Parmi les plus utiles on trouve: -i ne pas tenir compte du cas -v afficher les lignes qui ne contiennent pas l'expression -w chercher des mots complets -c afficher seulement le nombre de lignes -m N s'arrêter après avoir trouvé N lignes qui contient le mot On peut utiliser les «expressions régulières» pour chercher des modèles ou motifs très compliqués. Le caractère générique * fonctionne avec grep. 39

40 Recherche des données, suite Pour trouver un fichier dans le dédale de vos répertoires et sous-répertoires, l'outil de choix est find. L'usage générique a la forme find repertoire name nom où l'on cherche dans le répertoire (et ses sous-répertoires) pour un fichier avec le nom donné. On peut aussi utiliser cette commande pour afficher tous les fichiers ou répertoires: find. type d montre tous les répertoires à partir du répertoire actuel. Vous pouvez aussi filtrer les résultats par les permissions avec l'option -perm 40

41 Recherche des données, suite Pour selectionner seulement les fichiers lisibles par tout le monde, on a find nom_de_rep type f perm /a+r On peut cantonner la recherche de la commande find par l'usage des options mindepth et maxdepth. Si on veut employer le caractère générique, on doit d'abord le mettre entre guillemets comme find. type f maxdepth 3 name '*.pdb' qui trouvera tous les fichiers dont le nom se termine par pdb dans le répertoire actuel jusqu'à une profondeur de trois sous-répertoires. 41

42 Recherche des données, suite 42

46 Transfert des fichiers Pour télécharger des fichiers entre les serveurs de Calcul Québec et votre poste de travail, on utilise scp et sftp. Ces deux logiciels font partie de la même famille que ssh et emploie le chiffrement de la connexion. L outil scp fonctionne comme la commande Unix cp (copy): scp nom_usager@machine:recherche/out.dat result.dat Quant à sftp, on l emploie comme l outil ftp: on peut faire cd pour se déplacer et put/get pour faire le transfert. Sous Windows, il existe des logiciels comme WinSCP dont le fonctionnement est semblable à Windows Explorer (avec interface graphique etc.). 46

47 Transfert des fichiers, suite Comme il est peu probable que votre poste de travail ait un serveur ssh, il faut toujours initier les transferts à partir de votre poste de travail. Si vous prévoyez de faire le transfert de beaucoup de données (dizaines de giga-octets et plus), on aimerait que vous en parliez avec l équipe de support avant de le commencer. 47

48 Transfert des fichiers, suite 48

53 Compression et archivage Il existe plusieurs outils pour comprimer les fichiers sous Linux, les plus répandus étant gzip et zip. Ils sont surtout utiles pour les fichiers texte où on peut avoir une compression de 90%. Si on a toute une arborescence à comprimer, on a l outil tar (tape archive) qui permet de convertir cette arborescence en fichier: tar cf recherche.tar recherche/ Ensuite on peut le comprimer par gzip recherche.tar qui crée un fichier recherche.tar.gz (tarball). 53

54 Compression et archivage, suite Pour extraire un tarball, on fait tar xzf recherche.tar.gz L outil gzip existe sur OS X, mais avec Windows il vaut mieux utiliser zip. L espace disque sur les serveurs de CQ n est pas illimité, donc vous devrez penser à comprimer les fichiers si vous ne vous en servez pas de façon quotidienne. Après un certain temps, vous pouvez aussi migrer certaines données ailleurs. 54

55 Compression et archivage, suite 55

59 Les processus Unix Dans Linux chaque commande que vous exécutez prend la forme d un processus, qu elle dure un microseconde ou des jours. Vous pouvez voir les processus qui s exécutent à un moment donné avec la commande ps. Chaque processus a un numéro, son «process ID» (PID), et aussi un propriétaire qui pourrait le tuer avec la commande kill. Un processus a aussi une priorité d exécution par rapport aux autres processus, son «niceness», un entier qui varie entre 0 et 20 (du plus au moins prioritaire). 59

60 Les processus Unix, suite On peut modifier la priorité d un processus qui s exécute par la commande renice. Si on a processus qui s exécutera assez longtemps, on peut le rouler dans en arrière-plan en ajoutant un & à la fin de la commande. L invite de commande revient tout de suite mais le processus continue de s exécuter en arrière, comme on peut constater avec la commande ps. 60

61 Les processus Unix, suite 61

66 Les processus Unix, suite Associé avec chaque processus Unix il y a aussi trois flots: stdout = la sortie standarde stderr = la sortie pour les erreurs stdin = l'entrée standarde Dans un processus interactif ces flots sont rattachés à l'écran et le clavier comme on pourrait s'y attendre. On peut aussi les rediriger vers un fichier : ceci peut être très utile lorsqu'un processus écrit beaucoup de données. Pour rediriger le stdout on écrit processus > nom_de_fichier 66

67 Les processus Unix, suite Si on veut rediriger à la fois le stdout et le stderr, une chose assez commune, on fait processus &> nom_de_fichier Pour utiliser un fichier comme le stdin un moyen pour fournir des données d'entrée à un logiciel on écrit, processus < nom_de_fichier Lorsqu'on redirige le stdout ou stderr dans un fichier, le contenu du fichier est supprimé ; si on veut le garder on peut utiliser la syntaxe processus >> nom_de_fichier pour simplement ajouter ces données à la fin du fichier. 67

68 Bash Dans le vocabulaire Unix, le «shell» (interpréteur de commandes) est la couche logiciel qui existe entre le noyau et l usager. Il en existe plusieurs mais sur les machines de CQ, celui par défaut sur nos machines est Bash (Bourne Again Shell). Vous pouvez le personnaliser en modifiant le fichier.bashrc qui se trouve dans votre $HOME. Vous pouvez créer un alias par exemple pour raccourcir des commandes: alias ll='ls l' 68

69 Bash, suite Dans d autres cas, vous pouvez modifier la valeur d une variable d environnement. Certaines sont définies pour vous, comme $HOME, $PATH ou, sur les machines de CQ, $SCRATCH. Pour voir la valeur d une variable d environnement on fait echo $nom_de_variable Si la variable n est pas définie, le système ne dit rien. Pour donner une valeur à une variable, on utilise la commande export nom_de_variable=valeur 69

70 Bash, suite Une des variables la plus importante, c est $PATH. Elle détermine les endroits où le système cherchera les applications que vous appelez. C est une liste de répertoires séparés par un «:». Lorsque vous tapez une commande, le système le cherche dans ces répertoires, l un après l autre, jusqu au moment où il le trouve. Vous pouvez voir où le système a trouvé la commande par which nom_de_commande Vous pouvez ajouter un répertoire à votre PATH, export PATH=$PATH:/nouveau/repertoire 70

71 Bash, suite 71

72 Bash, suite 72

73 Bash, suite 73

74 Bash, suite 74

75 Modules En général, on préfère que les logiciels et bibliothèques dont vous avez besoin soient installés par les analystes de CQ. On utilise la commande module pour adapter toutes les variables d environnement nécessaires à l usage d un logiciel. Les options les plus communes sont, module list module avail module load nom_de_module module unload nom_de_module module purge module swap vieux_module nouveau_module 75

76 Modules, suite Avec la commande module, vous pouvez choisir une version particulière d un logiciel. Vous pouvez charger automatiquement des modules en ajoutant module load à la fin du fichier.bashrc dans votre $HOME. Il se peut qu il y ait des dépendances pour les modules que vous chargez, il faut faire donc module load A et ensuite module load B 76

77 Modules, suite 77

82 Soumission des tâches La machine à laquelle vous vous branchez par ssh est ce qu on appelle le nœud interactif ou frontal du serveur. Il sert de porte d entrée à la grappe pour tout le monde et donc ne convient point pour vos calculs, qui doivent se passer sur les nœuds de calcul. On utilise un éditeur de texte pour créer un petit fichier ou script qui précise les besoins de la tâche (nombre de processeurs, quantité de mémoire, temps de calcul) ainsi que les actions de la tâche, ligne par ligne. Une fois ce fichier créé on peut soumettre la tâche par la commande qsub script.pbs 82

83 Soumission des tâches, suite Pour voir l état de la grappe on a la commande qstat. Si vous voulez supprimer une tâche il y a qdel numero_de_tache On peut utiliser la commande pbs_free pour voir combien de processeurs de la grappe sont libres. Quelques limites pour les machines de CQ à l UdeM: une tâche ne peut pas durer plus de 168 heures et si votre tâche demande beaucoup de processeurs il faut démontrer qu elle les utilise efficacement. Vous pouvez soumettre autant de tâches que vous voulez. 83

84 Soumission des tâches, suite #!/bin/bash #PBS l walltime=52:00:00 #PBS l nodes=2:ppn=12 #PBS l mem=8gb #PBS j oe #PBS r n #PBS o output.txt module load logiciel/2.3 cd recherche mpiexec n 24./mon_code parametre1 > sortie.dat 84

85 Soumission des tâches, suite 85

88 Monitorage des tâches Avec qstat vous pouvez vérifier que votre tâche roule (elle est dans l état «R») mais c est tout. Si vous avez redirigé la sortie du logiciel dans un fichier, vous pouvez y jeter un coup d œil pour voir le progrès de la tâche. Une autre façon, c est d aller directement sur le nœud où la tâche travaille. Avec qstat n job_id vous pouvez apprendre le nœud sur lequel votre tâche roule et vous y brancher par ssh. Une fois sur le nœud, il y a plusieurs commandes pour savoir son état. 88

89 Monitorage des tâches, suite Le plus répandu, c est top, qui montre les processus qui sont les plus gourmands de temps processeur. Cet outil montre aussi la consommation de mémoire par processus. Il y a aussi la commande free pour voir l évolution de la consommation de mémoire sur un nœud. Pour avoir quelque chose de graphique, il existe aussi le site de Ganglia de CQ. Il permet de voir l état de chaque nœud des grappes à l UdeM (cottos et briarée). 89

90 Monitorage des tâches, suite 90

91 Monitorage des tâches, suite 91

92 Monitorage des tâches, suite Idéalement, vos processus Unix doivent utiliser moins de 95% de la mémoire du nœud et environ 99% de CPU. Si le pourcentage CPU est moins de 99%, il se peut que le processus passe trop de temps dans les appels systèmes comme les opérations I/O. 92

93 Autres ressources Il existe aussi beaucoup d autres logiciels dont vous pourriez vous servir: gnuplot Visualisation de données en 2D et 3D python Langage de script octave Environnement de calcul semblable à Matlab xmgrace Visualisation de données en 2D R Analyse statistique perl Langage de script gprof Profilage de code source CVS, SVN, Git Gestion de versions de code source Eclipse Environnement de développement intégré 93

94 Autres ressources, suite Surtout, les pages man pour les commandes que vous utilisez. Il existe beaucoup de mini-cours et autres documents à propos de l usage de Linux sur Internet. Il y a des livres comme The Linux Command Line: A Complete Introduction par W. Shotts Beginning the Linux Command Line par S. van Vugt Comme les commandes de base n ont pas changé depuis le début d Unix (dans les années 70), vous pouvez vous servir aussi d un vieux livre sur le sujet. 94

95 Autres ressources, suite Vous pouvez aussi envoyer un courriel à l adresse support@calculquebec.ca pour demander de l aide de l équipe de Calcul Québec. Si vous avez une question sur l usage d une machine en particulier, vous pouvez envoyer le courriel à nom_du_serveur@calculquebec.ca 95

96 Exercices Vous devez commencer par vous brancher à un serveur de Calcul Québec en vous servant de ces coordonnées: Nom d'usager = user04 Mot de passe = ilcip9$23 Nom de serveur = briaree2.calculquebec.ca Une fois branché, il faut suivre ces étapes: 1. Créez un répertoire à partir de votre nom. 2. Descendez dans ce répertoire. 3. Copiez le fichier exercices.tar.gz du répertoire personnel de ce compte d'invité dans ce répertoire. 4. Extrayez ce fichier et commencez les exercices. 96