CNRST, 24 28 Juin 2013 1 Formation Administrateur de la Grille de Calcul CNRST, Rabat, 24-28 Juin 2013 Bouchra Rahim Division TIC CNRST, Rabat
CNRST, 24 28 Juin 2013 2 Introduction Le Data Management System (DMS) est le sous-système de glite qui prend en charge la gestion des données utilisées par les services et les applications utilisateurs. Le DMS fournie toutes les opérations de manipulation des données par effectuées par l'utilisateur. Création des fichiers/répertoires Renommage des fichiers/répertoires Suppression des fichiers/répertoires Déplacement des fichiers/répertoires Liste des répertoires Création des liens symboliques Etc..
CNRST, 24 28 Juin 2013 3 Introduction Le défit de la gestion de données sur la grille : Hétérogénéité: Solution de stockage Technologies d accès Besoin d une interface commune au système de stockage Storage Resource Manager (SRM) Distribution Données stocké dans des emplacement différents Besoin de transfert de données entre ces emplacements Garder la trace du fichier File and Replica Catalogs Besoin d un transfert de fichiers fiable et planifié File transfer service
CNRST, 24 28 Juin 2013 4 Introduction Le Disk Pool Manager (DPM) est une solution légère pour la gestion des stockage sur disque qui offre les interfaces SRM. Avantages: Interface SRM DPM peut gérer 100+TB partageant la charge sur plusieurs serveurs Performances optimales Gestion légère Le nœud principal DPM peut avoir son système de fichier dans le pool, ensuite un nombre arbitraire de serveurs disques peuvent être ajoutés par YAIM. Les serveurs disques DPM peuvent avoir des systèmes de fichiers multiple dans le pool. Le nœud principal DPM héberge la base de données DPM et DPNS, ainsi que les interfaces services web du SRM.
Introduction CLI, C API, SRM-enabled client, etc. /dpm /domain Serveur de nom DPM(DPNS) Espace de noms Autorisation Localisation physique des fichiers Serveur DPM Requêtes Interrogation et exécution Gestion d'espace Serveur Disque Fichiers physiques Transfert direct des données du/au serveur disque DPM disk servers DPM head node /home /vo file rahim@cnrst.ma Formation Administrateur de la Grille de Calcul CNRST, 24 28 Juin 2013 5
Introduction Habituellement, le nœud principal DPM accueille: Serveur SRM (srmv1 et/ou srmv2): reçoit les requêtes SRM et les passe au serveur DPM; Serveur DPM: garde une trace de toutes les requêtes; Serveur de noms DPNS: gère l'espace de noms pour tous les fichiers sous le contrôle du DPM; Serveur RFIO DPM: gère les transferts liés au protocole RFIO; Serveur GridFTP DPM : gère les transferts liés au protocole GridFTP. rahim@cnrst.ma Formation Administrateur de la Grille de Calcul CNRST, 24 28 Juin 2013 6
OS: SL5/SL6 Middleware EMI 2 Installation Autre repos: EPEL, Certification Authority # cd /etc/yum.repos.d/ # rpm -ivh http://dl.fedoraproject.org/pub/epel/5/x86_64/epel-release-5-4.noarch.rpm # wget http://repository.egi.eu/sw/production/cas/1/current/repo-files/egitrustanchors.repo # yum install yum-priorities yum-protectbase #rpm -ivh http://emisoft.web.cern.ch/emisoft/dist/emi/2/sl5/x86_64/base/emirelease-2.0.0-1.sl5.noarch.rpm # yum install -y ca-policy-egi-core # yum install -y emi-dpm_mysql # yum install -y emi-dpm_disk (disk node) rahim@cnrst.ma Formation Administrateur de la Grille de Calcul CNRST, 24 28 Juin 2013 7
site-info.def: Configuration SITE_NAME="MA-01-FORMATION" MYSQL_PASSWORD="Formation2013«DPM_HOST=pcXX.magrid.ma VOS="magridschool services/emi_dpm_mysql DPMPOOL=Permanent DPM_FILESYSTEMS=$DPM_HOST:/data pcyy.magrid.ma:/storage DPM_DB_USER DPM_DB_PASSWORD DPM_DB_HOST=$DPM_HOST services/emi_dpm_disk DPM_FILESYSTEMS="pcYY.magrid.ma:/storage" rahim@cnrst.ma Formation Administrateur de la Grille de Calcul CNRST, 24 28 Juin 2013 8
CNRST, 24 28 Juin 2013 9 Configuration Vérifier les fichiers de configuration : # /opt/glite/yaim/bin/yaim -v -s /root/siteinfo/site-info.def -n emi_dpm_mysql # /opt/glite/yaim/bin/yaim -v -s /root/siteinfo/site-info.def -n emi_dpm_disk Configurer le service # /opt/glite/yaim/bin/yaim -c -s /root/siteinfo/site-info.def -n emi_dpm_mysql # /opt/glite/yaim/bin/yaim -c -s /root/siteinfo/site-info.def -n emi_dpm_disk
Vérifier les pools de disque #dpm-qryconf POOL Permanent Vérification du service pcxx.magrid.ma /data CAPACITY 15.74G FREE 14.90G ( 94.6%) pcyy.magrid.ma /storage CAPACITY 15.74G FREE 14.90G ( 94.6%) Test du DPNS à partir UI # export DPNS_HOST=pcXX.magrid.ma # dpns-ls /dpm/magrid.ma/home/ magridschool Test du RFIO # rfcp testfile pcxx.magrid.ma:/tmp Test du GSIFTP # globus-url-copy file:/home/griduser/testfile gsiftp://pcxx.magrid.ma/dpm/magrid.ma/home/magridschool/formation/ Test du lcg-cp # lcg-cp -D srmv2 -b -v --vo magridschool file:/home/griduser/testfile srm://pcxx.magrid.ma:8446/srm/managerv2?sfn=/dpm/magrid.ma/home/magridschool/f ormation/testfilelcg rahim@cnrst.ma Formation Administrateur de la Grille de Calcul CNRST, 24 28 Juin 2013 10
CNRST, 24 28 Juin 2013 11 Références http://wiki.magrid.ma/index.php/installation_et_configuration_de_se_emi-2 https://twiki.cern.ch/twiki/bin/view/emi/genericinstallationconfigurationemi2