Cluster. Une introduction aux architectures systèmes distribuées. Université de Haute Alsace Octobre 2003

Transcription

1 Cluster Une introduction aux architectures systèmes distribuées Université de Haute Alsace Octobre 2003

2 Plan Généralisation Technique Introduction Applications $$$ Définition Questions? Idées Plan

3 Plan Problèmes Actions Cluster Solutions Outils Divers

4 Problème

5 Problème

6 Problème CPU NET Hard Service E/S Espace

7 Problème CPU ent m e g r o NET g En Hard Service E/S Disques

8 Problème harge SurcCPU ent m e g r o NET g En Hard Service E/S Disques

9 Problème harge SurcCPU ent m e g r o NET g En Hard Pannes Service E/S Disques

10 Problème harge SurcCPU ent m e g r o NET g En Fiabilitée alitée QuService Hard Pannes E/S Disques

11 Problème ent m e g r o NET g En harge SurcCPU Fiabilitée alitée QuService Hard Pannes t n e m e g r Engo E/S Disques

12 Problème ent m e g r o NET g En harge SurcCPU Fiabilitée alitée QuService Espace grité IntéDisques Hard Pannes t n e m e g r Engo E/S

13 Problème harge SurcCPU ent m e g r o NET g En Fiabilitée alitée QuService Espace grité IntéDisques O C T t n e m e g r Engo E/S Hard Pannes

14 Plan Problèmes Actions Cluster Solutions Outils Divers

15 Actions CPU NET Hard Service E/S Espace

16 Actions Passer de 1 à N CPUs et de 1 à N serveurs CPU NET Hard Service E/S Espace

17 Actions Passer de 1 à N CPUs et de 1 à N serveurs CPU NET Service «Mirroring» des systèmes Hard E/S Espace

18 Actions Passer de 1 à N CPUs et de 1 à N serveurs CPU NET «Routeur» de services Service «Mirroring» des systèmes Hard E/S Espace

19 Actions Passer de 1 à N CPUs et de 1 à N serveurs CPU NET «Routeur» de services Service «Mirroring» des systèmes Hard «Mirroring» des services E/S Espace

20 Actions Passer de 1 à N CPUs et de 1 à N serveurs CPU NET «Routeur» de services Service «Mirroring» des services Espace «Mirroring» des systèmes Hard Délégation des systèmes de fichiers E/S

21 Actions Passer de 1 à N CPUs et de 1 à N serveurs CPU NET «Routeur» de services Service «Mirroring» des services Réseau de serveurs de fichiers Espace «Mirroring» des systèmes Hard Délégation des systèmes de fichiers E/S

22 Processus Complexité Station Cluster PC TR nombre fréquence

23 Remarque si 1 CPU = a MIPS alors n CPU < à n*a MIPS en termes de systèmes avec des tâches non indépendantes

24 Requêtes Taille de la requête < Taille de la réponse 1 2 Temps de requête < Temps de la réponse

25 Requêtes NET CPU

26 Plan Problèmes Actions Cluster Solutions Outils Divers

27 Définition Un cluster est un ensemble d ordinateurs connectés les uns aux autres en réseau dans le but de partager des ressources et capables de traiter de concert un même travail.

28 Types de Clusters Cluster Scientifique: calculer à grande échelle... Cryptographie Simulation Ray-Tracing ( 3D )

29 Types de Clusters Cluster de stockage: disponibilité des informations... Comptes utilisateurs Fichiers vidéo Bases de données

30 Types de Clusters Cluster de haute disponibilité: certifier le fonctionnement... Firewall E-Shop Mail

31 Types de Clusters Cluster de répartition de charge: client / serveur... Serveur HTTP / Mail GroupWare Infrastructure utilisateurs

32 Plan Problèmes Actions Cluster Solutions Outils Divers

33 Open Mosix Migration automatique Dans le kernel Outils non spécifiques ONFS Cluster Knoppix Voir dans les liens cluster

34 Beowulf Architecture pour la programmation // 1 node serveur + n nodes clients PVM LAM/MPI ( messages ) BERT77 ( fortran )... Voir dans les liens cluster

35 LVS Principe Load Balancing Linux Server Client Real server

36 LVS / NAT

37 LVS / IP Tunneling

38 LVS / Direct Routing Le même réseau physique

39 LVS Sheduling Round-Robin Scheduling : Par exemple, dans une configuration avec 2 real-servers, la première requête sera affectée au 1er serveur, la seconde au second serveur, la 3ème requête au 1er serveur, et ainsi de suite en boucle. Weighted Round-Robin Scheduling : même technique, mais les real-serveurs peuvent être affectés par des poids, pour tenir compte des différentes capacités de traitement.

40 LVS Sheduling Least-Connection Scheduling : le load-balancer possède une table des connections actives. Il renverra toute nouvelle requête au serveur possédant le moins de connexions actives, dynamiquement. Weighted Least-Connection Scheduling : même idée que l'algorithme précédent, en ayant la possibilité d'attribuer des poids aux serveurs.

41 LVS Sheduling Locality-Based Least-Connection Scheduling : Le load balancer choisit un real-server dans un groupe en fonction de l'adresse IP de destination. Il est utilisé dans les clusters de cache. Locality-Based Least-Connection with Replication scheduling : Idem que le précèdent, avec une fonctionnalité supplémentaire: si tous les serveurs du groupe sont surchargés ou indisponibles, il choisit un serveur dans un autre groupe pour l'affecter au 1er groupe de serveurs.

42 LVS Sheduling Destination Hashing Scheduling : affecte la requête arrivant à un serveur d'un groupe fixé dans une table de hashage, en fonction de l'adresse IP destination. Source Hashing Scheduling : affecte la requête arrivant à un serveur d'un groupe fixé dans une table de hashage, en fonction de l'adresse IP source.

43 LVS FallOver Load Balancing Linux Server Heartbeat + Fake Client MON Fall Over MON Real server Voir dans les liens tools

44 LVS + FS Load Balancing Linux Server Heartbeat + Fake Client MON Fall Over MON Real server Voir dans les liens fs GFS Coda Pvfs

45 LVS + FS + LAN Load Balancing Linux Server EXT Client Heartbeat + Fake MON Cluster LAN Fall Over MON FS LAN Real server GFS Coda Pvfs

46 LVS + LAN Input EXT Cluster LAN Output FS LAN

47 LVS + LAN Input EXT Cluster LAN Output FS LAN

48 LVS / Cascade Load Balancing Linux Server 3 1 Client 2 Real server Cascade 4

49 Pvfs / Ethernet < à 25 ION «linéarité» clients/serveurs En charge: < 16 ION, pas linéaire 8 Mbit/s/ION

50 Pvfs / Myrinet < à 25 ION «linéarité» clients/serveurs En charge: «linéaire» 20 Mbit/s/ION Voir dans les liens hard

51 Plan Problèmes Actions Cluster Solutions Outils Divers

52 RAID Hard RAID

53 NET-RAID Hard/Soft RAID DRBD Network RAID-1 ( Mirror ) Voir dans les liens fs

54 BDATA Http tomcat ldap ODBC C-JDBC Postgressql Voir dans les liens db Postgressql

55 Queue Queue est un système d'échange-équilibrage qui laisse des utilisateurs commander leurs travaux à distance d'une manière intuitive et transparente. Ceci est fait avec la gestion de JOBS locale, des signaux et un file d'attente «proxyé» par un «daemon». La file d'attente peut être employée comme remplacement local pour rsh vers un centre de serveurs homogènes. Applications possibles: l'échange-équilibrage d' , compilation en batch... Le + : simple car «shell» Le - : pas adapté au «non-batch» Voir dans les liens outils

56 Pen Une sorte de «Proxy» avec du «round-robin» 1 daemon par application n'est pas dans le «kernel» disponible pour d'autre types de serveurs Pas d'outils de configuration simple Voir dans les liens outils

57 Plan Problèmes Actions Cluster Solutions Outils Divers

58 KLAT2

59 ICluster

60 alinka Alinka est une société éditrice de logiciels pour l'installation et l'administration de clusters Linux.

61 zeus Zeus est une société éditrice de logiciels pour l'installation et l'administration de de gros sites web.

62 SMP vs Cluster Bus vs Net FallOver Disponibilité

63 Question?

64 The End Denis Ensminger iuthaguenau.u-strasbg.fr denis.dnsalias.org