Systèmes et algorithmes répartis
|
|
- Aurore Flore Baril
- il y a 8 ans
- Total affichages :
Transcription
1 Systèmes et algorithmes répartis Données réparties Philippe Quéinnec, Gérard Padiou Département Informatique et Mathématiques Appliquées ENSEEIHT 12 novembre 2014 Systèmes et algorithmes répartis VI 1 / 76
2 Principes Cohérence Mise en œuvre Première partie Réplication de données Systèmes et algorithmes répartis VI 2 / 76
3 plan Principes Cohérence Mise en œuvre 1 Principes 2 Cohérence Cohérence séquentielle Cohérence et synchronisation Cohérences non séquentielles 3 Mise en œuvre Placement des copies Propagation des mises à jour Protocoles de cohérence Systèmes et algorithmes répartis VI 3 / 76
4 Plan Principes Cohérence Mise en œuvre 1 Principes 2 Cohérence Cohérence séquentielle Cohérence et synchronisation Cohérences non séquentielles 3 Mise en œuvre Placement des copies Propagation des mises à jour Protocoles de cohérence Systèmes et algorithmes répartis VI 4 / 76
5 Réplication de données Principes Cohérence Mise en œuvre Réplication Placement de plusieurs exemplaires d une même donnée sur différents sites. Intérêt de la réplication Favorise les accès locaux : performance Tolérance aux pannes (copies multiples) Répartition de charge Mode déconnecté envisageable en cohérence à terme Systèmes et algorithmes répartis VI 5 / 76
6 Principe général Principes Cohérence Mise en œuvre Principe : fournir des objets partagés par couplage dans les espaces d adressage de structures d exécution (couplage virtuel) réparties Partage par copie locale (efficacité) Programmation simple (accès local) Le système charge éventuellement les données à la demande Le système assure la cohérence des données partagées Systèmes et algorithmes répartis VI 6 / 76
7 Principes Cohérence Mise en œuvre Réplication optimiste / pessimiste Réplication optimiste Autoriser l accès à une copie sans synchronisation a priori avec les autres copies Modifications propagées en arrière plan Conflits supposés peu nombreux, et résolus quand ils sont détectés Réplication pessimiste Garantit l absence de conflits Mécanisme bloquant de prévention Where a pessimistic algorithm waits, an optimistic one speculates. Systèmes et algorithmes répartis VI 7 / 76
8 Principes Cohérence Mise en œuvre Réplication et répartition des données Deux sujets : Une même donnée, répliquée sur plusieurs sites mêmes valeurs? Plusieurs données, sur des sites différents l ensemble est-il cohérent? Mais en fait, c est le même problème! P1 P2 w(x)0 w(x)1 r(x)0 P1 P2 w(x)1 w(y)1 r(y)0 r(x)0 w i (x)b = écriture, sur le site i, de la variable x avec la valeur b Systèmes et algorithmes répartis VI 8 / 76
9 Plan Principes Cohérence Mise en œuvre Cohérence séquentielle Cohérence et synchronisation Cohérences non séquentielles 1 Principes 2 Cohérence Cohérence séquentielle Cohérence et synchronisation Cohérences non séquentielles 3 Mise en œuvre Placement des copies Propagation des mises à jour Protocoles de cohérence Systèmes et algorithmes répartis VI 9 / 76
10 Cohérence Principes Cohérence Mise en œuvre Cohérence séquentielle Cohérence et synchronisation Cohérences non séquentielles Définition Cohérence : relation que gardent entre elles les différentes copies des données Cohérence stricte, linéarisabilité, cohérence séquentielle Cohérences faibles (weak consistency) cohérence à la sortie (release consistency) cohérence à l entrée (entry consistency) Cohérences non séquentielles cohérence causale cohérence à terme (eventual consistency) Systèmes et algorithmes répartis VI 10 / 76
11 Cohérence stricte Principes Cohérence Mise en œuvre Cohérence séquentielle Cohérence et synchronisation Cohérences non séquentielles Cohérence stricte Toute lecture sur un élément X renvoie une valeur correspondant à l écriture la plus récente sur X. Modèle idéal Difficile à mettre en œuvre Synchronisation des horloges (difficile d avoir un référentiel de temps absolu) Temps de communication (temps de propagation des mises à jour) Opérations instantanées approximation de ce modèle par des modèles moins contraignants Systèmes et algorithmes répartis VI 11 / 76
12 Linéarisabilité Principes Cohérence Mise en œuvre Cohérence séquentielle Cohérence et synchronisation Cohérences non séquentielles Définition Le résultat d une exécution parallèle est le même que celui d une exécution séquentielle qui respecte l enchaînement des opérations. Toutes les opérations sont exécutées selon une certaine séquence S (comme en centralisé) Si deux opérations (lecture ou écriture) sont telles que la première finit avant que la deuxième ne commence, alors elles figurent dans cet ordre dans S. La cohérence interne des données est respectée dans S (après une écriture et jusqu à la prochaine, la lecture délivre la valeur écrite) Note : le point 2 nécessite un ordre total sur les dates de début/fin, par exemple le temps absolu. Systèmes et algorithmes répartis VI 12 / 76
13 Principes Cohérence Mise en œuvre Cohérence stricte vs linéarisabilité Cohérence séquentielle Cohérence et synchronisation Cohérences non séquentielles P1 P2 P3 P4 w(x)a w(x)b r(x)? r(x)? Séquences valides pour la linéarisabilité : w 1 (x)a w 2 (x)b r 3 (x)b r 4 (x)b (= stricte sur les débuts) w 1 (x)a r 3 (x)a w 2 (x)b r 4 (x)b (= stricte sur les fins) w 2 (x)b w 1 (x)a r 3 (x)a r 4 (x)a Séquences invalides pour la linéarisabilité : w 2 (x)b r 3 (x)b w 1 (x)a r 4 (x)a (début r 3 postérieur à fin w 1 ) w 2 (x)b r 4 (x)b w 1 (x)a r 3 (x)a (début r 4 postérieur à fin w 1 / r 3 ) Systèmes et algorithmes répartis VI 13 / 76
14 Cohérence séquentielle Principes Cohérence Mise en œuvre Cohérence séquentielle Cohérence et synchronisation Cohérences non séquentielles Définition Le résultat d une exécution parallèle est le même que celui d une exécution séquentielle qui respecte l ordre partiel de chacun des processeurs. Toutes les opérations sont exécutées selon une certaine séquence S (comme en centralisé) Les opérations exécutées par tout processus P figurent dans S dans le même ordre que dans P La cohérence interne des données est respectée dans S (après une écriture et jusqu à la prochaine, la lecture délivre la valeur écrite) Remarque : on ne contraint pas l ordre des opérations dans des processus différents. Systèmes et algorithmes répartis VI 14 / 76
15 Principes Cohérence Mise en œuvre Cohérence séquentielle Cohérence et synchronisation Cohérences non séquentielles Linéarisabilité/cohérence séquentielle/non séquentielle P1 P2 P3 w(x)a r(x)a w(x)b r(x)b r(x)a r(x)b Linéarisable P4 S = w 1 (x)a r 3 (x)a r 4 (x)a w 2 (x)b r 4 (x)b r 3 (x)b P1 P2 w(x)b w(x)a r(x)a r(x)b Cohérence P3 r(x)a r(x)b séquentielle P4 S = w 1 (x)a r 3 (x)a r 4 (x)a w 2 (x)b r 3 (x)b r 4 (x)b Cohérence non séquentielle P1 w(x)a P2 P3 P4 w(x)b r(x)b r(x)a r(x)a r(x)b Systèmes et algorithmes répartis VI 15 / 76
16 Cohérence séquentielle Principes Cohérence Mise en œuvre Cohérence séquentielle Cohérence et synchronisation Cohérences non séquentielles Les processeurs doivent s accorder sur l ordre des accès un accès en écriture est terminé si une lecture à la même adresse rend la valeur écrite (quelque soit le processeur) chaque écriture doit être terminée pour continuer l exécution (sinon deux écritures peuvent s inverser) Dans la pratique, algorithme d ordonnancement global diffusion des modifications à tous les sites (ordre total) ou un serveur n autorisant qu une seule copie en écriture (par unité) lourd et inefficace : r + w t, où r est la durée d une lecture, w d une écriture, et t est le temps minimal de transfert d un message mais assez intuitif Systèmes et algorithmes répartis VI 16 / 76
17 Principes Cohérence Mise en œuvre Cohérence et synchronisation Cohérence séquentielle Cohérence et synchronisation Cohérences non séquentielles La présence de code de synchronisation (p.e. exclusion mutuelle ou verrous) simplifie la cohérence nécessaire : Cohérence séquentielle pour la prise des verrous Cohérence faible pour les objets Règle : tous les accès mémoire doivent être terminés avant chaque point de synchronisation acquire(v) release(v) r(x)1 w(y)2 w(z)3 P1 P2 ack(v) Systèmes et algorithmes répartis VI 17 / 76
18 Cohérences faibles Principes Cohérence Mise en œuvre Cohérence séquentielle Cohérence et synchronisation Cohérences non séquentielles Différencier les points d entrée et de sortie de synchronisation Cohérence à la sortie (release consistency) en sortie de synchronisation, les accès doivent être terminés mise à jour précoce (eager) : envoi des modifications à tous les noeuds (ayant une copie) mise à jour paresseuse (lazy) : acquisition par le processeur qui reprend le verrou (sorte de cohérence à l entrée) Cohérence à l entrée (entry consistency) association explicite entre variable de synchronisation et variables partagées verrouillage avant d utiliser un objet mise en cohérence de l objet lors de la prise du verrou Systèmes et algorithmes répartis VI 18 / 76
19 Cohérence causale Principes Cohérence Mise en œuvre Cohérence séquentielle Cohérence et synchronisation Cohérences non séquentielles Relation de causalité e précède causalement e : e e si : Si e et e sont sur le même site, et e précède e Si e = w(x)a, et e = r(x)a (e = lecture de la valeur écrite en e) Transitivité : si e e et e e Événements concurrents = pas de précédence causale entre eux. Cohérence causale Les valeurs sont observées dans un ordre compatible avec la causalité. Note : deux écritures concurrentes peuvent être vues dans des ordres différents sur des processeurs différents. Systèmes et algorithmes répartis VI 19 / 76
20 Cohérence causale Principes Cohérence Mise en œuvre Cohérence séquentielle Cohérence et synchronisation Cohérences non séquentielles P1 P2 P3 P4 w(x)1 r(x)1 w(x)2 w(x)3 // r(x)1 r(x)3 r(x)2 r(x)1 r(x)2 r(x)3 Assez lourd à mettre en œuvre (horloges matricielles) Mais optimisations (horloges vectorielles) Gains considérables en général Systèmes et algorithmes répartis VI 20 / 76
21 Principes Cohérence Mise en œuvre Cohérence séquentielle Cohérence et synchronisation Cohérences non séquentielles Cohérence à terme (eventual consistency) Cohérence à terme Respect de l ordre local + datation globale ordonnant les écritures sur un même objet. Aucune contrainte sur les lectures (valeurs périmées possibles) Majorité de lectures, peu d écritures Acceptable de lire une donnée non à jour Exemples : DNS, WWW, consultation des places disponibles (mais pas réservation) En l absence prolongée de modifications, les copies finiront par devenir cohérentes Algorithmes de propagation dits épidémiques Systèmes et algorithmes répartis VI 21 / 76
22 Plan Principes Cohérence Mise en œuvre Placement des copies Propagation des mises à jour Protocoles de cohérence 1 Principes 2 Cohérence Cohérence séquentielle Cohérence et synchronisation Cohérences non séquentielles 3 Mise en œuvre Placement des copies Propagation des mises à jour Protocoles de cohérence Systèmes et algorithmes répartis VI 22 / 76
23 Principes Cohérence Mise en œuvre Problème 1 : placement des copies Placement des copies Propagation des mises à jour Protocoles de cohérence Copies permanentes Ensemble de copies définies a priori. Configuration statique Architecture statique de tolérance aux fautes Copies à la demande Création dynamique de copies selon les besoins Adaptation à la charge Systèmes et algorithmes répartis VI 23 / 76
24 Principes Cohérence Mise en œuvre Placement des copies Propagation des mises à jour Protocoles de cohérence Problème 2 : propagation des mises à jour Write-update Lectures locales sans communication Modifications : locales et envoyées en multicast Cohérence : propriétés sur l ordre des messages Multicast peut être cher (à chaque écriture) Write-invalidate Invalidations diffusées en cas d écriture Lectures après chargement si nécessaire Généralement, n lecteurs - 1 écrivain Plusieurs lectures/écritures locales sans communication (si en cache) Systèmes et algorithmes répartis VI 24 / 76
25 Principes Cohérence Mise en œuvre Placement des copies Propagation des mises à jour Protocoles de cohérence Problème 3 : protocoles de cohérence Copie primaire fixe Serveur fixe. Toute demande de modification passe par ce serveur ( accès distant). Copie primaire locale Le contrôle est donné au site qui fait une mise à jour accès local. Intéressant avec les cohérences liées à la synchronisation. Duplication active Accord de l ensemble des serveurs : Diffusion fiable totalement ordonnée (atomique) Votes et quorums Algorithmes épidémiques Systèmes et algorithmes répartis VI 25 / 76
26 Principes Cohérence Mise en œuvre Duplication active Diffusion Placement des copies Propagation des mises à jour Protocoles de cohérence Principe Écriture : diffusion atomique totalement ordonnée à toutes les copies toutes les copies mettent à jour dans le même ordre Lecture : utilisation d une copie quelconque : immédiatement (valeur passée possible) causalement (cohérence causale) totalement ordonnée avec les écritures (cohérence séquentielle) Systèmes et algorithmes répartis VI 26 / 76
27 Principes Cohérence Mise en œuvre Placement des copies Propagation des mises à jour Protocoles de cohérence Duplication active Votes et quorums Principe Pour effectuer une lecture, avoir l accord de nl copies Pour effectuer une écriture, avoir l accord de ne copies Condition : nl + ne > N (nb de copies) Garantit la lecture de la plus récente écriture Votes pondérés Donner des poids différents aux copies, selon leur importance (p.e. accessibilité) N nombre total de votes ( nb de copies) nl = quorum de lecture ne = quorum d écriture Conditions : nl + ne > N et 2 ne > N Systèmes et algorithmes répartis VI 27 / 76
28 Principes Cohérence Mise en œuvre Placement des copies Propagation des mises à jour Protocoles de cohérence Algorithmes épidémiques (Demers et al., 1987) Diffusion à grande échelle Grand nombre de sites (> 100), voire très grand (> 10000) Nombre inconnu et variable de sites Rôle symétrique de tous les sites Présence de sites en panne Topologie d interconnexion inconnue (a priori non directement maillée) Exemples : Internet (DNS), peer-to-peer Approche Algorithmes probabilistes Propagation aléatoire Systèmes et algorithmes répartis VI 28 / 76
29 Principes Cohérence Mise en œuvre Algorithme épidémique : Rumeur Placement des copies Propagation des mises à jour Protocoles de cohérence Rumeur (Gossip) Contamination d autres sites choisis aléatoirement avec une information supposée nouvelle. États d un site : Infectable : ne possède pas l information Contagieux : apte à contaminer des sites infectables Immunisé : a cessé d être contagieux Immunisation en aveugle ou avec rétroaction (échec d une tentative de contamination) Compteur (de tentatives ou d échecs) Probabilité d abandon après chaque tentative / échec Systèmes et algorithmes répartis VI 29 / 76
30 Rumeur : exemple Principes Cohérence Mise en œuvre Placement des copies Propagation des mises à jour Protocoles de cohérence 20 sites, nombre de sites contactés à chaque tour = 2, immunisation en aveugle à 1 tour Initial après 1e transmission après 2e transmission après 3e transmission Systèmes et algorithmes répartis VI 30 / 76
31 Rumeur : performance Principes Cohérence Mise en œuvre Placement des copies Propagation des mises à jour Protocoles de cohérence Modèle simple : infect forever = pas d immunisation N = nombre de sites f = nombre de sites contactés à chaque tour par chaque site I (t) = nombre de sites infectés (contagieux ou immunisés) après le t-ième tour p(t) = I (t)/n = proportion de sites infectés au t-ième tour 1 Alors p(t) = 1+(N 1) e f t N= p(t), f=1 p(t), f=2 p(t), f= Tour Systèmes et algorithmes répartis VI 31 / 76
32 Rumeur : performance Principes Cohérence Mise en œuvre Placement des copies Propagation des mises à jour Protocoles de cohérence Modèle simple : infect and die = immunisation après un seul tour N = nombre de sites f = nombre de sites contactés par chaque site P = probabilité que tous les sites finissent par être infectés (à l ) elog N f Alors P e Inversion autour de f = log N N=50000 P(f) Systèmes et algorithmes répartis VI Fanout 32 / 76
33 Rumeur : performance Nombre de tours pour tout contaminer : Modèle sans immunisation (infect forever) : R = log f +1 n+ 1 f log n+o(1) Nb sites Modèle immunisation immédiate (infect and die) : (fin de l épidémie avec tous contaminés) R = log n log log n + O(1) R(n) R(n), f=1 R(n), f=2 R(n), f=3 R(n), f= Nb sites
34 Rumeur : coût Principes Cohérence Mise en œuvre Placement des copies Propagation des mises à jour Protocoles de cohérence Diffusion probabiliste Existence de sites non informés (poches d ignorance si le choix des sites est plutôt local) Nombre de messages élevés (échecs de contamination) Systèmes et algorithmes répartis VI 34 / 76
35 Principes Cohérence Mise en œuvre Placement des copies Propagation des mises à jour Protocoles de cohérence Algorithme épidémique : Anti-entropie Anti-entropie Périodiquement, chaque site contacte aléatoirement un autre site. Les deux sites échangent alors des informations, et leurs objets sont mis en cohérence. L algorithme converge vers l égalité des copies : cohérence à terme. Nombre de tours pour tout contaminer = O(log N) Systèmes et algorithmes répartis VI 35 / 76
36 Graphes petit monde Principes Cohérence Mise en œuvre Placement des copies Propagation des mises à jour Protocoles de cohérence Les algorithmes précédents n ont pas de notion de voisinage : choix arbitraire d un site quelconque (graphe complet). Graphe petit monde (small-world graphs) Graphe connexe vérifiant : Grand nombre de nœuds (N > 10000) Faible connectivité des nœuds (de l ordre de 5 à 10) Distance entre deux nœuds quelconques log N Remarquablement adapté aux algorithmes épidémiques, résistant aux pannes (de sites et de liens) Apparaît spontanément (ex : réseau routier : maillage local, rocade, autoroutes)... ou pas (ex : réseau aérien avec quelques gros hubs à forte connectivité) Systèmes et algorithmes répartis VI 36 / 76
37 Conclusion Principes Cohérence Mise en œuvre Placement des copies Propagation des mises à jour Protocoles de cohérence Intérêt de la réplication Favorise les accès locaux : performance Tolérance aux pannes (copies multiples) Répartition de charge Mode déconnecté envisageable en cohérence à terme Limites Diverses formes de cohérence, aucune simple ET performante Cohérences faibles comportements surprenants Diverses implantations, toutes complexes Difficiles de faire cohabiter plusieurs formes de cohérence selon la nature des données Systèmes et algorithmes répartis VI 37 / 76
38 Conception Deuxième partie Systèmes de fichiers répartis Systèmes et algorithmes répartis VI 38 / 76
39 plan Conception 4 Conception Les principes et objectifs SGF réparti Sémantique de la concurrence 5 NFS v3 (l ancêtre) NFS v4 AFS 6 Google File System Hadoop Distributed File System Dropbox Systèmes et algorithmes répartis VI 39 / 76
40 Plan Conception Les principes et objectifs SGF réparti Sémantique de la concurrence 4 Conception Les principes et objectifs SGF réparti Sémantique de la concurrence 5 NFS v3 (l ancêtre) NFS v4 AFS 6 Google File System Hadoop Distributed File System Dropbox Systèmes et algorithmes répartis VI 40 / 76
41 Conception Les principes et objectifs SGF réparti Sémantique de la concurrence Données rémanentes et abstraction des ressources Espace logique de fichiers / Espace physique de ressources Modem ADSL Disques mach mach.sym bin local Scanner clé USB sh cat Imprimante Projection de l espace logique sur l espace physique Systèmes et algorithmes répartis VI 41 / 76
42 Objectif Conception Les principes et objectifs SGF réparti Sémantique de la concurrence Un bon système de fichiers répartis est un système de fichiers... qui peut passer pour un système centralisé Obtenir le meilleur niveau de transparence de la répartition transparence d accès transparence de la localisation transparence du partage, de la concurrence transparence de la réplication transparence des fautes transparence de l hétérogénéité transparence d échelle... Systèmes et algorithmes répartis VI 42 / 76
43 Conception Transparence de la localité Les principes et objectifs SGF réparti Sémantique de la concurrence Une étape : le réseau est la racine Domain OS (Apollo) : //mozart/usr/... Cedar : /serveur/<chemin local> Disparition des noms de sites : NFS Tous les fichiers sont intégrés dans une arborescence unique Implantation : par extension du montage de volume à distance Implantation : par exportation sélective des volumes Transparence de la localité Désignation uniforme Systèmes et algorithmes répartis VI 43 / 76
44 Conception Architecture d un système de fichiers Les principes et objectifs SGF réparti Sémantique de la concurrence Service de fichiers à plat (flat file system) Service de nommage (répertoires) Module client : API simple et unique, indépendante de l implantation Client Kernel or Server Application program Application program Directory service Flat file service Client module (source : Coulouris Dollimore) Systèmes et algorithmes répartis VI 44 / 76
45 SGF centralisé Conception Les principes et objectifs SGF réparti Sémantique de la concurrence API Unix canal open(nom,mode) canal creat(nom, mode) close(canal) int read(canal,tampon,n) int write(canal,tampon,n) pos = lseek(canal, depl, orig) stat(nom, attributs) unlink(nom) link(nom orig,synonyme) connexion du fichier à un canal connexion avec création déconnexion lecture de n octets au plus écriture de n octets au plus positionnement du curseur Lecture des attributs du fichier suppression du nom dans le rép. Nouvelle référence Systèmes et algorithmes répartis VI 45 / 76
46 Conception SGF réparti : Niveau répertoire Les principes et objectifs SGF réparti Sémantique de la concurrence Fonction Noms symboliques noms internes (Unique File IDentifiers UFID) Protection : contrôle d accès Génération de noms internes (UFID) : Engendrés par le serveur pour les clients Unicité, non réutilisation, protection API RPC Service Répertoire UFID Lookup(UFID rép, String nom) AddName(UFID rép, String nom, UFID uid) UnName(UFID rép, String nom) String[] GetNames(UFID rép, String motif) résolution du nom insérer le nom supprimer le nom recherche par motif Systèmes et algorithmes répartis VI 46 / 76
47 Conception SGF réparti : Niveau fichier Les principes et objectifs SGF réparti Sémantique de la concurrence Fonction Passage d un nom interne global (UFID à un descripteur) Accès au fichier (attributs) API RPC Service Fichier byte[] Read(UFID uid, int pos,int n) Write(UFID uid,int pos,byte[] z,int n) UFID Create() Delete(UFID uid) GetAttributes(UFID uid, Attributs a) Attributs SetAttributes(UFID uid) lire n octets au + en pos écrire n octets en pos créer un fichier supprimer l UID du fichier lire les attributs du fichier mettre à jour les attributs Opérations idempotentes (sauf create) : RPC at-least-once Serveur sans état : redémarrage sans reconstruction de l état précédent Systèmes et algorithmes répartis VI 47 / 76
48 Conception Problème sémantique du partage Les principes et objectifs SGF réparti Sémantique de la concurrence Idéalement Sémantique centralisée (Unix-like) : lecture de la dernière version écrite Sous une autre forme : une lecture voit TOUTES les modifications faites par les écritures précédentes Difficultés Ordre total Propagation immédiate des modifications Pas de copie contention Idée : copies caches et sémantique de session Systèmes et algorithmes répartis VI 48 / 76
49 L approche session Conception Les principes et objectifs SGF réparti Sémantique de la concurrence Stratégie orientée session Un serveur unique maintient la version courante Lors de l ouverture à distance par un client (début de session), une copie locale au client est créée Les lectures/écritures se font sur la copie locale Seul le client rédacteur perçoit ses écritures de façon immédiate (sémantique centralisée) Lors de la fermeture (fin de session), la nouvelle version du fichier est recopiée sur le serveur : La session (d écritures du client) est rendue visible aux autres clients Systèmes et algorithmes répartis VI 49 / 76
50 Conception L approche session (suite) Les principes et objectifs SGF réparti Sémantique de la concurrence Problème Plusieurs sessions de rédacteurs en parallèle... L ordre des versions est l ordre de traitement des fermetures La version gagnante est indéfinie Autres solutions Invalidation les copies clientes par le serveur lors de chaque création de version Le contrôle du parallélisme : garantir un seul rédacteur Une autre idée : Fichiers à version unique (immuable) Systèmes et algorithmes répartis VI 50 / 76
51 Plan Conception NFS v3 (l ancêtre) NFS v4 AFS 4 Conception Les principes et objectifs SGF réparti Sémantique de la concurrence 5 NFS v3 (l ancêtre) NFS v4 AFS 6 Google File System Hadoop Distributed File System Dropbox Systèmes et algorithmes répartis VI 51 / 76
52 Conception NFS v3 (l ancêtre) NFS v4 AFS NFS (Network File System) : Principes Origine : Sun Microsystems (1984, 1995, 2003, 2010) Transparence d accès et de localisation ( virtual file system) Traitement de l hétérogénéité ( virtual node vnode) Désignation non uniforme (a priori) Approche intégrée (modification des primitives du noyau) Protocole RPC entre noyaux ( système fermé) : sémantique au moins une fois Serveur : site qui exporte des volumes Client : accès à un système de fichiers distants par montage à distance (extension du mount) Serveur sans état (mais v4 avec état) Systèmes et algorithmes répartis VI 52 / 76
53 Conception NFS v3 (l ancêtre) NFS v4 AFS Idée de base de NFS : le montage à distance de volumes Montagedevolumesàdistance mount /dev/disk0s3 /sys/mach / mount rubis:/dev/disk0s1 /projets dev sys projets Siterubis dev mach mach.sym disk0s1 bin local Volume distant disk0s3 Volume local sh cat Systèmes et algorithmes répartis VI 53 / 76
54 Architecture de NFS Conception NFS v3 (l ancêtre) NFS v4 AFS Client computer Server computer UNIX system calls UNIX kernel Application Application program program Virtual file system UNIX kernel Virtual file system Local Remote UNIX file system Other file system NFS client NFS protocol NFS server UNIX file system (source : Coulouris Dollimore) Systèmes et algorithmes répartis VI 54 / 76
55 Conception Exemple NFS Transparence de localisation et hétérogénéité NFS v3 (l ancêtre) NFS v4 AFS La notion de virtual file system (VFS) Étend la notion de système de fichiers (file system) aux volumes à distance et à des systèmes de fichiers hétérogènes VFS un volume support d un système de fichiers particulier La notion de virtual node (vnode) Extension de la notion de inode Pointe un descripteur local (inode) ou distant (rnode) Notion de file handle ou UFID Un nom global, engendré par le serveur et donné au client Identification du FS n o inode n o de génération Systèmes et algorithmes répartis VI 55 / 76
56 Conception NFS v3 (l ancêtre) NFS v4 AFS Gestion de caches clients et serveur Objectif Garantir la sémantique centralisée : la version lue est la dernière version écrite Approximation... Sur ouverture, le client mémorise : (date de dernière modification, date présente) Interrogation du serveur si lecture après plus de p secondes (p = 3 sec. pour fichier ordinaire, p = 10 sec. si répertoire) Systèmes et algorithmes répartis VI 56 / 76
57 Conception NFS avec serveur à état : v4 NFS v3 (l ancêtre) NFS v4 AFS Principales différences... Introduction des notions de serveur à état et de session : Open et Close réapparaissent! procédures de reprise sur incident Protocole sécurisé beaucoup plus poussé : usage de kerberos, chiffrement Groupement des requêtes pour de meilleures performances Notion de délégation : le client a une copie locale utilisable jusqu à une alerte du serveur (callback) Traitement de la transparence de migration et/ou réplication Verrouillage temporisé : notion de bail (lease) Usage de TCP/IP Systèmes et algorithmes répartis VI 57 / 76
58 Conception AFS (Andrew File System) NFS v3 (l ancêtre) NFS v4 AFS Principes Origine : Carnegie Mellon University (1986) SGF uniforme pour servir plusieurs milliers de machines Deux composants : les stations serveurs (VICE) les stations clientes (VERTUE) Réplication en lecture seule des fichiers systèmes Migration des fichiers utilisateurs (serveur client) Gestion de caches sur les stations clientes Arborescence partagée commune /vice Systèmes et algorithmes répartis VI 58 / 76
59 Conception Gestion de caches de fichiers Traitement d un accès à un fichier /vice/... NFS v3 (l ancêtre) NFS v4 AFS Approche orientée session Lors de l ouverture du fichier si fichier déjà présent en cache local, ouverture locale si fichier absent contacter un serveur pour obtenir une copie de tout le fichier Lors de la fermeture du fichier recopie de la version locale sur le serveur le serveur avertit les autres stations clientes qui contiennent ce fichier dans leur cache d invalider leur version (callback) Systèmes et algorithmes répartis VI 59 / 76
60 Conception Gestion de caches de fichiers Avantages et inconvénients NFS v3 (l ancêtre) NFS v4 AFS Avantages Minimise la charge d un serveur : ceux-ci ne gèrent que les fichiers partagés, or 80% sont privés et temporaires L invalidation par rappel est efficace car les cas de partage parallèle sont rares Les transferts de fichier dans leur totalité sont efficaces Inconvénients Cohérence des copies d un même fichier non garantie Sémantique copie lue dernière version écrite non garantie Systèmes et algorithmes répartis VI 60 / 76
61 Évolutions Conception NFS v3 (l ancêtre) NFS v4 AFS Limitations Introduction de la mobilité : partitionnement réseau, mode déconnecté, pannes, etc Réplication (résolution des conflits d écriture?) Unité de travail = document = ensemble de fichiers Constant Data Availability Exemples d évolutions Coda (CMU) : réplication optimiste en mode déconnecté, résolution de conflit manuelle Peer-to-peer (voir Locus, extension de NFS) : Ficus (UCLA) Travail collaboratif : Bayou (Xerox PARC) Systèmes de gestion de versions décentralisé (git) Sites d hébergement / partage de fichiers (Dropbox, Google Drive... ) Systèmes et algorithmes répartis VI 61 / 76
62 Conclusion Conception NFS v3 (l ancêtre) NFS v4 AFS Des problèmes bien maîtrisés Implantation performante des fichiers dans un contexte réparti en assurant transparence d accès et de localisation conduit à une re-centralisation : serveurs dédiés Problème : concurrence d accès aux fichiers partagés modifiés Approches session ou spécifiques (transactions) Des tendances fortes et/ou solutions matures Tolérance aux fautes : par réplication (transparence assurée) Évolution pour prendre en compte la mobilité des clients Sécurité : par partitionnement Systèmes et algorithmes répartis VI 62 / 76
63 Plan Conception Google File System Hadoop Distributed File System Dropbox 4 Conception Les principes et objectifs SGF réparti Sémantique de la concurrence 5 NFS v3 (l ancêtre) NFS v4 AFS 6 Google File System Hadoop Distributed File System Dropbox Systèmes et algorithmes répartis VI 63 / 76
64 Conception GFS Google File System Google File System Hadoop Distributed File System Dropbox Objectifs Système de fichiers scalable Applications manipulant de gros volumes de données Haute performance pour un grand nombre de clients Tolérant aux fautes sur du matériel basique Exemple d applications : stockage de vidéo (youtube), moteur de recherche (google), transactions commerciales passées (amazon), catalogues de vente Systèmes et algorithmes répartis VI 64 / 76
65 GFS hypothèses Conception Google File System Hadoop Distributed File System Dropbox Hypothèses traditionnelles invalides ( fichiers majoritairement petits, courte durée de vie, peu de modifications concurrentes ) Les pannes sont normales, pas exceptionnelles : milliers de serveurs de stockage Les fichiers sont énormes : plusieurs TB est normal Accès aux fichiers : Lecture majoritairement séquentielle, rarement arbitraire Écriture majoritairement en mode ajout, rarement arbitraire Deux sous-classes : Fichiers créés puis quasiment que lus (ex : vidéos) Fichiers constamment en ajout par des centaines d applications, peu lus (ex : log) Nombre de fichiers faible par rapport au volume (quelques millions) Applications dédiées cohérence relâchée Systèmes et algorithmes répartis VI 65 / 76
66 Interface Conception Google File System Hadoop Distributed File System Dropbox Nommage Nommage non hiérarchique Opérations Classiques : create, delete, open, close, read, write Additionnelles : append : partage en écriture, sans verrouillage snapshot : copie efficace d un fichier ou d une arborescence, sans verrouillage Implantation Ordinateurs de bureau, équipés d un système de fichiers standard (linux : extfs) Serveurs GFS implantés en espace utilisateur Systèmes et algorithmes répartis VI 66 / 76
67 GFS cluster Conception Google File System Hadoop Distributed File System Dropbox Un maître : metadonnées + table de chunks par fichier Des chunk servers : fichiers découpés en chunks (64 MB) répliqués, plusieurs milliers de serveurs par maître (source : Wikipedia) Systèmes et algorithmes répartis VI 67 / 76
68 GFS fichiers Conception Google File System Hadoop Distributed File System Dropbox (source : Paul Krzyzanowski) Systèmes et algorithmes répartis VI 68 / 76
69 GFS Master Conception Google File System Hadoop Distributed File System Dropbox Métadonnées des fichiers Nommage : bête table de hachage (pas de répertoire géré par le système, mais fichier applicatif contenant une liste de noms de fichiers) Contrôle d accès Table fichier chunks Emplacement des chunks Nommage et tables en mémoire (relativement petites) pour performance pas de cache côté serveur Maintenance Verrouillage de chunk Allocation/déallocation de chunk, ramasse-miettes Migration de chunk (équilibrage, arrêt de machines) Répliqué (schéma maître-esclave) pour tolérance aux fautes Systèmes et algorithmes répartis VI 69 / 76
70 Lecture d un fichier Conception Google File System Hadoop Distributed File System Dropbox 1 Contacter le maître 2 Obtenir les métadonnées : identifiants de chunks formant le fichier 3 Pour chaque chunk handle, obtenir la liste des chunkservers 4 Contacter l un quelconque des chunkservers pour obtenir les données (sans passer par le maître) Systèmes et algorithmes répartis VI 70 / 76
71 Écriture d un fichier Conception Google File System Hadoop Distributed File System Dropbox 1 Phase 0 : demande d écriture auprès du maître un chunk responsable + un nouveau numéro de version 2 Phase 1 : envoi des données : Le client envoie ses données à écrire au serveur de chunk responsable Ce serveur propage à l un des réplicas, qui propage au suivant, etc Les données sont conservées en mémoire, non écrites 3 Phase 2 : écriture des données Le client attend l acquittement de tous les réplicas (du dernier) Il envoie un message de validation au primaire Le primaire ordonne les écritures (numéro de version), effectue son écriture et informe les réplicas Les réplicas effectuent l écriture et l acquittent au primaire. L ordre des opérations est identique pour tous (numéro de version) 4 Le primaire informe le client Systèmes et algorithmes répartis VI 71 / 76
72 Conception Google Cluster Environment Google File System Hadoop Distributed File System Dropbox Amener les calculs aux données patron mapreduce : 1 Map : filtrage + tri (naturellement ) 2 Shuffle : redistribution des résultats intermédiaires 3 Reduce : fusion ( si associatif) (source : Paul Krzyzanowski) Systèmes et algorithmes répartis VI 72 / 76
73 Conception Google File System Hadoop Distributed File System Dropbox HDFS Hadoop Distributed File System (source : Paul Krzyzanowski) Systèmes et algorithmes répartis VI 73 / 76
74 Conception Dropbox partage de fichiers Google File System Hadoop Distributed File System Dropbox Réplication grand public Répertoires sur différents ordinateurs/mobiles, synchronisés pour avoir le même contenu Schéma copie primaire (Dropbox) / copies secondaires (utilisateur) Hypothèses Énormément d utilisateurs (> 200 millions) Par utilisateur : peu de volume (quelques Go) et peu de modifications (quelques centaines / jour) Ressources utilisateur faibles Bande passante utilisateur faible Rapport lecture/écriture proche de 1 Systèmes et algorithmes répartis VI 74 / 76
75 Dropbox principes Conception Google File System Hadoop Distributed File System Dropbox Approche Copie locale complète du répertoire partagé (moins vrai avec l application mobile : cache) Accès local et natif aux fichiers partagés (lecture et écriture) Trafic uniquement en cas de modification Client local léger assurant la cohérence Cohérence suffisante : écritures en arrière-plan, notification asynchrone des modifications (client connecté) Systèmes et algorithmes répartis VI 75 / 76
76 Conception Dropbox architecture Google File System Hadoop Distributed File System Dropbox Séparation entre serveurs de metadonnées (nommage, droits d accès, liste de blocs) et serveurs de blocs de données (source : Paul Krzyzanowski) Systèmes et algorithmes répartis VI 76 / 76
Gestion répartie de données - 1
Gestion répartie de données - 1 Sacha Krakowiak Université Joseph Fourier Projet Sardes (INRIA et IMAG-LSR) http://sardes.inrialpes.fr/~krakowia Gestion répartie de données Plan de la présentation Introduction
Plus en détailGestion répartie de données - 1 Duplication et cohérence
École Doctorale de Grenoble Master 2 Recherche Systèmes et Logiciel Gestion répartie de données : bref historique (1) Gestion répartie de données - 1 Duplication et cohérence Sacha Krakowiak Université
Plus en détailLe Network File System de Sun (NFS)
1 sur 5 Le Network File System de Sun (NFS) Le Network File System de Sun (NFS) Architecture Protocoles Mounting Automounting vs Static mounting Directory et accès aux fichiers Problèmes Implémentation
Plus en détailSystèmes de fichiers répartis
Systèmes de fichiers répartis INF346 Samuel Tardieu sam@rfc1149.net Télécom ParisTech 16 mars 2012 Samuel Tardieu (Télécom ParisTech) Fichiers répartis 16 mars 2012 1 / 42 Introduction Pourquoi partager
Plus en détailSommaire. 3. Les grands principes de GFS L architecture L accès de fichier en lecture L accès de fichier en écriture Bilan
1 Sommaire 1. Google en chiffres 2. Les raisons d être de GFS 3. Les grands principes de GFS L architecture L accès de fichier en lecture L accès de fichier en écriture Bilan 4. Les Evolutions et Alternatives
Plus en détailConception des systèmes répartis
Conception des systèmes répartis Principes et concepts Gérard Padiou Département Informatique et Mathématiques appliquées ENSEEIHT Octobre 2012 Gérard Padiou Conception des systèmes répartis 1 / 37 plan
Plus en détail6 - Le système de gestion de fichiers F. Boyer, UJF-Laboratoire Lig, Fabienne.Boyer@imag.fr
6 - Le système de gestion de fichiers F. Boyer, UJF-Laboratoire Lig, Fabienne.Boyer@imag.fr Interface d un SGF Implémentation d un SGF Gestion de la correspondance entre la structure logique et la structure
Plus en détailLe modèle client-serveur
Le modèle client-serveur Olivier Aubert 1/24 Sources http://www.info.uqam.ca/~obaid/inf4481/a01/plan.htm 2/24 Historique architecture centralisée terminaux passifs (un seul OS, systèmes propriétaires)
Plus en détailRéplication des données
Réplication des données Christelle Pierkot FMIN 306 : Gestion de données distribuées Année 2009-2010 Echange d information distribuée Grâce à un serveur central Une seule copie cohérente Accès à distance
Plus en détailProgrammation parallèle et distribuée
Programmation parallèle et distribuée (GIF-4104/7104) 5a - (hiver 2014) Marc Parizeau, Département de génie électrique et de génie informatique Plan Mégadonnées («big data») Architecture Hadoop distribution
Plus en détailProgrammation parallèle et distribuée
Programmation parallèle et distribuée (GIF-4104/7104) 5a - (hiver 2015) Marc Parizeau, Département de génie électrique et de génie informatique Plan Données massives («big data») Architecture Hadoop distribution
Plus en détailProjet gestion d'objets dupliqués
Projet gestion d'objets dupliqués Daniel Hagimont Daniel.Hagimont@enseeiht.fr 1 Projet Service de gestion d'objets dupliqués Mise en cohérence lors de la prise d'un verrou sur un objet Pas de verrous imbriqués
Plus en détailSYSTÈME DE GESTION DE FICHIERS
SYSTÈME DE GESTION DE FICHIERS - DISQUE 1 Les couches logiciels réponse requête Requêtes E/S Système E/S Pilote E/S Interruptions utilisateur traitement S.E. commandes S.E. S.E. matériel Contrôleur E/S
Plus en détailSYSTÈME DE GESTION DE FICHIERS SGF - DISQUE
SYSTÈME DE GESTION DE FICHIERS SGF - DISQUE C.Crochepeyre MPS_SGF 2000-20001 Diapason 1 Les couches logiciels réponse SGF requête matériel matériel Requêtes E/S Système E/S Pilote E/S Interruptions Contrôleur
Plus en détail4. Utilisation d un SGBD : le langage SQL. 5. Normalisation
Base de données S. Lèbre slebre@unistra.fr Université de Strasbourg, département d informatique. Présentation du module Contenu général Notion de bases de données Fondements / Conception Utilisation :
Plus en détailSystèmes et algorithmes répartis
Systèmes et algorithmes répartis Tolérance aux fautes Philippe Quéinnec Département Informatique et Mathématiques Appliquées ENSEEIHT 4 novembre 2014 Systèmes et algorithmes répartis V 1 / 45 plan 1 Sûreté
Plus en détailWindows Internet Name Service (WINS)
Windows Internet Name Service (WINS) WINDOWS INTERNET NAME SERVICE (WINS)...2 1.) Introduction au Service de nom Internet Windows (WINS)...2 1.1) Les Noms NetBIOS...2 1.2) Le processus de résolution WINS...2
Plus en détailSystème de Gestion de Fichiers
Chapitre 2 Système de Gestion de Fichiers Le système de gestion de fichiers est un outil de manipulation des fichiers et de la structure d arborescence des fichiers sur disque et a aussi le rôle sous UNIX
Plus en détailLe stockage. 1. Architecture de stockage disponible. a. Stockage local ou centralisé. b. Différences entre les architectures
Le stockage 1. Architecture de stockage disponible a. Stockage local ou centralisé L architecture de stockage à mettre en place est déterminante pour l évolutivité et la performance de la solution. Cet
Plus en détailSGBDR. Systèmes de Gestion de Bases de Données (Relationnelles)
SGBDR Systèmes de Gestion de Bases de Données (Relationnelles) Plan Approches Les tâches du SGBD Les transactions Approche 1 Systèmes traditionnels basés sur des fichiers Application 1 Gestion clients
Plus en détailTechniques de stockage. Techniques de stockage, P. Rigaux p.1/43
Techniques de stockage Techniques de stockage, P. Rigaux p.1/43 Techniques de stockage Contenu de ce cours : 1. Stockage de données. Supports, fonctionnement d un disque, technologie RAID 2. Organisation
Plus en détailNFS Maestro 8.0. Nouvelles fonctionnalités
NFS Maestro 8.0 Nouvelles fonctionnalités Copyright Hummingbird 2002 Page 1 of 10 Sommaire Sommaire... 2 Généralités... 3 Conformité à la section 508 de la Rehabilitation Act des Etats-Unis... 3 Certification
Plus en détailL I V R E B L A N C P r o t ég e r l e s a p p l i c a t i o n s m ét i e r s c r i t i q u e s M a i n f r a m e, un b e s o i n c r u c i a l
Siège social : 5 Speen Street Framingham, MA 01701, É.-U. T.508.872.8200 F.508.935.4015 www.idc.com L I V R E B L A N C P r o t ég e r l e s a p p l i c a t i o n s m ét i e r s c r i t i q u e s M a i
Plus en détailDonnées Réparties. Thibault BERNARD. thibault.bernard@univ-reims.fr
Données Réparties Thibault BERNARD thibault.bernard@univ-reims.fr Sommaire Introduction Gestion de la concurrence Reprise après panne Gestion des données dupliquées Sommaire Introduction Gestion de la
Plus en détailService d'annuaire Active Directory
ROYAUME DU MAROC Office de la Formation Professionnelle et de la Promotion du Travail Service d'annuaire Active Directory DIRECTION RECHERCHE ET INGENIERIE DE FORMATION SECTEUR NTIC Sommaire 1. Description
Plus en détailBases de données documentaires et distribuées Cours NFE04
Bases de données documentaires et distribuées Cours NFE04 Cloud et scalabilité Auteurs : Raphaël Fournier-S niehotta, Philippe Rigaux, Nicolas Travers prénom.nom@cnam.fr Département d informatique Conservatoire
Plus en détailProgrammation parallèle et distribuée (Master 1 Info 2015-2016)
Programmation parallèle et distribuée (Master 1 Info 2015-2016) Hadoop MapReduce et HDFS Note bibliographique : ce cours est largement inspiré par le cours de Benjamin Renaut (Tokidev SAS) Introduction
Plus en détailChapitre VII : Principes des réseaux. Structure des réseaux Types de réseaux La communication Les protocoles de communication
Chapitre VII : Principes des réseaux Structure des réseaux Types de réseaux La communication Les protocoles de communication Introduction Un système réparti est une collection de processeurs (ou machines)
Plus en détailCours 13. RAID et SAN. 2004, Marc-André Léger
Cours 13 RAID et SAN Plan Mise en contexte Storage Area Networks Architecture Fibre Channel Network Attached Storage Exemple d un serveur NAS EMC2 Celerra Conclusion Démonstration Questions - Réponses
Plus en détailIntroduction à LDAP et à Active Directory... 15. Étude de cas... 37
Introduction à LDAP et à Active Directory... 15 Généralité sur l annuaire et LDAP... 16 Qu est-ce qu un annuaire?... 16 Un peu d histoire sur le protocole... 16 LDAP version 2 et version 3... 17 Le standard
Plus en détailNoSQL. Introduction 1/23. I NoSQL : Not Only SQL, ce n est pas du relationnel, et le contexte. I table d associations - Map - de couples (clef,valeur)
1/23 2/23 Anne-Cécile Caron Master MIAGE - BDA 1er trimestre 2013-2014 I : Not Only SQL, ce n est pas du relationnel, et le contexte d utilisation n est donc pas celui des SGBDR. I Origine : recherche
Plus en détailPlan du cours. Autres modèles pour les applications réparties Introduction. Mode de travail. Introduction
Plan du cours Autres modèles pour les applications réparties Introduction Riveill@unice.fr http://rangiroa.polytech.unice.fr Notre terrain de jeu : les systèmes répartis Un rappel : le modèle dominant
Plus en détailL annuaire et le Service DNS
L annuaire et le Service DNS Rappel concernant la solution des noms Un nom d hôte est un alias assigné à un ordinateur. Pour l identifier dans un réseau TCP/IP, ce nom peut être différent du nom NETBIOS.
Plus en détailRéseau Global MIDI Note applicative
Réseau Global MIDI Note applicative 1 But du manuel Le but de cette note applicative est de démystifié l utilisation du MIDI transporté dans un Réseau Global MIDI. Ce réseau virtuel offre sans aucune restriction,
Plus en détailBig Data. Les problématiques liées au stockage des données et aux capacités de calcul
Big Data Les problématiques liées au stockage des données et aux capacités de calcul Les problématiques liées au Big Data La capacité de stockage - Traitement : Ponctuel ou permanent? - Cycle de vie des
Plus en détailSystèmes d informations nouvelles générations. Répartition, Parallèlisation, hétérogénéité dans les SGBD. Exemple d application d un futur proche
Répartition, Parallèlisation, hétérogénéité dans les SGBD AI Mouaddib Département Informatique Université de Caen Systèmes d informations nouvelles générations! Constat :! Utilisation de nouveaux support
Plus en détailB1-4 Administration de réseaux
B1-4 Administration de réseaux Domain Name System (DNS) École nationale supérieure de techniques avancées B1-4 Administration de réseaux 1 / 29 Principe Chaque machine d un réseau IP est repérée par une
Plus en détailGestion de mémoire secondaire F. Boyer, Laboratoire Sardes Fabienne.Boyer@imag.fr
Gestion de mémoire secondaire F. Boyer, Laboratoire Sardes Fabienne.Boyer@imag.fr 1- Structure d un disque 2- Ordonnancement des requêtes 3- Gestion du disque - formatage - bloc d amorçage - récupération
Plus en détail«clustering» et «load balancing» avec Zope et ZEO
IN53 Printemps 2003 «clustering» et «load balancing» avec Zope et ZEO Professeur : M. Mignot Etudiants : Boureliou Sylvain et Meyer Pierre Sommaire Introduction...3 1. Présentation générale de ZEO...4
Plus en détailModule BDR Master d Informatique (SAR)
Module BDR Master d Informatique (SAR) Cours 9- Transactions réparties Anne Doucet Anne.Doucet@lip6.fr Transactions réparties Gestion de transactions Transactions dans un système réparti Protocoles de
Plus en détailCours de Système : Gestion de Fichiers
Cours de Système : Gestion de Fichiers Bertrand Le cun et Emmanuel Hyon bertrand.le cun{at}u-paris10.fr et Emmanuel.Hyon{at}u-paris10.fr Université Paris Ouest Nanterre 25 octobre 2011 B.L.C. & E.H. (UPO)
Plus en détailSauvegarde collaborative entre pairs Ludovic Courtès LAAS-CNRS
Sauvegarde collaborative entre pairs 1 Sauvegarde collaborative entre pairs Ludovic Courtès LAAS-CNRS Sauvegarde collaborative entre pairs 2 Introduction Pourquoi pair à pair? Utilisation de ressources
Plus en détailPrésentation Alfresco
Présentation d un CMS : Alfresco Présentation Alfresco Ludovic Plantin, Frédéric Sénèque, Xu Zhao Polytech Grenoble Décembre 2008 Plantin, Sénèque, Xu (Polytech) Présentation Alfresco Décembre 2008 1 /
Plus en détailBig Data. Cyril Amsellem Consultant avant-vente. 16 juin 2011. Talend 2010 1
Big Data Cyril Amsellem Consultant avant-vente 16 juin 2011 Talend 2010 1 Big Data Architecture globale Hadoop Les projets Hadoop (partie 1) Hadoop-Core : projet principal. HDFS : système de fichiers distribués
Plus en détailServeur Appliance IPAM et Services Réseaux
Page 1 Datasheet Serveur Appliance IPAM et Services Réseaux SIMPLIFER LE DEPLOIEMENT DE VOS ARCHITECTURES & DHCP Les services d adressage et de nommage sont au cœur de votre système d information, car
Plus en détailSur un ordinateur exécutant Windows 2000 Server Ayant une adresse IP statique
Le DNS DNS = Domain Name Service Sert à résoudre les noms d ordinateur en adresse IP. Contention de dénomination pour les domaines Windows 2000 (nommage des domaines W2K) Localisation des composants physiques
Plus en détailTP redondance DHCP. Gillard Frédéric Page 1/17. Vue d ensemble du basculement DHCP
Vue d ensemble du basculement DHCP Dans Windows Server 2008 R2, il existe deux options à haute disponibilité dans le cadre du déploiement du serveur DHCP. Chacune de ces options est liée à certains défis.
Plus en détailProtégez-vous du vol de données en renforçant la sécurité de vos procédures d identification lors des connexions distantes
L authentification forte multi-facteurs simplifiée sur votre mobile Protégez-vous du vol de données en renforçant la sécurité de vos procédures d identification lors des connexions distantes SMS PASSCODE
Plus en détailSystèmes de gestion de code source
Systèmes de gestion de code source Matthieu Herrb CNRS-LAAS Envol, 22 octobre 2008 http://www.laas.fr/~matthieu/talks/envol08-sgv.pdf Agenda 1 Introduction 2 Concepts d un système de gestion de version
Plus en détailServeurs de noms Protocoles HTTP et FTP
Nils Schaefer Théorie des réseaux (EC3a) Serveurs de noms Protocoles HTTP et FTP Théorie des réseaux (EC3a) Séance 7 Pourquoi DNS? Internet est une structure hiérarchique et arborescente de réseaux et
Plus en détailÉtendez les capacités de vos points de vente & sécurisez vos transactions.
Solutions VPN Point Of Sales by NBS System Étendez les capacités de vos points de vente & sécurisez vos transactions. NBS System 1999-2012, all right reserved Managed Hosting & Security www.nbs-system.com
Plus en détailAdministration de systèmes
Administration de systèmes Windows NT.2000.XP.2003 Copyright IDEC 2002-2004. Reproduction interdite. Sommaire... 2 Eléments logiques et physiques du réseau... 5 Annuaire et domaine... 6 Les utilisateurs
Plus en détailViSaGe. Virtualisation du Stockage dans les Grilles. Informatiques. RenPar 16, 6-8 Avril 2005 Thiebolt François thiebolt@irit.fr
1 ViSaGe Virtualisation du Stockage dans les Grilles Informatiques RenPar 16, 6-8 Avril 2005 Thiebolt François thiebolt@irit.fr IRIT Projet RNTL labellisé pré-compétitif Solution ViSaGe ViSaGe Accès transparent
Plus en détailLa virtualisation, des postes de travail
La virtualisation, des postes de travail W. Guyot-Lénat" Service Commun Informatique" UFR Sciences" Université Blaise Pascal" Menu" Mise en bouche : " présentation SCI" Petits mots de Gartner" Quelques
Plus en détailIDEC. Windows Server. Installation, configuration, gestion et dépannage
IDEC Windows Server Installation, configuration, gestion et dépannage Les deux tomes du manuel d installation, configuration gestion et dépannage vous sont fournis à la fois comme support de cours et comme
Plus en détailSystèmes d Exploitation - ENSIN6U3. Aix-Marseille Université
Systèmes d Exploitation - ENSIN6U3 Systèmes de gestion de fichiers - SGF Leonardo Brenner 1 Jean-Luc Massat 2 1 Leonardo.Brenner@univ-amu.fr 2 Jean-Luc.Massat@univ-amu.fr Aix-Marseille Université Faculté
Plus en détailUE5A Administration Réseaux LP SIRI
UE5A Administration Réseaux LP SIRI José Dordoigne Architecte infrastructure v1.0 2012-2013 Objectif de la formation -Fournir les éléments clés pour : -Comprendre les principaux services réseaux déployés
Plus en détailIntroduction à MapReduce/Hadoop et Spark
1 / 36 Introduction à MapReduce/Hadoop et Spark Certificat Big Data Ludovic Denoyer et Sylvain Lamprier UPMC Plan 2 / 36 Contexte 3 / 36 Contexte 4 / 36 Data driven science: le 4e paradigme (Jim Gray -
Plus en détailSystèmes d exploitation
Systèmes d exploitation Virtualisation, Sécurité et Gestion des périphériques Gérard Padiou Département Informatique et Mathématiques appliquées ENSEEIHT Novembre 2009 Gérard Padiou Systèmes d exploitation
Plus en détailServices OSI. if G.Beuchot. Services Application Services Présentation - Session Services Transport - Réseaux - Liaison de Données - Physique
Services OSI Services Application Services Présentation - Session Services Transport - Réseaux - Liaison de Données - Physique 59 SERVICES "APPLICATION" Architecture spécifique : ALS (Application Layer
Plus en détailLes transactions 1/46. I même en cas de panne logicielle ou matérielle. I Concept de transaction. I Gestion de la concurrence : les solutions
1/46 2/46 Pourquoi? Anne-Cécile Caron Master MAGE - SGBD 1er trimestre 2014-2015 Le concept de transaction va permettre de définir des processus garantissant que l état de la base est toujours cohérent
Plus en détailAnalyse et réalisation d un système de disques répartis à forte disponibilité
Université Paris 8 de Vincennes à Saint-Denis Département d Informatique Laboratoire d Intelligence Artificielle 2, rue de la liberté 93526 Saint Denis CEDEX 02 Tél : 01 49 40 64 04 Analyse et réalisation
Plus en détailWindows 2000: W2K: Architecture. Introduction. W2K: amélioration du noyau. Gamme windows 2000. W2K pro: configuration.
Windows 2000: Introduction W2K: Architecture Système d'exploitation multitâche multithread 32 bits à architecture SMP. Multiplateforme: intel x86, Compaq Alpha Jusqu'à 64 Go de mémoire vive Système d'exploitation
Plus en détailEMC AVAMAR. Logiciel et système de sauvegarde avec déduplication
EMC AVAMAR Logiciel et système de sauvegarde avec déduplication Avantages clés Les données sont dédupliquées à la source (client), avant leur transfert sur le réseau Idéal pour la protection des environnements
Plus en détailINF6500 : Structures des ordinateurs. Sylvain Martel - INF6500 1
INF6500 : Structures des ordinateurs Sylvain Martel - INF6500 1 Cours 4 : Multiprocesseurs Sylvain Martel - INF6500 2 Multiprocesseurs Type SISD SIMD MIMD Communication Shared memory Message-passing Groupe
Plus en détailLa surveillance réseau des Clouds privés
La surveillance réseau des Clouds privés Livre blanc Auteurs : Dirk Paessler, CEO de Paessler AG Gerald Schoch, Rédactrice technique de Paessler AG Publication : Mai 2011 Mise à jour : Février 2015 PAGE
Plus en détailFouillez facilement dans votre système Big Data. Olivier TAVARD
Fouillez facilement dans votre système Big Data Olivier TAVARD A propos de moi : Cofondateur de la société France Labs Développeur (principalement Java) Formateur en technologies de moteurs de recherche
Plus en détailGroupe Eyrolles, 2004 ISBN : 2-212-11504-0
Groupe Eyrolles, 2004 ISBN : 2-212-11504-0 Table des matières Avant-propos................................................ 1 Quel est l objectif de cet ouvrage?............................. 4 La structure
Plus en détailMEAD : temps réel et tolérance aux pannes pour CORBA
MEAD : un intergiciel temps-réel et tolérant aux pannes pour CORBA Master 2 Informatique Recherche Université de Marne-la-Vallée Vendredi 3 mars 2006 Plan 1 Introduction 2 Solutions existantes 3 Concilier
Plus en détailCartographie des solutions BigData
Cartographie des solutions BigData Panorama du marché et prospective 1 1 Solutions BigData Défi(s) pour les fournisseurs Quel marché Architectures Acteurs commerciaux Solutions alternatives 2 2 Quels Défis?
Plus en détailAcquisition des données - Big Data. Dario VEGA Senior Sales Consultant
Acquisition des données - Big Data Dario VEGA Senior Sales Consultant The following is intended to outline our general product direction. It is intended for information purposes only, and may not be incorporated
Plus en détailNetCrunch 6. Superviser
AdRem NetCrunch 6 Serveur de supervision réseau Avec NetCrunch, vous serez toujours informé de ce qui se passe avec vos applications, serveurs et équipements réseaux critiques. Documenter Découvrez la
Plus en détailChapitre 3 : Système de gestion de fichiers
: 3.1- Introduction Le système de gestion de fichiers (SGF) est la partie la plus visible d un système d exploitation qui se charge de gérer le stockage et la manipulation de fichiers (sur une unité de
Plus en détailCluster High Availability. Holger Hennig, HA-Cluster Specialist
Cluster High Availability Holger Hennig, HA-Cluster Specialist TABLE DES MATIÈRES 1. RÉSUMÉ...3 2. INTRODUCTION...4 2.1 GÉNÉRALITÉS...4 2.2 LE CONCEPT DES CLUSTERS HA...4 2.3 AVANTAGES D UNE SOLUTION DE
Plus en détailPrésentation du module Base de données spatio-temporelles
Présentation du module Base de données spatio-temporelles S. Lèbre slebre@unistra.fr Université de Strasbourg, département d informatique. Partie 1 : Notion de bases de données (12,5h ) Enjeux et principes
Plus en détailTechnologie SDS (Software-Defined Storage) de DataCore
Technologie SDS (Software-Defined Storage) de DataCore SANsymphony -V est notre solution phare de virtualisation du stockage, dans sa 10e génération. Déployée sur plus de 10000 sites clients, elle optimise
Plus en détailLes nouveautés d AppliDis Fusion 4 Service Pack 3
Les nouveautés d AppliDis Fusion 4 Service Pack 3 Systancia Publication : Novembre 2013 Résumé La nouvelle version AppliDis Fusion 4 Service Pack 3 ajoute des fonctionnalités nouvelles au produit AppliDis.
Plus en détailCréer et partager des fichiers
Créer et partager des fichiers Le rôle Services de fichiers... 246 Les autorisations de fichiers NTFS... 255 Recherche de comptes d utilisateurs et d ordinateurs dans Active Directory... 262 Délégation
Plus en détailTechnologie de déduplication de Barracuda Backup. Livre blanc
Technologie de déduplication de Barracuda Backup Livre blanc Résumé Les technologies de protection des données jouent un rôle essentiel au sein des entreprises et ce, quelle que soit leur taille. Toutefois,
Plus en détailVMWare Infrastructure 3
Ingénieurs 2000 Filière Informatique et réseaux Université de Marne-la-Vallée VMWare Infrastructure 3 Exposé système et nouvelles technologies réseau. Christophe KELLER Sommaire Sommaire... 2 Introduction...
Plus en détailMapReduce. Malo Jaffré, Pablo Rauzy. 16 avril 2010 ENS. Malo Jaffré, Pablo Rauzy (ENS) MapReduce 16 avril 2010 1 / 15
MapReduce Malo Jaffré, Pablo Rauzy ENS 16 avril 2010 Malo Jaffré, Pablo Rauzy (ENS) MapReduce 16 avril 2010 1 / 15 Qu est ce que c est? Conceptuellement Données MapReduce est un framework de calcul distribué
Plus en détailJava et les bases de données
Michel Bonjour http://cuiwww.unige.ch/~bonjour CENTRE UNIVERSITAIRE D INFORMATIQUE UNIVERSITE DE GENEVE Plan Introduction JDBC: API SQL pour Java - JDBC, Java, ODBC, SQL - Architecture, interfaces, exemples
Plus en détailMicrosoft Dynamics AX. Solutions flexibles avec la technologie Microsoft Dynamics AX Application Object Server
FLEXIBILITÉ Microsoft Dynamics AX Solutions flexibles avec la technologie Microsoft Dynamics AX Application Object Server Livre blanc Comment les entreprises peuvent-elles utiliser la technologie Microsoft
Plus en détailConfiguration automatique
Configuration automatique (/home/terre/d01/adp/bcousin/polys/internet:gestion_reseau/6.dhcp.fm- 29 Septembre 1999 12:07) PLAN Introduction Les principes de DHCP Le protocole DHCP Conclusion Bibliographie
Plus en détailEX4C Systèmes d exploitation. Séance 14 Structure des stockages de masse
EX4C Systèmes d exploitation Séance 14 Structure des stockages de masse Sébastien Combéfis mardi 3 mars 2015 Ce(tte) œuvre est mise à disposition selon les termes de la Licence Creative Commons Attribution
Plus en détailFAMILLE EMC VPLEX. Disponibilité continue et mobilité des données dans et entre les datacenters AVANTAGES
FAMILLE EMC VPLEX Disponibilité continue et mobilité des données dans et entre les datacenters DISPONIBLITÉ CONTINUE ET MOBILITÉ DES DONNÉES DES APPLICATIONS CRITIQUES L infrastructure de stockage évolue
Plus en détailCours Bases de données
Informations sur le cours Cours Bases de données 9 (10) séances de 3h Polycopié (Cours + TD/TP) 3 année (MISI) Antoine Cornuéjols www.lri.fr/~antoine antoine.cornuejols@agroparistech.fr Transparents Disponibles
Plus en détailLa Continuité d Activité
La virtualisation VMware vsphere au service de La Continuité d Activité La virtualisation VMware vsphere La virtualisation et la Continuité d Activité La virtualisation et le Plan de Secours Informatique
Plus en détailCours des réseaux Informatiques (2010-2011)
Cours des réseaux Informatiques (2010-2011) Rziza Mohammed rziza@fsr.ac.ma Supports Andrew Tanenbaum : Réseaux, cours et exercices. Pascal Nicolas : cours des réseaux Informatiques, université d Angers.
Plus en détailVeeam Backup & Replication v6
Veeam Backup & Replication v6 Encore plus de bonnes raisons de choisir Veeam Release contents subject to change prior to general availability (GA) Nouveautés de la v6 Scalabilité Entreprise Réplication
Plus en détailServices Réseaux - Couche Application. TODARO Cédric
Services Réseaux - Couche Application TODARO Cédric 1 TABLE DES MATIÈRES Table des matières 1 Protocoles de gestion de réseaux 3 1.1 DHCP (port 67/68)....................................... 3 1.2 DNS (port
Plus en détailau Centre Inter-établissement pour les Services Réseaux Cédric GALLO
au Centre Inter-établissement pour les Services Réseaux Cédric GALLO En théorie Introduction Présentation de l ESXi VMFS Virtual Center Vsphere Client Converter Vmotion High Availability/DRS/DPM Gestion
Plus en détailProgrammation parallèle et distribuée
ppd/mpassing p. 1/43 Programmation parallèle et distribuée Communications par messages Philippe MARQUET Philippe.Marquet@lifl.fr Laboratoire d informatique fondamentale de Lille Université des sciences
Plus en détailProtéger une machine réelle derrière une machine virtuelle avec pfsense
Protéger une machine réelle derrière une machine virtuelle avec pfsense Je vous présente un petit tutoriel sur la façon d utiliser pfsense au sein de VirtualBox comme passerelle pour votre machine Windows
Plus en détailVigiClé Système «KeyWatcher»
DOSSIER TECHNIQUE VigiClé Système «KeyWatcher» SOMMAIRE DESCRIPTION DU «VigiClé» 1.1 Sécurisez vos clés 1.2 Remise des clés 1.3 Les différents modèles 1.4 Spécifications techniques PORTE-CLES 2.1 Conception
Plus en détailLes Content Delivery Network (CDN)
Les Content Delivery Network (CDN) Paris Californie : + 45 ms Paris Sidney : + 85 ms Amazon : 100 ms de temps de chargement supplémentaires 1% de ventes en moins Poids moyen des pages d'accueil : 2000
Plus en détailJRES 2007 Solution de stockage répartie sur les centres de recherche INRIA, à base de serveurs de fichiers de type «NAS»
JRES 2007 Solution de stockage répartie sur les centres de recherche INRIA, à base de serveurs de fichiers de type «NAS» 1 Laurent Mirtain, Jean-Luc Szpyrka Novembre 2007 v1.3.2 Date 1 2 JRES 2007 : Solution
Plus en détailJulien MATHEVET Alexandre BOISSY GSID 4. Rapport RE09. Load Balancing et migration
Julien MATHEVET Alexandre BOISSY GSID 4 Rapport Load Balancing et migration Printemps 2001 SOMMAIRE INTRODUCTION... 3 SYNTHESE CONCERNANT LE LOAD BALANCING ET LA MIGRATION... 4 POURQUOI FAIRE DU LOAD BALANCING?...
Plus en détailC-JDBC. Emmanuel Cecchet INRIA, Projet Sardes. http://sardes.inrialpes.fr
Emmanuel Cecchet INRIA, Projet Sardes http://sardes.inrialpes.fr Plan Motivations Idées principales Concepts Caching Perspectives /ObjectWeb 15 octobre 2002 Emmanuel.Cecchet@inrialpes.fr 2 - Motivations
Plus en détailFAMILLE EMC VPLEX. Disponibilité continue et mobilité des données dans et entre les datacenters
FAMILLE EMC VPLEX Disponibilité continue et mobilité des données dans et entre les datacenters DISPONIBILITE CONTINUE ET MOBILITE DES DONNEES DES APPLICATIONS CRITIQUES L infrastructure de stockage évolue
Plus en détail