Prototypage et évaluation de performances d un service de traçabilité avec une architecture distribuée basée sur Hadoop

Dimension: px

Commencer à balayer dès la page:

Download "Prototypage et évaluation de performances d un service de traçabilité avec une architecture distribuée basée sur Hadoop"

Marianne Boisvert
il y a 8 ans
Total affichages :

1 Prototypage et évaluation de performances d un service de traçabilité avec une architecture distribuée basée sur Hadoop Soutenance de projet ASR 27/01/2011 Julien Gerlier Siman Chen Encadrés par Bruno Defude Elisabeth Brunet Amin Sakka

Hadoop Soutenance de projet ASR 27/01/2011 Julien Gerlier

2 Sommaire I. Présentation du projet II. Cassandra III. Hadoop IV. Mise en place du prototype V. Difficultés rencontrées 2

sur les documents Système de traçabilité Objectif: distribuer le

3 Présentation du projet Dématérialisation des gestions de documents des entreprises Nécessité de mémoriser les opérations effectuées sur les documents Système de traçabilité Objectif: distribuer le service de traçabilité Technologies envisagées : Cassandra & Hadoop 3

4 Cassandra Base NoSQL Base de données classique: orientée lignes Cassandra: orientée colonnes Adaptée aux évolutions horizontales Elements clés:»keyspace»column»supercolumn»columnfamily 4

5 Cassandra -Column Triplet: Nom, Valeur, Timestamp Exemple avec la notation de JSON: { // this is a column name: " address", value: "arin@example.com", timestamp:

{ // this is a column name: "emailaddress",

6 Cassandra - SuperColumn Paire Nom/Valeur Valeur=un ensemble de columns en nombre non limité { // this is a SuperColumn name: "homeaddress", // with an infinite list of Columns value: { // note the keys is the name of the Column street: {name: "street", value: "1234 x street", timestamp: , city: {name: "city", value: "san francisco", timestamp: , zip: {name: "zip", value: "94107", timestamp: , Après simplification: homeaddress: { street: "1234 x street", city: "san francisco", zip: "94107", 6

value: "1234 x street", timestamp: 123456789, city: {name: "city", value: "san francisco", timestamp: 123456789, zip: {name:

7 Cassandra - ColumnFamily Contenu des columnfamilies de type standard: infinité de lignes de colomns UserProfile = { // this is a ColumnFamily phatduckk: { // this is the key to this Row inside the CF // now we have an infinite # of columns in this row username: "phatduckk", "phatduckk@example.com", phone: "(900) ", // end row ieure: { // this is the key to another row in the CF // now we have another infinite # of columns in this row username: "ieure", "ieure@example.com", phone: "(888) " age: "66", gender: "undecided", 7

8 Cassandra En résumé 8

9 { Cassandra Structure de LX Track "Document" (SCF) { RowKey: ApplicationReference { SCKey: OwnerReference { {name:"tuuid" value: TUUID {name: form, value: FingerPrint "Track" (SCF) { RowKey: "Declaration" { SCKey: TUUID { {name: timestamp, value: declarationcontent RowKey: "Document" { SCKey: TUUID { {name: ApplicationReference, value: OwnerReference RowKey: "Fingerprint" { SCKey: TUUID { {name: form, value: FingerPrint "Fingerprint" (SCF) { RowKey: "Document" { SCKey: FingerPrint { {name: ApplicationReference, value: OwnerReference RowKey: "Track" { SCKey: FingePrint { {name: algorithm, value: TUUID 9

{ {name: ApplicationReference, value: OwnerReference RowKey: "Fingerprint" { SCKey: TUUID { {name: form, value: FingerPrint "Fingerprint" (SCF) {

10 Hadoop Système de fichiers distribué associé: HDFS Grande tolérance aux fautes Faibles coûts Haut débit d accès aux données Adapté pour les applications qui nécessitent de grands groupes de données Chaque fichier est divisé en bloc de 64 MB par défaut => convient mieux aux fichiers de grande taille Adapté à de grande scalabilité, aux gros clusters 10

grands groupes de données Chaque fichier est divisé en bloc de 64 MB par défaut =>

11 Hadoop 11

12 Hadoop Gestion des données et des Jobs 12

13 Hadoop Gestion des données et des Jobs 13

14 Hadoop Map Reduce Opération Map: produit une paire clé/valeur intermédiaire pour chaque paire de clé/valeur reçue en entrée la librairie MapReduce groupe toutes les clés intermédiaires associées à la même valeur d entrée et les passe à la fonction Reduce. L'opération Reduce: fusionne les valeurs d'une même clé intermédiaire afin de renvoyer un unique couple clé intermédiaire/valeur en sortie. Exemple classique: WordCount 14

même valeur d entrée et les passe à la fonction Reduce.

15 Test : insertion dans Cassandra Insertion massive de données dans Cassandra 5 machines : insertions Problème de flush sur le disque 15

16 Mise en place de l architecture Hadoop/Cassandra Cassandra et Hadoop mis en place individuellement Objectif : interroger Cassandra via Hadoop Recherche de traces Récupération massives de méta-données Echec : problème de compatibilité? 16

interroger Cassandra via Hadoop Recherche de traces

17 Difficultés rencontrées Technologies nouvelles encore en développement Peu de documentation Encore des problèmes de compatibilité Nécessite un matériel performant Possibilité de s orienter vers Hbase : plus adapté à Hadoop 17

de compatibilité Nécessite un matériel performant

18 Conclusion Des technologies au fort potentiel Des connaissances précieuses Maitriser la configuration est primordiale Un peu de frustration : échec de la mise en place du prototype Majorité du temps passée à configurer Limités par le matériel 18

primordiale Un peu de frustration : échec de la mise en place

Documents pareils

Prototypage et évaluation de performances d un service de traçabilité avec une architecture distribuée basée sur Hadoop

Julien Gerlier Siman Chen Rapport de projet de fin d étude ASR 2010/2011 Prototypage et évaluation de performances d un service de traçabilité avec une architecture distribuée basée sur Hadoop Encadrants