Proposition d une grille d analyse pour la composition de systèmes P2P adaptés aux contextes applicatifs

Transcription

1 Institut Charles Delaunay (ICD) UMR 6279 École doctorale SSTO Proposition d une grille d analyse pour la composition de systèmes P2P adaptés aux contextes applicatifs THÈSE présentée et soutenue publiquement le 6 décembre 2012 pour l obtention du Doctorat de l Université de Technologie de Troyes (spécialité Réseaux, Connaissances et Organisations RACOR) par Frédéric Merle Composition du jury Président : M. Pascal Lorenz Professeur des Universités Rapporteurs : Mme Elena Mugellini Professeur des Universités M. Ahmed Serhrouchni Professeur des Unuversités Examinateurs : M. Aurélien Bénel Maître de Conférences M. Grégory Bonnet Maître de Conférences M. Guy Pujolle Professeur des Universités Directrice de thèse : Mlle Dominique Gaïti Professeur des Universités

2 Mis en page avec la classe thloria.

3 Remerciements Je tiens d abord à remercier ma directrice de thèse professeur Dominique Gaïti pour avoir crue en moi et m avoir soutenue pendant ces quatre longues années. Je remercie professeur Pascal Lorenz d avoir présidé mon jury de thèse ainsi que professeur Ahmed Serhrouchni et professeur Élena Mugellini d avoir accepter d être rapporteur de ma thèse ainsi que le professeur Guy Pujolle et les maitres de conférences Aurélien Bénel et Gregory Bonnet de m avoir fait l honneur de l examiner. Je voudrais aussi remercier l ensemble de mes amis et collègues que j ai rencontrés pendant ces années de doctorat et plus particulièrement Yann Barloy, Matthieu Tixier, Myriam Lewkowicz, Gergory Bonnet, Aurélien Bénel, Christophe Poirier, Caroline Serta, Isabelle Martin, Marie-Florence Reveneau et Tiffany Gaubert ainsi que tous les autres que j oublie. Je remercie aussi Loïc Corbasson et Thomas Raynal qui me soutiennent et subissent mon orthographe calamiteuse depuis de nombreuses années maintenant. Enfin, je souhaiterais remercier ma famille et plus particulièrement mes parents qui me soutienne et m encourage à aller toujours plus loin. i

4

5 TABLE DES MATIÈRES Table des figures Liste des tableaux xi xiii Chapitre 1 Le modèle P2P : une alternative au modèle Client/Serveur Les systèmes distribués Modèles de distribution Modèle Clients/Serveur Modèle P2P Portée de la distribution Réseau dédié Réseau préexistant Définition des systèmes P2P Développement des systèmes P2P Répondre à des besoins émergents Passage à l échelle Tolérance aux pannes Décentralisation Les premiers systèmes P2P Les premières applications Les systèmes théoriques Domaines d applications des systèmes P2P iii

6 Table des matières Middleware Système de recherche documentaire Système de stockage sécurisé Système de travail collaboratif Système de calculs distribués Système de diffusion de données Développement des systèmes P2P dans l industrie Google Microsoft Amazon Émergence du Cloud Computing Bilan de 12 années de développement des systèmes P2P Multiplication des systèmes Pour chaque compromis sur les performances Pour chaque contexte applicatif Limites des classifications proposées Conclusion Chapitre 2 Analyse fonctionnelle des systèmes P2P existants Principes d analyses : une division des systèmes en trois couches fonctionnelles Couche d adaptation du réseau hôte Couche d indexation des ressources Couche application Classification des différentes approches utilisées dans les systèmes P2P Couche d adaptation du réseau hôte Serveur d adressage Les overlays Couche d indexation Index global Index locaux Index partagés Index distribué Couche application Partage de données iv

7 Traitements distribués Conclusion Chapitre 3 Proposition d une grille d analyse pour l aide à la conception des systèmes P2P Analyse des propriétés fonctionnelles et non fonctionnelles Couche application Le partage de données Contraintes de latence Absence de connaissances à priori sur les destinataires des données Distribution des traitements Contraintes au niveau du temps de calcul Taux de parallélisation du traitement élevé Grille d analyse de la couche application Couche d indexation Passage à l échelle Tolérance aux pannes Schéma de recherche Recherches exactes Recherches floues Résultat des recherches Complétude Tolérance aux erreurs Placement des métadonnées La confidentialité Nomadisme des ressources Coût de maintenance Grille d analyse de la couche d indexation Couche d adaptation du réseau hôte Passage à l échelle Tolérance aux pannes Découverte des pairs Par propriétés Par identifiant v

8 Table des matières Quantité de messages transmis Latence De la recherche De la transmission La non-imputabilité des actions Capacité de répudiation Obscurcissement Grille d analyse de la couche d adaptation du réseau hôte Interdépendance entre les approches Conclusion Chapitre 4 Deux études de cas pour évaluer notre grille d analyse Le cas d un système de fournisseur de services à l habitat Les systèmes de fournisseur de services à l habitat Les services à l habitat Home Area Networks Smart grids Différentes instanciations actuellement commercialisées en France Proposition d un modèle générique d un système de fournisseur de services à l habitat Le fournisseur de services Les sites Le client Conclusion sur l étude du cas d un fournisseur de services à l habitat Le cas des archives scientifiques Les archives scientifiques Objectifs de l archivage Conservation des documents numériques Accessibilité des documents numériques Théorie des trois âges Les archives courantes Les archives semi-courantes Les archives définitives vi

9 4.2.4 Le cahier de laboratoire numérique Archivage des documents numériques Outil de travail pour les chercheurs Les cahiers de laboratoire actuellement disponibles Conclusion sur l étude du cas des archives scientifiques Conclusion Chapitre 5 Proposition d un système P2P pour un fournisseur de services à l habitat Besoins spécifiques associés à un système pour un fournisseur de services à l habitat Besoins architecturaux Passage à l échelle Haute disponibilité Considération financières Besoins fonctionnels Gestion des communications de groupe Supervision Adéquation d un système P2P avec les besoins Étude des systèmes P2P existants répondant aux besoins fonctionnels Les systèmes de multicast applicatif en P2P Les systèmes de supervision en P2P Analyse de l adéquation des systèmes existants par rapport au cas d étude Proposition du système Définition des propriétés et contraintes à considérer Propriétés architecturales Propriétés liées aux besoins Utilisation de notre grille d analyse Couche application Couche d indexation Couche d adaptation du réseau hôte Vue d ensemble du système Validation du système proposé Support du passage à l échelle vii

10 Table des matières Tolérance aux pannes Latence des communications Quantité de messages transmis par les habitats Bilan de la comparaison Conclusion Chapitre 6 Proposition d un système P2P pour les archives scientifiques Besoins définis dans le cadre du projet sur les cahiers de laboratoire numérique Préservation des documents Système de gestion de révision Recherche documentaire Conservation des pratiques de travail Étude des systèmes P2P existants répondant aux besoins du projet Systèmes P2P de stockage sûr Système P2P de recherche documentaire Systèmes P2P de travail collaboratif Analyse de l adéquation des systèmes existants par rapport au cas d étude Proposition du système Définition des propriétés et contraintes à considérer Architecture adaptée à l organisation du travail des utilisateurs Gestion de tout type de document Sécurité du système Le partage documentaire Utilisation de notre grille d analyse Couche application Couche d indexation Couche d adaptation du réseau hôte Vue d ensemble du système proposé Comparaison avec d autres approches existantes Traitement des requêtes Nombre de pairs contactés viii

11 Quantité de données transmises Complexité des traitements Nombre minimum de pannes pouvant entrainer un résultat incomplet Taille de l index Bilan de la comparaison Conclusion Références 151 Annexes 165 États de l art spécifiques aux besoins des différents contextes applicatifs considérés Les systèmes de multicast applicatif en P2P Les approches par arbre Les approches mesh en premier Les approches arbre en premier Les approches par rumeur Comparaison des systèmes Les systèmes de supervision distribuée en P2P Les approches par arbre Les approches par rumeur Les approches hiérarchiques Comparaison des systèmes Systèmes P2P de stockage sûr OceanStore Glacier Total Recall Comparaison des systèmes Système P2P de recherche documentaire Approche par mots-clefs Attribution des mots-clefs Distribution de l index ix

12 Table des matières 3.7 Approche par similarité Réduction des espaces métriques Navigation dans les espaces métriques Comparaison des systèmes Systèmes P2P de travail collaboratif x

13 TABLE DES FIGURES 1.1 Classification des systèmes informatiques Différence au niveau du réseau hôte entre une grappe de calculs et un système P2P Segmentation des systèmes P2P en trois couches fonctionnelles Utilisation d un serveur d adressage pour l adaptation du réseau hôte. Chaque pair est connecté au serveur afin de localiser les autres pairs du système et créer des connexions ad hoc les uns avec les autres Représentation d un overlay. Chaque pair maintient un nombre limité de connexions avec d autres pairs du système afin de transmettre les messages de pair en pair jusqu à atteindre sa destination Organisation d un overlay hiérarchisé. Les pairs feuilles sont connectés à des super-pairs (représenté ici par des serveurs) qui sont eux-mêmes interconnectés les uns aux autres par un overlay. Ces deux niveau d overlay sont utilisés pour retrouver un pair particulier dans le système afin de créer une connexion directe avec lui pour s échanger des informations A) Représentation des liens courts entre les pairs dans un espace métrique utilisant une distance de Manhattan sur 2 dimensions. B) Représentation des liens longs d un pair sur cette espace métrique Répartition des liens du pair P 0 dans le système Chord Diffusion d une requête sur un overlay hiérarchisé utilisant un index partagé. Les super-pairs (en rouge) ne transmettent la requête qu aux autres super-pairs et aux pairs feuilles possédant le document recherché Répartition de l index entre les pairs en fonction de leur empreintes généré par SHA-1 dans le système Chord Distribution des fragments de données depuis un serveur vers les pairs afin qu ils exécutent les traitements sur ces données en parallèle xi

14 Table des figures 2.10 Exécution des traitements sur un flux de données pendant son acheminement de pair en pair depuis sa source jusqu à sa destination Modèle d architecture d un Home Area Network Modèle d architecture de service au sein de l habitat dans les Smart Grids Modèle conceptuel d architecture de fournisseur de services au sein de l habitat Représentation du fournisseur de services dans le modèle conceptuel représentation d un site dans le modèle conceptuel représentation des interactions de l utilisateurs avec les différents acteurs du modèle Modèle générique d architecture de système de fournisseur de services à l habitat Représentation du système avec les trois types d entités qui le compose Organisation de notre système P2P avec un espace métrique à deux dimensions basées sur la localisation géographique des habitats. Les super-pairs du systèmes qui composent le bus de services par des liens courts en noir et des liens longs en rouge. Les points verts sur l espace métrique qui sont reliés au centres de calculs correspondent aux coordonnées de leurs connexions dans l espace métrique Encodage et distribution des documents selon le modèle d Intermemory Résolution d une recherche de zone par un système P2P reposant sur la navigation dans un espace métrique Structure de notre index pour la recherche par mots-clefs L organisation et les interaction entre les trois index sans sémantique et un utilisateur Encodage et distribution des documents selon le modèle d Intermemory Recherche par mots-clefs sur un index distribué par documents Recherche par mots-clefs sur un index distribué par terme Résolution d une recherche de zone par un système P2P reposant sur la navigation dans un espace métrique xii

15 LISTE DES TABLEAUX 2.1 Exemples de systèmes P2P existant pour chaque combinaison d approches d adaptation du réseau hôte et d indexation Incompatibilités des besoins et contraintes dégagés pour la couche application Types d approches associées aux besoins et contraintes dégagés Incompatibilités des besoins et contraintes dégagés pour la couche application Types d approches associées aux besoins et contraintes dégagés Incompatibilités des besoins et contraintes dégages pour la couche application Types d approches associées aux besoins et contraintes dégages Grille d analyse des synergies entre les approches de la couche indexation et adaptation du réseau hôte. Les cases vides correspondent à des relations neutres Grille d analyse des synergies entre les approches de la couche d application et adaptation du réseau hôte. Les cases vides correspondent à des relations neutres récapitulatif des offres de services de gestion de l énergie au sein de l habitat en France Influence de l augmentation du nombre de clients et de services sur le système Présentation des différents événements pouvant affecter la disponibilité du système Comparaison des systèmes de multicast applicatif Comparaison des systèmes d agrégation Choix d une approche pour l indexation des habitats Choix d une approche pour l indexation des services Types d approches associées aux besoins et contraintes dégages Comparaison des performances obtenues par les trois approches considérées 119 xiii

16 Liste des tableaux 6.1 Comparaison des systèmes de stockage sûr Comparaison des systèmes de recherche documentaire par mots-clefs avec N le nombre de pairs, R le nombre de termes présent dans la requête, T D le nombre moyen de termes par documents et D T le nombre moyen de documents par terme Comparaison des systèmes de recherche documentaire par similarité Performances des approches possibles au niveau de la couche d indexation Types d approches associées aux besoins et contraintes dégages Performance des approches d adaptation du réseau hôte par rapport aux besoins du système Croissance de la taille de l index en fonction de l approche de distribution retenue Comparaison des performances de notre approche hybride par rapport aux approches par documents et par termes Comparaison des systèmes de multicast applicatif Comparaison des systèmes d agrégation Comparaison des systèmes de stockage sûr Comparaison des systèmes de recherche documentaire par similarité Comparaison des systèmes de recherche documentaire par mots-clefs avec N le nombre de pairs, R le nombre de termes présent dans la requête, T D le nombre moyen de termes par documents et D T le nombre moyen de documents par terme xiv

17 INTRODUCTION Avec la démocratisation de l Internet et le développement des systèmes distribué à très large échelle, le modèle pair-à-pair, ou P2P, s est imposé comme une alternative au modèle Clients/Serveur. En effet, le modèle P2P permet de répondre à des limites inhérentes au caractère centralisé du modèle Clients/Serveur, comme le support du passage à l échelle ou la tolérance aux pannes. Ainsi, depuis le début des années 2000, le développement de systèmes basés sur le modèle P2P a connu un essor très important, conduisant à la proposition de nombreux systèmes différents. Parmi ces systèmes, on peut distinguer deux grandes catégories, les systèmes génériques développés entre les années 2000 et 2005 et les systèmes spécifiquement développés pour répondre à des contextes applicatifs particuliers. Ces derniers correspondent principalement à des systèmes P2P génériques développés précédemment auxquels des optimisations ont été apportées pour répondre aux besoins spécifiques du contexte ciblé. Or une grande partie des optimisations proposées dans les systèmes développés depuis 2005 sont difficilement réutilisables en l état. En effet, ces optimisations sont généralement intégrées à un système générique afin de présenter un système complet adapté à un contexte applicatif. De ce fait, il est difficile de déterminer l utilisabilité d une optimisation en dehors du système spécifique dans laquelle elle a été développée. La question qui se pose est donc de trouver un moyen pour faciliter la réutilisabilité des nombreuses optimisations et concepts développés depuis les années 2000 afin de composer des systèmes P2P adaptés à des contextes applicatifs variés à partir de l existant. La solution à ce problème est d analyser cet existant afin d identifier les composants fondamentaux d un système P2P et ainsi de dégager les différentes approches qui ont été développées pour chacun de ces composants. Or, bien que de nombreux états de l art sur les systèmes P2P aient été proposés depuis 2005, ils se contentent de classer les systèmes en fonction d un nombre limité de propriétés macroscopiques. Si ces classifications permettent de différentier des types de systèmes P2P, elles ne sont pas assez fines pour mettre en évidence les ensembles de fonctionnalités qui les composent. 1

18 Liste des tableaux Fort de ce constat, nous proposons une nouvelle classification basée sur un découpage fonctionnel des systèmes P2P. En effet, en découpant ces systèmes en différents blocs fonctionnels communs à l ensemble des systèmes P2P existant, chacun de ces blocs devient indépendamment des autres. Cela permet de dégager les types d approches ayant été développés pour chacun de ces blocs fonctionnels, mais aussi de faciliter la réutilisation de l existant en combinant des approches de différents blocs. De même, pour chacune des approches dégagées pour chacun des blocs fonctionnels, il est possible d identifier les optimisations qui s y rapportent et ainsi de caractériser leur impact et les conditions dans lesquelles elles peuvent être réutilisées. Cette classification permet donc de représenter l existant plus finement que celles précédemment proposées de sorte à mettre en évidence des blocs fonctionnels réutilisable pour la conception de nouveaux systèmes P2P. Afin d exploiter les nouvelles possibilités qui ont été mises en évidence par notre classification, nous avons analysé les propriétés des approches que nous avons dégagées pour chacun des blocs fonctionnels qui composent un système P2P. À partir de cette analyse, nous arrivons à déterminer quelle composition d approches est la plus adaptée pour répondre à un ensemble de besoins donné. De même, si aucune solution existante ne permet de répondre à l ensemble des besoins, notre analyse permet de déterminer au niveau de quel bloc fonctionnel il faut développer une nouvelle approche et de faciliter son utilisation dans d autres systèmes P2P. Nous avons organisé cette nouvelle connaissance sous la forme d une grille d analyse afin de proposer un outil d aide à la conception de systèmes P2P qui puisse être utilisé même par quelqu un qui ne possèderait que peu de connaissances sur le domaine. Afin d évaluer la pertinence de notre grille d analyse, nous l utilisons pour proposer des systèmes P2P adaptés à deux contextes applicatifs distincts, un système de service à l habitat et un système d archivage scientifique. Ces deux contextes correspondent à des ensembles de besoins très différents et permettent de montrer les apports de notre approche. Ainsi, dans l un des cas, notre grille d analyse permet de mettre en évidence une solution précédemment développée pour un contexte applicatif très différent. Dans le deuxième cas, l utilisation de la grille d analyse permet d identifier un manque dans l existant et de proposer une solution simple et adaptée pour répondre aux besoins exprimés. Le premier chapitre de cette thèse est consacré à une présentation des systèmes P2P et d une vue d ensemble des travaux effectués dans le domaine depuis le début des années Dans le deuxième chapitre, nous présentons l analyse fonctionnelle des systèmes P2P existants et la classification qui en découle. Le chapitre 3 présente notre grille d analyse d aide à la composition de systèmes P2P basée sur l étude des propriétés des différentes approches dégagées dans le chapitre précédent. Dans le chapitre 4, nous présentons les deux contextes applicatifs sur lesquels nous avons testé notre grille d analyse, à savoir : les services à l habitat et les archives scientifiques. Dans le chapitre 5, nous présentons l utilisation de notre grille d analyse pour le cas du système de service à l habitat, avec une description et une analyse des performances du système que nous avons obtenu. 2

19 Enfin, le chapitre 6 est consacré à l étude relative au cas des archives scientifiques, avec l utilisation de notre grille d analyse, la présentation du système obtenu et l évaluation de ses performances. 3

20

21 CHAPITRE 1 LE MODÈLE P2P : UNE ALTERNATIVE AU MODÈLE CLIENT/SERVEUR Dans ce chapitre, nous présentons le modèle pair à pair, aussi appelé modèle P2P, et ses spécificités par rapport aux autres modèles de systèmes distribués. Après avoir défini les propriétés fondamentales d un système P2P, nous présentons d un point de vue historique le développement de ces systèmes au cours des douze dernières années. Cette présentation regroupe les premiers travaux effectués sur le domaine ainsi que les différents contextes applicatifs dans lesquels ils ont été utilisés et les projets industriels qui en ont découlé. Enfin, nous finirons ce chapitre sur une analyse critique de cet existant et principalement sur le manque de rationalisation du domaine, rendant difficilement exploitable l abondante production scientifique de ces douze dernières années. 1.1 Les systèmes distribués On distingue deux grands types de systèmes informatiques, les systèmes centralisés et les systèmes distribués (Fig. 1.1) [21]. Les premiers correspondent au cas où l ensemble des traitements et données nécessaire à la réalisation d un service est effectué sur la machine utilisateur elle-même. Pour les systèmes distribués, tout ou partie de ces traitements et données sont déportés sur une ou plusieurs machines distantes. Nous ne nous intéresserons dans ces travaux qu à ce dernier type de système. Parmi les systèmes distribués, il existe plusieurs sous-types de système que l on peut distinguer en fonctions de certaines spécificités. Nous considérerons ici deux de ces spécificités : le modèle de distribution et la portée de cette distribution. En effet, ces deux spécificités permettent de distinguer les principales approches de construction d un système distribué existant. 5

22 Chapitre 1. Le modèle P2P : une alternative au modèle Client/Serveur Figure 1.1 Classification des systèmes informatiques Modèles de distribution Le modèle de distribution correspond à la façon dont sont répartis les données et traitements nécessaires au système entre les différents acteurs qui le composent. Nous distinguerons ainsi deux modèles, le modèle Clients/Serveur et le modèle P2P (Fig. 1.1) Modèle Clients/Serveur Paradoxalement, ce modèle, qui est le plus répandu, correspond aussi à un cas limite des systèmes distribués. En effet, dans un modèle Clients/Serveur, tous les données et traitements nécessaires au système sont centralisés au niveau d une machine distante appelée serveur. Les ressources des machines utilisateurs, que l on appelle client, ne sont alors utilisées que pour interroger le serveur et afficher les réponses qu il retourne. Le principal avantage de ce modèle est sa simplicité. En effet, regrouper l intégralité des données et traitements sur une même machine, facilite l implémentation de nouveaux services. De même, la gestion du système se limite uniquement à la gestion du serveur, son possesseur ayant alors tout contrôle sur le système [46]. À l inverse, ce modèle est limité par cette même centralisation des ressources [150]. En effet, le serveur devient un point unique de rupture pour le système dans le sens où si le serveur devient indisponible, le service n est plus disponible pour les clients. De même, le serveur ayant des ressources limitées, le nombre de clients pouvant simultanément accéder au service est lui-même limité. Ce modèle ne supporte donc pas le passage à l échelle en nombre de clients Modèle P2P Le modèle pair-à-pair correspond à la mutualisation des données et/ou des capacités de traitement entre l ensemble des participants du système. Ainsi, chaque machine qui participe au système est à la fois client et serveur de celui-ci. 6