Module BDWEB Master Informatique Spécialité IAD

Transcription

1 Module BDWEB Master Informatique Spécialité IAD Cours 4 Répartition des données Anne Doucet Anne.Doucet@lip6.fr 1

2 Architectures Réparties Définition et motivation Conception Fragmentation Réplication Traitement des requêtes 2

3 Motivations Limites des architectures centralisées : Données des entreprises disséminées sur plusieurs sites (banques, sociétés, compagnies de transport, ) Goulot d étranglement Développement des réseaux Besoin de fédérer les bases de données 3

4 Principe Coopération entre plusieurs bases : BD locales, avec des accès locaux rapides, et des accès aux autres SGBD du réseau (accès globaux). Plusieurs niveaux d intégration : Client/serveur : BD centralisée, seuls certains traitements (interface, p.ex.) sont locaux. Accès distant (Remote Data Access) : accès simultané à plusieurs bases de données locales Vues réparties : extension du mécanisme de vues pour définir des vues sur plusieurs sites. 4

5 Définitions (1) Bases de données interopérables Coopération, mais pas d intégration. Les bases sont homogènes ou hétérogènes Multibases BD hétérogènes pouvant interopérer via un langage commun Bases de données fédérées BD hétérogènes intégrées via un modèle commun et un langage commun (couplage fort) 5

6 Définitions (2) Bases de données réparties Plusieurs bases sur plusieurs sites, mais une seule BD «logique». Les ordinateurs (appelés sites) communiquent via le réseau et sont faiblement couplés. Chaque site contient des données de la base, peut exécuter des transactions locales et participer à l exécution de transactions globales La répartition affecte les données, les traitements, les contrôles La topologie des BD réparties est semblable à celles des réseaux : anneau, étoile, arbre, 6

7 Evaluation de la répartition Avantages extensibilité partage des données hétérogènes et réparties performances avec le parallélisme disponibilité avec la réplication Inconvénients administration complexe complexité de mise en œuvre et de développement distribution du contrôle difficulté de migration surcharge (l échange de messages augmente le temps de calcul) 7

8 Paramètres à considérer Coût et temps de communication entre deux sites Fiabilité fréquence des pannes des sites, du réseau Accessibilité aux données accès aux données en cas de panne des sites, du réseau. Accès aux sites les moins encombrés, les plus puissants 8

9 SGBD réparti SGBDR SGBD1 SGBD2 Rend la répartition (ou distribution) transparente dictionnaire des données réparties traitement des requêtes réparties gestion de transactions réparties gestion de la cohérence et de la sécurité 9

10 Distribution Décomposition en BD locales BD BD1 BD2 BD3 Intégration logique des BD locales existantes BD BD1 BD2 BD3 10

11 Architecture de schémas application 1 application 2 Schéma global Schéma local 1 Schéma local 2 Schéma local 3 indépendance applications/bdr schéma global lourd à gérer 11

12 Schéma global schéma conceptuel global donne la description globale et unifiée de toutes les données de la BDR (e.g., des relations globales) indépendance à la répartition schéma de placement règles de correspondance avec les données locales indépendance à la localisation, la fragmentation et la duplication Le schéma global fait partie du dictionnaire de la BDR et peut être conçu comme une BDR (dupliqué ou fragmenté) 12

13 Exemple de schéma global Schéma conceptuel global Client (nclient, nom, ville) Cde (ncde, nclient, produit, qté) Schéma de placement Client = Site1 U Site2 Cde = Site3 13

14 Conception d'une BDR par intégration BD1 BD2 BD3 Traduction de schémas Traducteur 1 Traducteur 2 Traducteur 3 S local 1 S local 2 S local 3 Intégration de schémas Intégrateur Schéma Global 14

15 Intégration de schémas 1. pré-intégration Les schémas sont transformés pour les rendre plus homogènes identification des éléments reliés (e.g. domaines équivalents) et établissement des règles de conversion (e.g. 1 inch = 2,54 cm) Pbs : hétérogénéité des modèles de données, des puissances d expression, des modélisations 2. comparaison identification des conflits de noms (synonymes et homonymes) et des conflits structurels (types, clés, dépendances) 15

16 Intégration de schémas 3. conformance résolution des conflits de noms (renommage) et des conflits structurels (changements de clés, tables d'équivalence) Définition de règles de traduction entre le schéma intégré et les schémas initiaux. 4. fusion et restructuration fusion des schémas intermédiaires et restructuration pour créer le "meilleur" schéma intégré 16

17 Conception par décomposition Table globale fragmentation allocation Site 1 Site 2 17

18 Objectifs de la décomposition fragmentation trois types : horizontale, verticale, mixte performances en favorisant les accès locaux équilibrer la charge de travail entre les sites (parallélisme) duplication (ou réplication) favoriser les accès locaux augmenter la disponibilité des données 18

19 Types de Fragmentation horizontale verticale mixte 19

20 Fragmentation Horizontale Client Fragments définis par sélection Client1 = Client where ville = Paris Client2 = Client where ville not= Paris Reconstruction Client = Client1 U Client2 nclient nom ville C 1 C 2 C 3 C 4 Client1 Dupont Martin Martin Smith Paris Lyon Paris Lille nclient nom ville C 1 C 3 Client2 Dupont Martin Paris Paris nclient nom ville C 2 C 4 Martin Smith Lyon Lille 20

21 Fragmentation Horizontale Dérivée Fragments définis par jointure Cde1 = Cde where Cde.nclient = Client1.nclient Cde2 = Cde where Cde.nclient = Client2.nclient Cde ncde nclient produit D 1 D 2 D 3 D 4 C 1 C 1 C 2 C 4 P 1 P 2 P 3 P 4 qté Reconstruction Cde = Cde1 U Cde2 Cde1 ncde nclient produit qté Cde2 ncde nclient produit qté D 1 D 2 C 1 C 1 P 1 P D 3 D 4 C 2 C 4 P 3 P

22 Fragmentation Verticale Fragments définis par projection Cde1 = Cde (ncde, nclient) Cde2 = Cde (ncde, produit, qté) Reconstruction Cde = [ncde, nclient, produit, qté] where Cde1.ncde = Cde2.ncde Cde ncde nclient produit D 1 D 2 D 3 D 4 C 1 C 1 C 2 C 4 P 1 P 2 P 3 P 4 qté Cde1 Cde2 ncde nclient ncde produit qté D 1 D 2 D 3 D 4 C 1 C 1 C 2 C 4 D 1 D 2 D 3 D 4 P 1 P 2 P 3 P

23 Fragmentation correcte Complète chaque élément de R doit se trouver dans un fragment Reconstructible on doit pouvoir recomposer R à partir de ses fragments Disjointe Dans le cas d une fragmentation horizontale, un élément de R (tuple) est dans un et un seul fragment. Dans le cas d une décomposition verticale, la clé primaire est répétée dans tous les fragments : la propriété de disjonction ne s applique qu aux autres attributs. 23

24 Allocation des Fragments aux Sites Non-dupliquée partitionnée : chaque fragment réside sur un seul site Dupliquée chaque fragment sur un ou plusieurs sites maintien de la cohérence des copies multiples Règle : si le ratio Lectures/màj est > 1, la duplication est avantageuse 24

25 Problème: Soit F un ensemble de fragments S un ensemble de sites Allocation de Fragments Q un ensemble d applications et leurs caractéristiques Trouver la distribution "optimale" de F sur S Optimum coût minimal de communication, stockage et traitement Performance = temps de réponse ou débit Solution allouer une copie de fragment là où le bénéfice est supérieur au coût 25

26 Exemple d'allocation de Fragments Client1 nclient nom ville C 1 C 3 Dupont Martin Paris Paris Client2 nclient nom ville C 2 C 4 Martin Smith Lyon Lille Cde1 ncde client produit qté D 1 D 2 C 1 C 1 P 1 P Cde2 ncde client produit D 3 D 4 C 2 C 4 P 3 P 4 qté 5 10 Site 1 Site 2 26

27 Objectifs de la réplication + Accès simplifié, plus performant pour les lectures + Résistance aux pannes + Parallélisme accru + Evite des transferts - Overhead en mise à jour - Cohérence des données - Toujours bien si on privilégie les lectures 27

28 Objectifs de la réplication Problème : comment partager des données entre p sites? Solution 1 : sans duplication stockage sur un site et accès réseau depuis les autres sites problèmes de performances et de disponibilité Solution 2 : duplication manuelle propagation des mises à jour d'un site vers les autres par une transaction multi-site avec validation 2PC problèmes liés au 2PC : bloquant et cher Solution 3 : réplication automatique et transparente depuis un site primaire vers des sites cibles 28

29 Transparence Transparence de la répartition : degré d intégration du schéma pas d information sur la fragmentation : haut niveau de transparence bas niveau de transparence : l utilisateur doit spécifier les fragments qu il manipule pb de nommage non ambigu. Transparence des requêtes : Le système doit optimiser les accès disques, les requêtes et effectuer automatiquement la mise à jour des répliques. Utilisation des tables des fragments et de répliques Pb de localisation de ces tables (une copie par site, schémas locaux partiels, répartition du schéma, etc.) 29

30 Evaluation de requêtes réparties Requête sur tables globales Fragmentation Schéma de fragmentation Requête sur fragments Optimisation Schéma d'allocation Plan d'exécution réparti 30

31 Exemple d'évaluation simple Select A from R where B = b Fragmentation R = R1 U R2 Select A from R1 where B =b union Select A from R2 where B = b Optimisation R1 = Site1 R2 = Site2 R2 = Site3 Select A from Site1 where B = b union Select A from Site3 where B = b 31

32 Fragmentation Réécriture mettre la requête sous forme d'un arbre algébrique (feuille = relation, noeud = op. relationnel) Reconstruction remplacer chaque feuille par le programme de reconstruction de la relation globale Transformation appliquer des techniques de réduction pour éliminer les opérations inutiles Notations utilisées : SL : select JN : join PJ : project 32

33 Reconstruction Select nom from Client Client1=Client where ville= Paris Client2=Client where ville not= Paris PJ (nom) PJ (nom) Client Client1 U Client2 33

34 Réduction pour la fragmentation horizontale Règle : éliminer l'accès aux fragments inutiles Exemple : Client1=Client where ville= Paris Client2=Client where ville not= Paris Select * from Client where ville= Lyon SL (ville=lyon) U SL (ville=lyon) U SL (ville=lyon) SL (ville=lyon) Client1 Client2 Client1 Client2 Client2 34

35 Réduction pour la Fragmentation Verticale Règle : éliminer les accès aux relations de base qui n'ont pas d'attributs utiles pour le résultat final Exemple Cde1 = Cde(ncode,nclient) Cde2 = Cde(ncode,produit,qté) Select nclient from Cde PJ (nclient) PJ (nclient) JN (ncde) Cde1 Cde2 Cde1 35

36 Réduction pour la Fragmentation Horizontale Dérivée Règle : distribuer les jointures par rapport aux unions et appliquer les réductions pour la fragmentation horizontale Exemple Client1 = Client where ville= Paris Client2 = Client where ville not= Paris Cde1 = Cde where Cde.nclient=Client1.nclient Cde2 = Cde where Cde.nclient=Client2.nclient Select all from Client, Cde where Client.nclient=Cde.nclient and ville=lyon 36

37 Exemple Requête canonique JN (nclient) SL (ville=lyon) U U Cde1 Cde2 Client1 Client2 Après 1ère réduction JN (nclient) U SL (ville=lyon) Cde1 Cde2 Client2 37

38 Exemple (suite) Distribution U JN (nclient) JN (nclient) SL (ville=lyon) SL (ville=lyon) Cde1 Client2 Cde2 Client2 Elimination du sous-arbre inutile JN (nclient) SL (ville=lyon) Cde2 Client2 38

39 Conclusion Bien pour la gestion de données réparties, à petite échelle Applications décisionnel (data warehouse) transactionnel intégration de données du Web grand nombre de sources hétérogénéité très forte intégration des données semistructurées (HTML, XML) intégration de la recherche documentaire Problèmes non abordés dans ce cours Optimisation de requêtes réparties Pannes Transactions réparties Gestion de la réplication 39