Questions tuyaux et solutions - Fichiers et bases. des données

Transcription

1 Questions tuyaux et solutions - Fichiers et bases de données Thomas Vanesse 21 juin 2011 Résumé Ce document reprend l ensemble des questions théoriques parues aux examens de 2003 à Les résolutions proviennent des différents documents/posts mis à disposition sur le forum, auxquelles j ai adjoint quelques nouveautés/précisions (lorsque cela était nécessaire). La résolution des questions pratiques (style requêtes, algèbre et calcul) est laissée aux bons soins du lecteur. Citez trois avantages du modèle entité-relation sur le modèle relationnel Le modèle ER est plus compact et offre une vue plus intuitive de l ensemble des données Le modèle relationnel est moins précis que le modèle ER. En effet, une relation fait en fait référence à 3 éléments du modèle ER (entité + relation + attributs). Les attributs composites ne sont pas représentés explicitement dans le modèle relationnel Les entités faibles ne sont pas représentées explicitement dans le modèle relationnel Définir contrainte d intégrité, contrainte d intégrité référencielle et vue dans un système relationnel Contrainte d intégrité Tout ce qu on ne peut pas exprimer avec les mécanismes de description disponibles dans le modèle relationnel. Les contraintes d intégrité comprennent 1. les clefs (primaires et étrangères) 2. les dépendances diverses 3. les contraintes d intégrité référencielles 4. les contraintes ad-hoc Contrainte référentielle Il s agit d une contrainte d intégrité impliquant 2 relations R 1 et R 2 telles qu il existe un attribut A 2 de R 2 qui satisfait les conditions suivantes : 1. A 2 a le même domaine que la clef primaire 1

2 2. à chaque valeur de A 2 correspond une valeur de la clef primaire de R 1 Vue Vision limitée d une db ou d un sous-ensemble de tables, souvent laissé en lecture seule. Le but d une vue est de fournir à l utilisateur une vue customisée, et donc de lui simplifier la tâche. Une vue permet également de masquer la manière dont la db est implémentée. Expliquer les termes 2PL, sérialisable et expliquer le lien entre les deux 2PL Il s agit d un protocole s appliquant aux transactions. On impose aux transactions de passer par une phase d acquisition des locks (i.e. la transaction ne peut que prendre des locks et ne peut pas en relâcher) suivie par une phase de relâchement des locks (durant laquelle la transaction ne peut plus obtenir de locks mais seulement les relâcher). Si on représente graphiquement le nombre de locks détenus par une transaction en fonction du temps, on observe une allure en pyramide (escalier qui monte puis qui descend). Sérialisable L exécution des opérations d un ensemble de transactions est sérialisable s il existe un ordre entre les transactions tel que toutes les opérations d une transaction T qui sont en conflit 1 avec les opérations d une autre transaction T, sont exécutées après ces opérations. Le protocole 2PL garantit la sérialisabilité d une manière à la fois simple et sûre. En effet, une transaction n obtient un lock que si celui-ci n est pas déjà détenu par une autre transaction. En cas d impossibilité d obtention du lock, la transaction est mise en attente ou annulée. Quels sont les avantages des vues Une vue est un sous-ensemble des données de la DB qui a été restructuré pour mieux correspondre aux besoins d une application quelconque. Elle permet donc de mieux cibler les données qui concernent l application et celles qui doivent lui être cachées (par respect des permissions et des droits d accès). Il s agit d une table de données redondantes par rapport aux données physiques. Cette redondance, gérée par le SGDB, est utile pour minimiser les accès inutiles aux données. Si une application n a besoin de connaître que l âge des habitants d une ville, elle n a pas besoin de connaître leur adresse et donc certains attributs peuvent lui être caché. Qu est-ce qu une redondance? Donner une redondance acceptable et une redondance qui ne l est pas. Une redondance acceptable peut être considérée comme une redondance qui a un impact positif sur la base de données. D un point de vue général, une redondance implique toujours un gaspillage de mémoire, une plus grande difficulté pour le SGDB de mettre les données à jour et des risques d inconsistance de la 1. Deux opérations sont en conflit si elles accèdent à la même donnée et si au moins une opération est une écriture. 2

3 DB. Seulement, comme nous l avons vu précédemment, les vues, qui sont une redondance, permettent de cibler les besoins d une application, de rendre les programmes indépendants par rapport aux données,... Ces objectifs sont importants et les vues forment donc une redondance acceptable. Une autre forme de redondance acceptable est l intégrité référentielle. Celle-ci consiste à répéter de l information entre des tables afin de pouvoir associer des éléments qu elles contiennent (indispensable pour les relations many-to-many). Une redondance non-acceptable est une redondance qui n apporte rien à la DB (si ce n est les défauts des redondances énoncés plus haut). Quelles sont les différences entre OLAP et data warehouses? Une data warehouse est un entrepôt de données dans lequel sont stockées des données issues de sources multiples et dont le but est de mettre ces données sous un même format. Cet entrepôt permet de réorganiser ces données de façon plus adaptée à leur analyse. Le OLAP (Online Analytical Processing) est la technologie qui permet d - analyser les données représentées dans des bases de données multidimensionnelles. L entrepôt de données est donc le moyen de mettre en relation des données provenant de sources multiples tandis que le OLAP est l outil qui permet de les analyser. Qu est-ce qu une entité faible? Donner un exemple. Comment implémenter la sémantique d une entité faible dans un modèle ER? Une entité faible est une entité qui ne peut pas être identifiée uniquement via ses propres attributs (elle n a donc pas, à proprement parlé, de clef primaire). Elle doit être associée à une ou plusieurs autres entités avec la(les)quelle(s) elle est en relation (1,1). Exemple : un individu qui a un numéro national unique et un chat qui a juste un surnom. Il est impossible d identifier un chat sans connaître son maître puisque plusieurs chats peuvent avoir le même surnom (mais plusieurs chats d un même propriétaire ont des surnoms différents). La relation chat possède donc une clé étrangère qui est le numéro national de son maître. Dans un schéma entité-association, les entités faibles sont représentées par des cardinalités (1,1). Comment trouver l ordre seriel à partir d une exécution sérialisable Il suffit de permuter les opérations qui ne sont pas conflictuelles. En quoi le protocole 2PL est-il important de nos jours? L utilisation des bases de données est de plus en plus importante. Dans les aéroports, par exemple, les réservations peuvent maintenant se faire par internet. Les utilisateurs ont donc un accès direct à la DB (du moins à l interface du SGDB). Il est donc indispensable qu un nombre important de requêtes puissent 3

4 être effectuées un maximum en parallèle les unes par rapport aux autres. Le protocole 2PL permet à de multiples utilisateurs de faire leur réservation sans se soucier de savoir si elle sera bien prise en compte par la DB ou s il y a eu un bug et qu ils doivent recommencer. Quel est le lien entre le protocole 2PL et les deadlocks? Le problème du protocole 2PL est qu il permet juste de garantir une bonne exécution des transactions en parallèle. Il ne permet pas de prévenir les deadlocks. Il arrivera donc certainement (d après la loi de Murphy, si quelque chose de foireux peut se passer, ça se passera) un deadlock à un moment donné. A ce moment là, il faudra résoudre le problème en réalisant, par exemple, un wait-for graph 2 et en cassant les cycles présents dans celui-ci. Qu est-ce que le timestamp ordering? Il s agit d un protocole d ordonnancement qui se base sur l âge des transactions. Concrètement, un timestamp est créé pour chaque transaction. Lorsqu une ressource est accédée par une transaction, le timestamp T r de la ressource devient le timestamp T t de la transaction. Si deux transactions essaient d accéder à une ressource en même temps, c est la transaction la plus vieille (timestamp plus élevé) qui obtient l accès, la deuxième transaction étant mise en attente ou relancée. Lien entre timestamping ordering et 2PL Le protocole 2PL et ses règles sous-jacentes sont une condition suffisante de sérialisabilité. De même, le timestamping ordering offre aussi des conditions suffisantes de sérialisabilité. Cependant, un ordonnancement 2PL ne sera pas nécessairement compatible avec un ordonnancement timestamping, et inversément. Expliquer comment fonctionnent les réparations undo logging et redo logging en cas de crash Un module du SGDB, le gestionnaire du Log, garde en mémoire un historique des modifications effectuées sur la DB. Les méthodes de réparations redo et undo se basent sur cet historique afin de rendre à nouveau la DB consistante. Dans les deux cas, le (Commit T) doit atteindre le disque après que la liste des modifications (T X old new) n aient été écrites sur le disque et la liste des modifications doit arriver sur le disque avant les modifications elles-mêmes. Ces deux méthodes diffèrent au niveau du moment d arrivée sur le disque du (Commit T). Dans le cas du undo, le (Commit T) atteint le disque après que les modifications aient été faites sur la base de données (qui est sur le disque). De ce fait, 2. A Wait-For Graph is a directed graph used for deadlock detection in operating systems and relational database systems. In a Wait-for Graph, processes are represented as nodes, and an edge from process Pi to Pj implies Pj is holding a resource that Pi needs and thus Pi is waiting for Pj to release its lock on that resource. A deadlock exists if the graph contains any cycles. The wait for graph scheme is applicable to a resource allocation system with multiple instances of each resource type. 4

5 lorsque le (Commit T) a atteint le disque, nous savons que tous les effets de la transaction T ont été pris en compte et que celle-ci s est terminée correctement. S il y a un crash de mémoire centrale et que le (Commit T) n est pas présent dans le Log du disque, tous les effets de la transaction T doivent être annulés et cela peut être fait en lisant le Log du disque à l envers et en inversant les opérations de la transaction T qui y sont annotées. Dans le cas du redo, le (Commit T) doit atteindre le disque avant les modifications. Ainsi, si le crash de mémoire centrale arrive avant que le (Commit T) ne soit arrivée sur le disque, la transaction est annulée via (Abort T) et elle pourra ensuite être relancée. Si le (Commit T) a déjà atteint le disque, il suffit de refaire les différentes opérations en lisant le Log du début à la fin. Dans les deux cas, il est possible d accélérer la reconstruction de la DB en plaçant des (Checkpoint) fréquemment. Ces (Checkpoint) éviteront aux gestionnaire des réparations de devoir relire tout le Log. On voit de plus en plus de contraintes d intégrité référentielle dans les db relationnelles. Pourquoi? Pour répondre à cette question, voici 5 propositions. L une qui est clairement vraie et une autre clairement fausse. Lesquelles? Expliquer brièvement. 1. car elles sont prises en compte dans le SGBD commercial 2. car on a fait beaucoup de progrès dans le domaine des bases relationnelles 3. le modèle relationnel est plus pauvre que le modèle entité-association [VRAI] 4. car cela est bien intégré dans le SQL 5. car cela facilite la tâche du compilateur SQL [FAUX] Soit deux relation R 1 et R 2 des instances de R(A,B,C) π A,B (σ A=B (R 1 )) π A,B (R 1 R 2 ) π A,B (R 1 ) π B,C (R 1 ) π A,C (R 1 )? = σ A=B (π A,B (R 1 )) (1)? = π A,B (R 1 ) π A,B (R 2 ) (2)? = R 1 (3) R 1 R 1? = R1 (4) La relation 1 est VRAIE car les attributs considérés sont les mêmes de part et d autre de l égalité. L ordre n a donc pas d importance. La relation 2 est VRAIE La relation 3 est VRAIE La relation 4 est VRAIE car le natural join retire les attributs doublons (par définition). Le natural join de R 1 sur R 1 donne donc forcément R 1. On peut aussi dire qu à attributs communs, le natural join entre deux entités correspond à leur intersection. De fait, l intersection de R 1 avec lui-même est tout simplement R 1. 5

6 Qu est-ce que la data independence? Possibilité de modifier un schema à un certain niveau de l architecture de la base de donnée, sans avoir à changer les schema associés au niveau supérieur, ni avoir à changer les programmes qui accèdent ces données au niveau le plus haut. logical data independence Un schéma externe 3 (une vue) est indépendant des changements faits dans le schéma communautaire (et dans le schéma physique), fournissant d autres changements qui ne concernent pas les données dans les schémas externes. physical data independence Les schémas externes et communautaires sont indépendants des changements faits dans le schéma physique. L indépendance est importante car 1. La complexité est laissée aux couches inférieures 2. Elle rend la vie facile aux applications qui accèdent à la base de donnée, en ne leur fournissant que les données les concernant. 3. Ca permet de pouvoir optimiser les couches inférieures dans le futur, sans risquer de tout faire planter. Ca contribue donc à une maintenance plus aisée. Pourquoi un système d information développé avec une technologie d objets utiliserait un SGBD relationnel? Car une représentation des information via une technologie orientée objet utilise le même principe de relations que dans une base de donnée. Par conséquent, il sera très aisé de créer et d enregistrer la représentation des données contenue en mémoire dans une base de donnée relationnelle. Donner un exemple d exécution de transactions conflit-sérialisable qui ne peut pas être obtenue par un scheduler respectant le protocole 2PL. Expliquer brièvement. Soit 3 transactions T1 T2 T3, Soit 2 ressources A et B Un exemple d ordre sériel de transactions conflit-sérialisable est le suivant : T1.Read(A) T1.Write(A) T2.Read(A) T2.Write(A) T3.Read(A) 3. Il existe 3 niveaux de schémas dans une architecture : 1. Schéma externe (vue) : défini les données utiles à l application tout en cachant celles qui ne sont pas nécessaires. 2. Schéma communautaire : décrit les structures conceptuelles de toute la db ; il intègre les informations contenues dans toutes les vues (intuitivement, le community schema représente l union des informations contenues dans les schémas externes). 3. Schéma physique (ou interne) : décrit les mécanismes de stockage et d accession de la db 6

7 T3.Write(A) T1.Read(B) T1.Write(B) T2.Read(B) T2.Write(B) Cet ordre n est pas compatible 2PL puisque les transactions passent successivement par des phases d acquisition entre-coupées de relâchements. Cependant, l exécution est conflit-sérialisable 4 car on peut très bien exécuter la séquence sériel suivante : T1.Read(A) T1.Write(A) T1.Read(B) T1.Write(B) T2.Read(A) T2.Write(A) T2.Read(B) T2.Write(B) T3.Read(A) T3.Write(A) qui équivaut à exécuter séquentiellement T1 puis T2 puis T3, et obtenir le même état final pour la db. De plus, l ensemble des paires d opérations conflictuelles ([T1.Read(A) ; T1.Read(A)], etc.) reste inchangé. Expliquer ce qu est une relation ternaire, avec un exemple. Comment transformer une relation ternaire dans un langage ne supportant que les relations binaires? Une relation ternaire, dans le modèle ER, est une relation liant 3 entités distinctes. On peut toujours transformer une relation ternaire en une suite de relations binaires : 1. Remplacer la relation ternaire par une nouvelle entité 2. Créer des relations binaires entre la nouvelle entité et les entités de l ancien schéma 3. La cardinalité de chacunes des associations binaires créés est (1,1) du côté du type-entité créé, et (0,n) ou (1,n) du côté des entités de la collection de l ancien schéma Décrivez une stratégie pour prévenir, détecter et résoudre les deadlocks Prévenir un deadlock Pour prévenir un deadlock, il existe plusieurs stratégies : 4. Two schedules are conflict-equivalent if one can be turned into the other by swapping nonconflicting operations Two actions by the same transaction cannot be swapped. since their order is part of the definition of the transaction A schedule is conflict-serializable if it is conflict-equivalent to a serial schedule Conflict-serializability is a sufficient condition for serializability (but there are schedules that are serializable but not conflict-serializable) 7

8 Figure 1 Relation ternaire relation binaire 1. Exiger de chaque transaction qu elle demande au début de son exécution tous les locks dont elle aura besoin dans le futur ; Le lock manager les accordera tous ou aucun et mettra la transaction en attente. 2. Assigner un ordre linéaire arbitraire aux objets réclamés (indépendamment des transactions) ; Exiger des transactions qu elles demandent leur locks dans cet ordre-là 5. Détecter un deadlock On peut construire un wait-for graph (cfr. plus haut) et observer les éventuels cycles en son sein. Résoudre un deadlock Sketter les cycles en interrompant le(s) transaction(s) fautive(s). Annuler les effets de la transaction interrompue et la redémarrer comme une nouvelle transaction. Quelles sont les différences essentielles entre une base de données OLTP et un datawarehouse (OLAP)? We can divide IT systems into transactional (OLTP) and analytical (OLAP). In general we can assume that OLTP systems provide source data to data warehouses, whereas OLAP systems help to analyze it. OLTP (On-line Transaction Processing) is characterized by a large number of short on-line transactions (INSERT, UPDATE, DELETE). The main 5. Petit parallélisme avec le cours d OS et les Dining philosophers : les fourchettes doivent absolument être prises dans le même ordre par tous les philosophes pour garantir l absence de deadlock 8

9 emphasis for OLTP systems is put on very fast query processing, maintaining data integrity in multi-access environments and an effectiveness measured by number of transactions per second. In OLTP database there is detailed and current data, and schema used to store transactional databases is the entity model (usually 3NF). OLAP (On-line Analytical Processing) is characterized by relatively low volume of transactions. Queries are often very complex and involve aggregations. For OLAP systems a response time is an effectiveness measure. OLAP applications are widely used by Data Mining techniques. In OLAP database there is aggregated, historical data, stored in multi-dimensional schemas (usually star schema). 9