Bases de données documentaires et distribuées Cours NFE04

Transcription

1 Bases de données documentaires et distribuées Cours NFE04 Introduction du cours Auteurs : Raphaël Fournier-S niehotta, Philippe Rigaux, Nicolas Travers prénom.nom@cnam.fr Département d informatique Conservatoire National des Arts & Métiers, Paris, France

2 Sujet du cours Plan de la présentation 1 Sujet du cours 2 Objectifs 3 Prérequis 4 Organisation 5 Les ressources

3 Sujet du cours Le sujet, en bref Documents et bases de documents Comprendre ce qu est une base de données constituée de documents et savoir évaluer les méthodes, outils et systèmes pour les gérer. Problématiques associées : notion de document, structuré, semi-structuré, non structuré ; représentation et interrogation, et aussi mise à jour et transactions. distribution, élasticité pour gérer de très grands volumes de données. Question transversale : base relationnelle ou base NoSQL? Quand, pourquoi, comment? Des mots-clés à comprendre (et à critiquer) : données structurées/non structurées, bases NoSQL, Cloud, BigData, moteurs de recherche, etc.

4 Sujet du cours Bases relationnelles Les bases relationnelles sont utilisées dans toutes les applications gérant des informations structurées et régulières : applications de gestion, applications Web, applications mobiles. Des fonctionnalités extrêmement fortes Une modélisation (quasi-) normalisée. Un langage (SQL) très bien défini, normalisé lui aussi. De très bonnes performances, obtenues automatiquement Une gestion robuste de la concurrence d accès Attention à bien apprécier ce qu on gagne / perd en passant au "NoSQL" Révisions nécessaires? Mieux vaut s en apercevoir maintenant. Révisions sur

5 Sujet du cours Problématique 1 : La notion de document Document = unité d information autonome ou quasi-autonome. Peu ou pas de référence à d autres documents. Peu ou pas de structure ; ou une structure très flexible. Un contenu souvent à orientation multimédia. Examples (1) : documents textuels, types documents Web. Examples (2) : images, documents audios, vidéos ; pas de structure explicite, production de descripteurs synthétiques pour tenter de les indexer. Examples (3) : jeux en ligne : artifacts graphiques, objets 3D, actions utilisateur. Examples (4) : tous les fichiers de votre ordinateur... Défi Impose de repenser la notion de schéma et de représentation.

6 Sujet du cours Problématique 1 : bases documentaires Soit un ensemble (important) de documents, comment les gérer? Dans un système de fichier? Pourquoi pas, mais Manipulations laborieuses ; aucun contrôle de contenu ; peu sécurisé ; fonction de recherche primitive. Vraiment pas pratique pour construire des applications. Dans une base relationnelle? Pourquoi pas, mais Sous-utilisation du système (stockage par BLOB, SQL inutilisable, transactions élémentaires). Peu de gains. Dans un système orienté-document? Un système de Gestion Electronique de Documents (GED), type Alfresco. Une base documentaire = des fonctionnalités BD, spécialisées documents.

7 Sujet du cours Problématique 2 : la recherche Dans les bases documentaires, peu ou pas de structure fixe, SQL inadapté. Recherche «exacte» souvent insatisfaisante. La recherche s effectue souvent par similarité on fournit un document requête" le système recherche les documents proches du document-requête. implique une notion de distance, et donc un classement du résultat. Par exemple, quand on recherche sur le Web : on fournit un ensemble de mots-clés : c est le document requête le moteur de recherche trouve les documents les plus proches (on verra comment) le classement (et sa pertinence) sont des éléments essentiels.

8 Sujet du cours Problématique 3 : données à très grande échelle On atteint facilement des volumes de données extrêmement importants. les moteurs de recherche qui collectent des documents disponibles sur le Web. les applications utilisées à l échelle du Web ; commerce électronique (Amazon) ; réseaux sociaux (Facebook). données gérées par les jeux en ligne. Les collections occupent typiquement des centaines de Gigaoctets, voire des Téraoctets. Solution Nouveaux systèmes, dits NoSQL pour gérer de vastes collections de documents de manière scalable pour les accès temps réel ; pour les traitements analytiques (MapReduce et au-delà).

9 Objectifs Plan de la présentation 1 Sujet du cours 2 Objectifs 3 Prérequis 4 Organisation 5 Les ressources

10 Objectifs Objectifs du cours Le cours vise à vous transmettre, dans un context pratique, deux types de connaissances. Connaissances fondamentales Représentation de documents textuels : les formats XML et JSON ; les langages de manipulation ; Recherche dans les bases documentaires : principes, techniques, moteurs de recherche, index, algorithmes. Stockage, gestion, et scalabilité par distribution. L essentiel sur les systèmes distribués ; le cas des systèmes NOSQL.

11 Objectifs Objectifs du cours Le cours vise à vous transmettre, dans un context pratique, deux types de connaissances. Connaissances fondamentales Représentation de documents textuels : les formats XML et JSON ; les langages de manipulation ; Recherche dans les bases documentaires : principes, techniques, moteurs de recherche, index, algorithmes. Stockage, gestion, et scalabilité par distribution. L essentiel sur les systèmes distribués ; le cas des systèmes NOSQL. Connaissances pratiques Des systèmes "NoSQL" orientés «documents» ; pour JSON (MongoDB, CouchDB) pour XML (BaseX). Des moteurs de recherche (Solr, ElasticSearch) basés sur un index inversé (Lucene). Etude, en pratique, de quelques systèmes NoSQL distribués : MongoDB (temps réel), ElasticSearch (indexation), Hadoop/Flink (analytique à grande échelle).

12 Prérequis Plan de la présentation 1 Sujet du cours 2 Objectifs 3 Prérequis 4 Organisation 5 Les ressources

13 Prérequis Prérequis Les connaissances suivantes sont requises pour suivre ce cours. Compréhension des bases relationnelles, soit au moins la conception d un schéma, SQL, ce qu est un index et des notions de base sur les transactions. si nécessaire, des rappels seront effectués en cours. Une aisance minimale dans un environnement de développement. Editer un fichier, lancer une commande, ne pas paniquer devant un nouvel outil, savoir résoudre un problème avec un minimum de tenacité, etc. Vous devez reproduire les exemples donnés. La connaissance de langage de programmation comme Java ou PHP vous aidera. La réalisation de quelques fonctionnalités vous permettra de consolider vos nouvelles connaissances.

14 Prérequis Environnement de travail Environnement matériel et logiciel Le cours repose beaucoup sur la mise en pratique. Vous avez besoin d un ordinateur pour travailler. au Cnam, tout vous est fourni ; Cnam à distance, ou en auditeur libre, il vous faut une machine raisonnablement puissante et dotée d au moins 8 GO de mémoire : tous les systèmes sont possibles : Linux, Mac/OS ou Windows.

15 Prérequis Environnement de travail Environnement matériel et logiciel Le cours repose beaucoup sur la mise en pratique. Vous avez besoin d un ordinateur pour travailler. au Cnam, tout vous est fourni ; Cnam à distance, ou en auditeur libre, il vous faut une machine raisonnablement puissante et dotée d au moins 8 GO de mémoire : tous les systèmes sont possibles : Linux, Mac/OS ou Windows. Tous les logiciels utilisés sont libres de droits. Nous travaillons essentiellement avec Lucene et Solr, mais aussi ElasticSearch pour l indexation de documents. MongoDB et plusieurs autres outils NoSQL. Flink et Spark et quelques autres. L installation de ces outils (et leur utilisation) est couverte dans le cours.

16 Organisation Plan de la présentation 1 Sujet du cours 2 Objectifs 3 Prérequis 4 Organisation 5 Les ressources

17 Organisation Organisation du cours Le cours est découpé en chapitres, couvrant un sujet bien déterminé, et en sessions. L unité de travail est la session. Nous essayons de structurer les sessions pour qu elles ne demandent environ 2 heures de travail personnel (bien sûr, cela dépend également de vous).

18 Organisation Organisation du cours Le cours est découpé en chapitres, couvrant un sujet bien déterminé, et en sessions. L unité de travail est la session. Nous essayons de structurer les sessions pour qu elles ne demandent environ 2 heures de travail personnel (bien sûr, cela dépend également de vous). Pour assimiler une session vous pouvez combiner les ressources suivantes : La lecture du support en ligne, également disponible en PDF ou en epub. Le suivi du cours, en vidéo ou en présentiel. Le test des exemples de code fournis dans chaque session. La réalisation des exercices proposés en fin de session. La réalisation des exercices est essentielle pour vérifier que vous maîtrisez le contenu.

19 Organisation Mener votre travail personnel Vous devez maîtriser le contenu des sessions dans l ordre où elles sont proposées. Commencez par lire le support, jusqu à ce que les principes vous paraissent clairs. Reproduisez les exemples de code. Tous les exemples donnés sont testés et doivent donc fonctionner. Cherchez à résoudre les problèmes par vous-mêmes au besoin : c est le meilleur moyen de comprendre. Finissez par les exercices. Faites les vous-mêmes, avant de regarder la solution. Répondez au Quiz proposé en fin des principaux chapitres.

20 Organisation Mener votre travail personnel Vous devez maîtriser le contenu des sessions dans l ordre où elles sont proposées. Commencez par lire le support, jusqu à ce que les principes vous paraissent clairs. Reproduisez les exemples de code. Tous les exemples donnés sont testés et doivent donc fonctionner. Cherchez à résoudre les problèmes par vous-mêmes au besoin : c est le meilleur moyen de comprendre. Finissez par les exercices. Faites les vous-mêmes, avant de regarder la solution. Répondez au Quiz proposé en fin des principaux chapitres. Nous sommes là pour vous aider Si vous êtes inscrits au Cnam, nous sommes là pour vous ; sinon, nous vous assisterons dans la mesure de nos disponibilités.

21 Les ressources Plan de la présentation 1 Sujet du cours 2 Objectifs 3 Prérequis 4 Organisation 5 Les ressources

22 Les ressources Ressources Contact avec les enseignants : Raphaël Fournier-S niehotta et Philippe Rigaux (prénom.nom@cnam.fr). Généralités sur le cours et documents complémentaires : Présentations (slides) Liens vers les vidéos Autres ressources Support de cours en HTML : Support de cours en PDF : Support de cours en epub : Pour ceux/celles qui suivent le cours au Cnam :