Bases de données avancées Données en flux et requêtes continues Dan VODISLAV Université de Cergy-Pontoise Master Informatique M1 Cours BDA BD pour flux de données Flux de données Données qui arrivent en flux, ordonnées avec des estampilles temporelles Exemples: cotations boursières, dépêches d'agences de presse, données en provenance de capteurs (position, température, ), flux RSS, etc. Qu'est-ce qui change par rapport au BD classiques? On peut voir chaque donnée comme une ligne dans une table relationnelle Nouvelle donnée (article): insertion dans la table mais On ne peut pas tout stocker On a envie de réagir sur l'arrivée d'un nouvel article Le temps joue un rôle particulier Au niveau des données: estampille temporelle, ordre Au niveau de l événement «nouvelle donnée» Cours BDA (UCP/M1) : Données en flux et requêtes continues 2
Pourquoi utiliser des flux? Volume des données Impossibilité de tout stocker Big Data Production fréquente de nouveau contenu Réaction sur l arrivée de nouvelles données Réduction du délai entre production et utilisation de contenu Production «naturelle» de données en flux Capteurs, cotations, dépêches, Applications de surveillance, alerte, veille Accélération des traitements Traitement continu, à la volée, de type filtrage Réduit le besoin d accéder à des données sur disque Cours BDA (UCP/M1) : Données en flux et requêtes continues 3 Approches dans le traitement des flux Deux extrêmes Traitement avec stockage Chaque article arrivé est stocké Requêtes sur les données stockées Traitement continu Pas de stockage Requêtes continues flux Système de gestion de flux BD requêtes réponses On peut imaginer diverses solutions intermédiaires entre les deux approches Traitement avec stockage activé par l arrivée de nouvelles données Ex. Exécuter une requête toutes les N arrivées de données Traitement continu mais accédant à des données stockées Ex. Filtrer la donnée arrivée selon un critère utilisant des données stockées Cours BDA (UCP/M1) : Données en flux et requêtes continues 4
Requêtes continues Requêtes classiques: données + requêtes à différents moments Le calcul se fait au moment de la requête sur les données courantes Requêtes continues: requête + données à différents moments Le calcul se fait à chaque fois qu'une donnée arrive Particularités des requêtes continues Nombre indéterminé de résultats On n'a pas accès à toutes les données Donnée courante + éventuellement quelques données passées mémorisées Résultats produits seulement sur des événements d'entrée (arrivée d'une donnée) Requêtes généralement moins complexes que les requêtes classiques Requête continue = souscription Résultat = notification Cours BDA (UCP/M1) : Données en flux et requêtes continues 5 Fenêtres sur flux Fenêtre = sous-séquence finie d'articles d'un flux Préserve l'ordre d'arrivée des articles Inhérentes aux traitement des flux Stockage: on stocke en fait des fenêtres (les flux sont infinis) Continu: nécessaires pour des opérations de jointure entre flux Opérations spécifiques aux flux: agrégation sur fenêtres Ex. La moyenne des cotations des 10 derniers jours Types de fenêtres Glissantes: déterminées par le moment courant Sur le temps: les articles des N derniers jours Sur le nombre: les N derniers articles Sur condition: déterminées par des conditions de début/fin Ex. début: cotation baisse en dessous de 40 euros, fin: fin de la journée Cas particulier: «tumbling windows», qui partitionnent le temps de façon régulière (chaque jour, mois, ) Cours BDA (UCP/M1) : Données en flux et requêtes continues 6
Traitement des flux dans les BD relationnelles Peu de support standardisé pour le traitement des flux Approche de type stockage Pas de requêtes continues Événement d'arrivée: gestion par triggers ou par programme Seul support explicite: notion de fenêtre dans SQL:1999 En pratique: systèmes spécifiques, dédiés au traitement de flux, construits parfois au-dessus de BD relationnelles Oracle Oracle CEP (Complex Event Processing): ex- WebLogic Event Server Utilise le langage CQL (Stanford) pour décrire les traitements sur flux Plus récemment: PipelineDB Clauses SQL spécifiques au traitement en flux Cours BDA (UCP/M1) : Données en flux et requêtes continues 7 Clause WINDOW Introduite en SQL:1999, permet d'exprimer des requêtes sur des données stockées provenant d'un flux Permet l'agrégation sur des fenêtres de type flux Plutôt vue comme une extension pour les entrepôts de données que pour le traitement des flux Syntaxe window nom-fenêtre as ( partition by attributs-partition order by attributs-ordre range rows intervalle ) Idée: pour chaque ligne de la table on définit une fenêtre de lignes Situées toutes dans la même partition Dans l'ordre spécifié (selon le temps pour un flux) De taille donnée par l'intervalle précisé Cours BDA (UCP/M1) : Données en flux et requêtes continues 8
Syntaxe de la clause WINDOW Partition by : découpage de la table en partitions Similaire à group by, mais pas dans le même but group byun résultat par groupe, partition by un résultat par ligne! Rôle du partition by: définir des "types" de lignes une fenêtre contient des lignes d'une seule partition (d'un seul type) Absence partition byune seule partition (toute la table) Order by : ordonnancement des lignes dans la fenêtre Range/Row between: largeur de la fenêtre Range: largeur exprimée par un intervalle de valeurs de l'attribut d'ordonnancement avant et après la ligne courante Ex. range between interval '8' day preceding and interval '3' day following range interval '6' day preceding Row: largeur exprimée par un nombre de lignes avant et après Ex. rows between 5 preceding and 5 following rows 7 preceding Cours BDA (UCP/M1) : Données en flux et requêtes continues 9 Exemple Table Cotation(Csoc, Cdate, Cval) Une cotation en bourse par jour pour différentes sociétés Pour chaque société et chaque date, la moyenne glissante sur le dernier mois de la cotation de cette société select Csoc, Cdate, avg(cval) over w from Cotation window w as ( partition by Csoc order by Cdate range interval '1' month preceding ) Cours BDA (UCP/M1) : Données en flux et requêtes continues 10
Oracle CQL Oracle CEP (complex event processing) Description d un réseau de traitement d événements (EPN) Les fonctionnalités de traitement de flux décrites en langage CQL Langage CQL (continuous query language) Deux types de collections: flux et relations Basé sur la transformation de flux en relations et vice-versa Opérateurs: Relation-à-relation: opérateurs relationnels traditionnels Flux-à-relation: fenêtrage (window) Ex. F [Range T], F [Rows N], F [Partition by A 1 A k Rows N] Pourquoi? le filtrage se fait sur des relations Relation-à-flux: mises-à-jour d une relation flux IStream(R): flux des insertions dans R DStream(R): flux des suppressions dans R RStream(R): flux des lignes existantes dans R Flux-à-flux: opérateur MATCH_RECOGNIZE de détection de motif Produit un flux: une donnée à chaque nouvelle détection de motif Motifs de type expression régulière sur les séquence d articles + conditions Ex. La cotation dépasse 24$, après plusieurs cotations entre 23-24$ successives à une > 24$ Cours BDA (UCP/M1) : Données en flux et requêtes continues 11 Exemples CQL Flux Fcotation(Csoc, Cdate, Cval) select * from Fcotation where Cval > 24 produit un flux avec seulement les cotations de plus de 24$ select * from Fcotation [range 10 days] where Csoc = 'IBM' produit une relation avec les cotations d IBM des 10 derniers jours Dstream( select * from Fcotation [range 10 days]) produit le flux Fcotation retardé de 10 jours Cours BDA (UCP/M1) : Données en flux et requêtes continues 12
PipelineDB SGBD open source qui étend PostgreSQL Relations et flux Basé sur la notion de «vue continue» sur flux Modifications par «transformations continues» sur des vues continues Exemples create continuous view avgcotation select Csoc, avg(cval) from Fcotation group by Csoc Maintient pour chaque société la moyenne de ses cotations create continuous view avgcotation with (sw = '10 days') select Csoc, avg(cval) from Fcotation group by Csoc Maintient pour chaque société la moyenne de ses cotations des 10 derniers jours Cours BDA (UCP/M1) : Données en flux et requêtes continues 13 Exemple de système avec traitement continu RoSeS Système d agrégation de flux d information (texte) sur le web Traitement continu sans stockage Cours BDA (UCP/M1) : Données en flux et requêtes continues 14
Architecture RoSeS Acquisition Sources System Manager Evaluation & Optimization Query Graph Items to evaluate Catalog Interface Publica tions Items to publish Dissemination Subscrip tions Cours BDA (UCP/M1) : Données en flux et requêtes continues 15 Langage de requêtes register feed Définit des noms internes pour les flux Source ex: register feed http://feeds.nytimes.com/nyt/rss/homepage as nytimes create feed Crée de nouveaux flux (Publications) 4 opérateurs: union, sélection, jointure et fenêtrage ex: create feed englishnews from nytimes cnn telegraph nytimes cnn telegraph englishnews subscribe to Définit une Souscription à une publication, un mode de notification (rss, mail, sms) et une fréquence de notification ex: subscribe to englishnews output mail Jordi.Creus@lip6.fr every 12 hours Cours BDA (UCP/M1) : Données en flux et requêtes continues 16
Exemples create feed newsofsyria from nytimes cnn telegraph where title contains syria or title contains assad create feed messifeed from (eurosport as $e fcbarcelonablog) as $u facebookmessi where $e[author <> diego ] and $u[title contains messi ] eurosport fcbarcelonablog facebookmessi nytimes cnn telegraph σ title contains syria title contains assad newsofsyria σ author diego σ title contains messi messifeed Cours BDA (UCP/M1) : Données en flux et requêtes continues 17 Exemples create feed mymovies from allocine as $a join last 3 weeks on myfriendstweets with $a[title similar window.title] where $a[description not contains julia roberts ] allocine myfriendstweets σ description contains julia roberts ω last 3 weeks title ~ window.title mymovies Cours BDA (UCP/M1) : Données en flux et requêtes continues 18