Gestion de données incertaines et de leur provenance Pierre Senellart Séminaire INSERM & Institut TELEOM 7 octobre 2008 P. Senellart (TELEOM ParisTech) Données incertaines et provenance 07/10/2008 1 / 16
Données incertaines Nombreuses sources de données incertaines : Erreurs de mesure Intégration de données de multiples sources Processus automatiques imprécis (extraction d information, traitement du langage naturel...) Jugement humain imparfait P. Senellart (TELEOM ParisTech) Données incertaines et provenance 07/10/2008 2 / 16
Gérer cette imprécision Objectif Ne pas faire comme si cette imprécision n existait pas, et la gérer de façon aussi rigoureuse que possible, tout au long d un processus (automatique et humain) qui peut être complexe. En particulier : Utiliser des probabilités pour représenter la confiance en les données Interroger les données et récupérer des résultats probabiliste Permettre d ajouter, supprimer, modifier des données de manière probabiliste Garder tout au long du processus trace de la provenance des données, afin d assurer la traçabilité P. Senellart (TELEOM ParisTech) Données incertaines et provenance 07/10/2008 3 / 16
Gérer cette imprécision Objectif Ne pas faire comme si cette imprécision n existait pas, et la gérer de façon aussi rigoureuse que possible, tout au long d un processus (automatique et humain) qui peut être complexe. En particulier : Utiliser des probabilités pour représenter la confiance en les données Interroger les données et récupérer des résultats probabiliste Permettre d ajouter, supprimer, modifier des données de manière probabiliste Garder tout au long du processus trace de la provenance des données, afin d assurer la traçabilité P. Senellart (TELEOM ParisTech) Données incertaines et provenance 07/10/2008 3 / 16
Plan de l exposé 1 Données incertaines, processus incertains 2 Tables (modèle relationnel) 3 rbres (modèle semi-structuré) 4 État de l art P. Senellart (TELEOM ParisTech) Données incertaines et provenance 07/10/2008 4 / 16
Le modèle relationnel Données stockées dans des tables haque table a un schéma précis (type des colonnes) dapté quand l information est très structurée Patient Examen 1 Examen 2 Diagostic 23 12 B 10 23 2 4 D 15 15 E 15 17 P. Senellart (TELEOM ParisTech) Données incertaines et provenance 07/10/2008 5 / 16
Simples annotations probabilistes Patient Examen 1 Examen 2 Diagostic Probabilité 23 12 0.9 B 10 23 0.8 2 4 0.2 2 14 0.4 D 15 15 0.6 D 15 15 0.4 E 15 17 0.7 E 15 17 0.3 Permet de représenter la confiance dans chaque entrée de la table Des algorithmes efficaces pour répondre aux requêtes Impossible d exprimer des dépendances entre entrées P. Senellart (TELEOM ParisTech) Données incertaines et provenance 07/10/2008 6 / 16
nnotations + contraintes Patient Examen 1 Examen 2 Diagostic Probabilité 23 12 0.9 B 10 23 0.8 2 4 0.2 2 14 0.4 D 15 15 0.6 D 15 15 0.4 E 15 17 0.7 E 15 17 0.3 Toujours des algorithmes efficaces pour les requêtes Dépendances simples (exclusion) exprimables, mais pas dépendances plus complexes P. Senellart (TELEOM ParisTech) Données incertaines et provenance 07/10/2008 7 / 16
Plan de l exposé 1 Données incertaines, processus incertains 2 Tables (modèle relationnel) 3 rbres (modèle semi-structuré) 4 État de l art P. Senellart (TELEOM ParisTech) Données incertaines et provenance 07/10/2008 8 / 16
Le modèle semi-structuré B D <a> <b>...</b> <c> <d>...</d> </c> </a> Présentation arborescente des données Pas (ou moins) de contraintes de schéma Permet de mêler balises (contenu structuré) et texte (contenu non structuré) Particulièrement adapté à du contenu annoté P. Senellart (TELEOM ParisTech) Données incertaines et provenance 07/10/2008 9 / 16
Simples annotations probabilistes 0:24 B 0:70 D Probabilités associées aux nœuds de l arbre Exprime les dépendances entre parent et enfant Impossible d exprimer des dépendances plus complexes ) tous les ensembles de mondes possibles ne sont pas exprimables de cette façon! P. Senellart (TELEOM ParisTech) Données incertaines et provenance 07/10/2008 10 / 16
nnotations par variables d événements w 1 ; :w 2 B sémantique w 2 D D B Évén. Proba. p 1 = 0:06 p 2 = 0:70 p 3 = 0:24 w 1 0:8 w 2 0:7 Expression de dépendances arbitrairement complexes, et algorithmes efficaces pour les requêtes et mises à jours (dans les cas «faciles»)! Évidemment, possibilité d adapter au cas relationnel P. Senellart (TELEOM ParisTech) Données incertaines et provenance 07/10/2008 11 / 16
nnotations par variables d événements w 1 ; :w 2 B sémantique w 2 D D B Évén. Proba. p 1 = 0:06 p 2 = 0:70 p 3 = 0:24 w 1 0:8 w 2 0:7 Expression de dépendances arbitrairement complexes, et algorithmes efficaces pour les requêtes et mises à jours (dans les cas «faciles»)! Évidemment, possibilité d adapter au cas relationnel P. Senellart (TELEOM ParisTech) Données incertaines et provenance 07/10/2008 11 / 16
Gestion de la provenance Variables d événements : peuvent représenter l origine des données Typiquement : 1 À chaque mise à jour (probabiliste), une nouvelle variable d évènement est introduite 2 es variables restent présentes tout au long de la vie de la base de données 3 Les résultats des requêtes sont assorties de probabilités, mais aussi des variables d évènements correspondantes Permet de garder trace, sans coût supplémentaire, de l origine des données! P. Senellart (TELEOM ParisTech) Données incertaines et provenance 07/10/2008 12 / 16
Plan de l exposé 1 Données incertaines, processus incertains 2 Tables (modèle relationnel) 3 rbres (modèle semi-structuré) 4 État de l art P. Senellart (TELEOM ParisTech) Données incertaines et provenance 07/10/2008 13 / 16
Quelques références De nombreux travaux sur les bases de données relationnelles probabilistes Nilesh Dalvi and Dan Suciu. Management of Probabilistic Data: Foundations and hallenges. Proc. PODS, Beijing, hina, June 2007. Une synthèse des modèles des bases de données XML probabilistes Benny Kimelfeld and Yuri Kosharovski and Yehoshua Sagiv. Query Efficiency in Probabilistic XML Models. Proc. SIGMOD, Vancouver, anada, June 2008. P. Senellart (TELEOM ParisTech) Données incertaines et provenance 07/10/2008 14 / 16
À TELEOM ParisTech Intérêt général pour la représentation des données incertaines Des travaux passés et en cours sur les modèles probabilistes avec variables d évènements Intérêt particulier pour la gestion des mises à jour Thèse à venir sur la gestion de données imprécises dans un système en pair-à-pair auto-administré (projet NR DataRing) P. Senellart (TELEOM ParisTech) Données incertaines et provenance 07/10/2008 15 / 16
Pour aller plus loin... Gestion des intervalles de valeur, et des distributions continues de probabilité Mises à jours complexes (modifications, suppressions) efficaces Transformer des valeurs de confiance en vraies probabilités P. Senellart (TELEOM ParisTech) Données incertaines et provenance 07/10/2008 16 / 16