Qualité et intégration de données scientifiques multi-échelles

Dimension: px

Commencer à balayer dès la page:

Download "Qualité et intégration de données scientifiques multi-échelles"

Geoffroy Audy
il y a 8 ans
Total affichages :

1 Qualité et intégration de données scientifiques multi-échelles Laure Berti-Équille Directeur de Recherche en Informatique IRD Data Excellence Paris

2 IRD Institut de Recherche pour le Développement (ex-orstom) Priorités de recherche pour l aide au développement: 1. Lutte contre la pauvreté 2. Migrations 3. Maladies émergentes 4. Changements climatiques et aléas naturels 5. Accès à l'eau 6. Écosystèmes Data Excellence Paris, 7-9 décembre

3 Présentation de l IRD (2/3) Data Excellence Paris, 7-9 décembre

4 Agenda 1. Un éclairage sur la recherche dans le domaine de la qualité des données 2. De grands questionnements scientifiques actuels à partir de données spatio-temporelles 3. Des techniques d intégration multi-échelles 4. Les défis actuels et à venir Data Excellence Paris, 7-9 décembre

De grands questionnements scientifiques actuels à partir de données

5 Classification des travaux de recherche en qualité des données 4 disciplines Focus 4 types d approche Data Excellence Paris, 7-9 décembre

6 Classification des travaux de recherche en qualité des données 4 disciplines Focus 4 types d approche Data Excellence Paris, 7-9 décembre

7 Détection d anomalieset et leurspatterns dataset Input: Output: Détection 2 1 Types simples d anomalie Valeurs manquantes Valeurs aberrantes Valeurs incohérentes Doublons Types complexes d anomalie Méth. statistiques univariées Techniques caractérisant les distributions Skewness, Kurtosis Normalité, tests chi2, analyse des résidus, divergence Kullback-Lieber Control Charts: X-Bar, CUSUM, R Méth. stat. multi-variées MCD,MVE, estimateurs robustes Méthodes basées modèles Régression linéaire, logistique Méthodes probabilistes Clustering Techniques basées distance Techniques basées densité Techniques basées sous-espace Classification SVM, Réseaux Bayésiens Mesures basées sur la théorie de l information Méthodes basée noyau Découverte de motifs Découverte de règles d association Fouile de DFs Visualization Graphiques Q-Q plot Matrice de confusion Data Excellence Paris, 7-9 décembre

stat. multi-variées MCD,MVE, estimateurs robustes Méthodes basées modèles Régression linéaire, logistique Méthodes probabilistes Clustering Techniques basées distance Techniques basées densité

8 Exemplede sujet: quellesméthodeschoisir? Valeurs aberrantes Y Analyse bivariées Z X Analyse Multi-variées Y comparaison Y Légitimes ou problèmes de qualité de données? X Aire de rejet en dehors des 2% et 98% sur X et Y Rejet basé sur: Mahalanobis_dist(cov(X,Y)) > χ 2 (.98,2) Laure BERTI-ÉQUILLE séminaire CEREGE 12 Novembre X Data Excellence Paris, 7-9 décembre

9 Améliorer l outillage technique Repenseret automatiserla détectionet le nettoyage itératifs des données Détection Nettoyage Explication Données incohérentes Contraintes Données manquantes Imputation Doublons Dédoublonnement/fusion Outliers Méthodes stati. uni-/multivariées Patterns et dépendances entre anomalies Data Excellence Paris, 7-9 décembre

Données manquantes Imputation Doublons Dédoublonnement/fusion Outliers Méthodes stati.

10 Comprendre des phénomènes complexes Data Excellence Paris, 7-9 décembre

11 Échelles de temps et d espace variées Études de phénomènes climato-dépendants Eco-épidémiologie Data Excellence Paris, 7-9 décembre

12 Grande diversité de données scientifiques Données spatio-temporellestemporelles issues de capteurs et d instruments géo-référencés (marégraphes, sismographes, capteurs de T, polluants, etc.) issues d observatoires, télescopes, images satellites issues de modélisations numériques et de simulations (données en entrée et sortie de modèles) recueillies par observation directe de spécialistes (entomologistes, écologues, etc.) recueillies par entretiens avec les populations (relevés et tests cliniques sur des cohortes de patients, enquêtes) recueillies par les communautés et collectivités Data Excellence Paris, 7-9 décembre

) issues d observatoires, télescopes, images satellites issues de modélisations numériques et de simulations (données en entrée et sortie de modèles)

Downscalingstatistique : les étapes clés Source: http://www.ipcc-data.

13 Downscalingstatistique : les étapes clés Source: Data Excellence Paris, 7-9 décembre

14 Les défis pour l intégration des données multi-échelles Coupler nettoyage quantitatif / déclaratif Proposer une théorie du scaling unifiée Développer des techniques de «mapping analytique» des données multi-échelles Développer des outils performants qui planifient et guident l intégration Proposer des métriques de qualité des données multi-échelles intégrées Prévenir les risques du data snooping Data Excellence Paris, 7-9 décembre

Développer des outils performants qui planifient et guident l intégration Proposer des métriques de qualité

Documents pareils

Introduction au datamining

Introduction au datamining Patrick Naïm janvier 2005 Définition Définition Historique Mot utilisé au départ par les statisticiens Le mot indiquait une utilisation intensive des données conduisant à des