Traitement des données Gaia Aperçu, organisation Participation française ---- F. Mignard OCA/Cassiopée 1
Sommaire Le traitement de données Formation & organisation du DPAC Participation Française 2
3 I- Les Données et le traitement
Types de données Trois instrument fournissant trois flots de données Données astrométriques des CCD du champ principal Données photométriques des deux photomètres (BP, RP) Données spectroscopiques Toutes les données arrivent sous forme de paquets de télémétrie 4
Le défi en quelques nombres Volume de données télémétrie compressée données brutes au sol données traitées et archives 250 Tb 100 TB ~1 PB Dimension du traitement 1.5x10 21 FLOPs Puissance de calcul au sein du DPAC > 20 TFLOP/s 2 yr CPU pour 10 21 FLOPs Transfert des données Flux quotidien vers le sol Échange entre les DPCs : 50 GB/day toujours un défi 5
Etapes nécessaires du traitement Traitement global : Réception des données, calibration, attitude, système (AGIS) Mise à jour de la base de données, stockage Données scientifiques : Traitement général par objet solution astrométrique des étoiles secondaires photométrie, analyse des variables analyse des données RVS Objets particuliers étoiles doubles et multiples galaxies non résolus quasars objets du système solaire Analyse scientifique globale 6
Structure d'ensemble du traitement de données Systèmes multiples Exo-planètes Etoiles secondaires Solution astrométrique Formulation relativiste Système de référence/qsos Modèle de rotation gal. Vitesse radiale Variabilité Système solaire Caractérisation astrophysique L, T eff, Fe/H.. Spectroscopie Photométrie Calibration Attitude Solution Astrométrique itérative Astrométrie First Look Meilleurs param. instrumentaux Données orbitales Éphémérides SS ~ 6 mois Itérations Identif. sources Catalogue intermédiaire Attitude de bord Param. d'image PSF/LSF données CCD Quotidien 7
daily ~ 6 months irregular Telemetry Telemetry Gaia S/C Ground station Telecommands House Keeping ESA Science Center @ ESAC First Look Reports Command file Orbit data, S/C data Mission Control @ ESOC Raw data F/L Results Reference data Initial data treatment First look Simulation Raw data base daily storage Image parameters Image update AGIS Ast. Valid. Main data base version n Objects Photom. Spectro. Variability Ast. Param. Gaia products version n-1 DPAC 8
9 II- Formation & organisation du DPAC
Conditions aux limite de l'organisation I Pas de doublement du traitement principes acquis avec Hipparcos ressource non disponibles pour une duplication mais certains éléments spécifiques pourraient l'être c'est un élément de la validation Pas de possibilité d'avoir un institut spécialisé Le développement du S/W doit être effectué en de nombreux endroits cela implique une grosse coordination H/W dans un nombres très limité de centre instituts où sera fait le traitement effectif 10
Conditions aux limite de l'organisation II Le traitement de données est très largement à la charge de la communauté le projet finance : le satellite, le lancement, les opérations, réception et archivages des données le traitement initial et l'astrométrie 'core' ESA ne finance pas l'analyse scientifique Financement à trouver auprès des agences nationales Consortium Européen Un prototype de traitement de données a été développé en 2003-2006 objectif : évaluer la faisabilité des approches actuelles aborde : le système, le matériel, la base de données, les accès définition des algorithmes, intégration et tests 11
Formation du DPAC L' ESA a émis un appel d'offre vers la communauté publié en novembre 2006 il ne concerne que le traitement de données Un consortium s'est formé dans le but de répondre DPAC = Data Processing & Analysis Consortium Il doit transformer les données brutes en résultats astronomiques production d'un catalogue astrométrique, photométrique et spectroscopique sur les étoiles, les objets du SS, les quasars Officiellement sélectionné par le Comité des Programmes Scientifiques de l'esa en mai 2007 12
La mission et le DPAC Acquisition des données Télémétrie Traitement de données DPAC Résultats finaux position PM parallaxes Vitesse radiale magnitude variabilité orbites, masses T eff, log g 13
Responsabilités du DPAC Préparation de l'analyse des données choix de la structure générale définition et programmation des algorithmes Production de données simulées pour assister : la conception de l'ensemble le développement des méthodes les tests à toutes les échelles Conception, développement et mise en place de la chaine de traitement gestion des flots de données entre les groupes test et intégration des logiciels acquisition, maintenance et mise en place du matériel (H/W) production des données intermédiaires et finales Contrôle qualité, documentation, interfaces 14
Membres du DPAC En juillet 2007 : 330 membres ~ 180 FTE 16 pays représentés Essentiellement postes stables dans le monde universitaire Distribution sur les CUs CU1 CU2 CU3 CU4 CU5 CU6 CU7 CU8 total 34 67 69 58 55 50 46 64 443 Les contributeurs les plus importants fr it de be uk es ch gr esac 82 62 28 23 26 21 13 9 14 15
Les Instituts Participants > 20 personnes 15 20 11 14 8 10 5 7 3 4 1 2 DPC 16
Le DPAC dans la structure mission European Space Agency Agences Nationales ESA Project Manager/Team ESA Project Scientist Data Processing Research Training Network 2006-2010 Industriel Gaia Science Team Sous-traitants Communauté Scientifique Gaia People Finder recense environ 500 personnes (excluant l'industrie) 17
Organigramme général du DPAC Pas de relation simple : une CU un DPC Gaia Project Team DPACE Gaia Project Scientist CU1 Architecture du système Unités de Coordination Gaia Science Team CU2 CU3 CU4 CU5 CU6 CU7 CU8 Simulation Traitement central Objets complexes Traitement photométrique Traitement spectroscopique Traitement des variables Paramètres astrophysiques DPC ESAC DPC Barcelone DPC Turin DPC Cambridge DPC Genève DPC CNES Centres de traitement des données 18
Organigramme général du management I Pas de relation simple : une CU un DPC 19
Organigramme général du management II Pas de relation simple : une CU un DPC 20
21 III- Participation Française
Implication des équipes Françaises I Equipes scientifiques : 3 pôles : Observatoire de Paris (GEPI, IMCCE, SYRTE, LESIA) Observatoire de la Côte d'azur (Cassiopée) CNES/CST Autres centres Observatoires de Besançon, Bordeaux, Marseille, Montpellier, Strasbourg IAP 80 membres du DPAC, 25% de l'effectif 22
Implication des équipes Françaises II Effectif OBSPM 32 (dont IMCEE 8) OCA 17 CNES 10 (+ 4 externalisés) Obs. Besançon 5 Obs. Strasbourg 4 IAP 4 Obs Bordeaux 2 OAMP 2 UNSA 2 GRAL 1 Dans les CUs: 1 2 3 4 5 6 7 8 8 28 7 29 1 29 4 17 23
Implication des équipes Françaises III Responsabilités Management général (2 DPACE, présidence) Responsabilité du DPC-C (CNES) 5 coordinateurs ou co-coordinateurs de CUs (CU1, 2, 4, 6 et 8) 6 membres des Comités de Pilotage des CUs (CU4 et 6) Responsabilité du GBOG (Coordination des observations au sol) Soutien aux équipes CNRS, Ministère CNES Laboratoires d'accueil Commission Européenne avec ELSA Collectivités territoriales (en province) 24
Implication des équipes Françaises IV Thématiques Etudes instrument RVS Logiciel de bord pour la détection Simulation: analyse générale, modèle d'univers GIBIS, spectro, système solaire, QSOs, validation, spectres synthétiques Préparation analyse de données spectro (définition du système, calibration lambda, analyse des spectres) systèmes multiples, binaires spectro, système solaire classification automatique, paramètres atmosphériques Système de référence, tests physique fondamentale Données auxiliaires (stellaires, physique, éphémérides) 25
26 Merci de votre attention
Organisation du traitement Le traitement nécessite des expertises spécifiques et un fort engagement : Analyse globale d'un projet complexe besoin de développeurs S/W professionnels contrôle qualité indispensable engagement des équipes sur ~ 10 à 15 ans capacité à travailler dans un environnent très contraint L'organisation type n'existait pas Ce n'etait plus le même type d'activité que dans les WG le niveau de coordination est sans commune mesure l'analyse scientifique n'est pas la première tâche du DP mais un but final les responsabilités doivent être claires et hiérarchisées Solution: Mise en commun des efforts et des ressources dans un consortium 27
Qu'est ce que le DPAC Group transnational structuré pour préparer et exécuter le DP Ce groupe a répondu à l'appel d'offre de l'esa il doit être en mesure de fonctionner pendant ~ 13 années Ce groupe doit avoir une visibilité : pour le projet en général (ESA, science program, AWG/SPC) nationalement pour les financements et les postes au niveau européen pour les programmes post-doctoraux C'est un élément de visibilité du projet au niveau international le DPAC doit avoir sa propre organisation et ses ressources pour assurer le traitement dans son intégralité Les spécifications ont été données dans l'ao et le SMP Le DPAC a fait une proposition à l'esa 28
Gaia Etat du projet et calendrier 1994 1993 1995 1996 2000 2005 2006 2010 2015 2016 2017 2018 2019 2020 Proposition Définition 1997 1998 1999 2004 2003 2002 2001 Concept & Etude Technologique Selection de la Mission Phase de réévaluation Phase B1 2009 2008 2007 Aujourd'hui 2014 2013 2012 2011 Sélection de l'industriel (EADS Astrium) Implémentation Opération Traitement des données Etudes Phase B2 Phase C/D Développement des logiciels Lancement 2011-Dec-01 Opéeration Scientifique Traitement des données de la Mission Produits de la Mission Intermédiaire Final 29