Base de données en radioastronomie à Nançay - CENTRE DE DONNEES RADIO - LOFAR - PULSAR LPC2E/USN I.Cognard, LPC2E

Transcription

1 Base de données en radioastronomie à Nançay - CENTRE DE DONNEES RADIO - LOFAR - PULSAR LPC2E/USN I.Cognard, LPC2E G.Theureau, USR Nançay Plan Les instruments à Nançay Un centre de données Radio à Nançay Les base de données PULSARs Chronométrie Ephémerides pour FERMI Recherche de nouveaux pulsars

2 Les instruments à Nançay Radio Environment Monitoring 100 MHz 4 GHz CODALEMA MHz NRT 1,0-3,5 GHz EMBRACE 0,5-1,5 GHz NDA MHz LOFAR MHz ORFEES GHz NRH MHz

3 Centre de Données Radio Historiquement : données solaires (BASS2000) ; spectres hydrogène HI (HI-G / KLUN) monitoring pulsars (PSC-FERMI) De gros besoins... L'arrivée de LOFAR, puis de NenuFAR service SO3 (JMGriessmeier) - de gros volumes de données, un stockage temporaire à Gröningen - des données interférométriques complexes - des utilisateurs externes support à la préparation des demandes d'observation support à la réduction des données mise à dispositions d'outils Surveillance solaire service SO6 (Obs Paris) - une suite instrumentale unique à valoriser - l'axe météorologie de l'espace - le support aux missions spatiales (Solar Orbiter, Solar Probe+) + contexte de restructuration à Meudon et BASS contexte Observatoire Virtuel (OV-Paris) De nombreux autres besoins sur le site - NRT / WIBAR, NRT / BON - EMBRACE/ SDM - NSA - CODALEMA service SO3 (GTheureau) SO4 (LGuillemot)

4 HI-G Des profils 21-cm calibrés ~4500 galaxies (gif, ascii, fits) + paramètres raie HI + visu données brutes temps-fréquence + VOSpec (outil générique)

5 Données solaires Imagerie (visibilités) Spectres dynamiques temps-fréquence Spécificité : haute résolution temporelle 1ms 10s BASS2000 SECCHI-RH

6 Installation Centre de Données Radio Calendrier 2011 financement régional PIA + CPER (210 k ) + ObsParis (25k ) Moyens infrastructure (serveurs de stockage, serveur de calcul, salle) 90 keuros 2 CDDs «développement d'applications» pipeline et base de données F.Badia : Science Data Model d'embrace et BdD RFI (Interférences Radio) N.Vilchez : pipeline «spectres dynamiques» de LOFAR 2013A fin des travaux en salle serveurs création d'un poste «traitement et base de données» (Lucile Coutouly, US Nançay) concours juin-juillet, décision en septembre, prise de fonction mi-octobre 2013B pour la phase 1 : données solaires Consultation élargie des besoins mai-juin (retours des chercheurs) Définition Cahier des charges 2014A Homogénéisation formats de données Conception BdD Réalisation interface web 2014B Connexion existant Secchi-RH et BASS2000 Définition couche OV (Observatoire Virtuel)

7 Les bases de données PULSARs Le pulsar est une étoile à neutrons (reste de l'explosion d'une grosse étoile), dont nous recevons régulièrement des impulsions radio à la manière d'un phare au bord de la mer Ce sont des horloges ultra-stables qui peuvent être utilisées pour de nombreuses applications, dont des tests de la gravitation (Relativité Générale d'einstein).

8 Base de données 'Chronométrie' une base toute simple... 1 entrée par observation de chronométrie (mesures de temps d'arrivée) nom du pulsar, fréquence d'observation, durée d'intégration, bande passante, SNR, etc... ~ observations en ~9 ans ~ 9MB

9 Base de données d'éphémérides pour Fermi Centraliser les éphémérides (ensemble de paramètres décrivant le pulsar et sa rotation) de pulsars créées à partir des observations radio et X, et qui seront utilisées pour rechercher des pulsations dans les données haute energie du Fermi Large Area Telescope. fin 2013 : 885 pulsars pour un total de 6406 éphémérides La page web est hébergée au CENBG ( - serveur apache, code en php et base de données MySQL. Alimentée avec de nouvelles éphémérides par l'utilisateur "admin", à travers une fonctionnalité "submit data" accessible dans l'interface web. Consultée par l'utilisateur ''lambda'' au moyen de filtres (nom du pulsar, coordonnées dans le ciel, etc...) pour un choix des différentes éphémérides, et de données annexes Lucas Guillemot, OSUC

10 Base de données d'éphémérides pour Fermi

11 Base de données d'éphémérides pour Fermi

12 Base de données d'éphémérides pour Fermi Résultat d'une requête sur une éphéméride du pulsar J

13 Bases de données de recherche de pulsars nouveaux depuis 2012 : un programme de recherche de nouveaux pulsars à Nançay position dans le ciel, période et distance sont inconnues une petite zone du ciel 6000 observations de ~20mins ~50TB de données brutes un traitement sur le calculateur de l'in2p3 à Lyon cœurs 24/24h (sur les disponibles) de nombreuses observations, beaucoup de candidats, faire le tri! Grégory Desvignes, MPIfR

14 Bases de données de recherche de pulsars nouveaux Base de données 'Observations' à Nançay (~165MB) pour la gestion des observations à Nançay une Table 'grille' ~ entrées (toutes les observations possibles sur le ciel entier) une Table 'observation' avec une entrée dès qu'une observation est planifiée un status qui qui renseigne si 'observée', 'échouée', etc... Base de données 'Candidats' à Nançay Pour les résultats des traitements au CC-IN2P3 CC : requête d'un fichier à traiter à BdD 'Observations' Nançay : OK avec modification de l'entrée dans BdD 'Observations' Base de données 'Processing' au CC-IN2P3 CC : téléchargement (bbftp) et création des 31 jobs dans la BdD 'Processing' CC : jobs de calcul terminés, renvoi des résultats vers BdD 'Candidats' MySQL Administration par ligne de commande et phpmyadmin Connecteurs python pyodbc (95% des scripts) et C++ Sauvegarde quotidienne sur serveur distant

15 Bases de données de recherche de pulsars nouveaux moteur innodb pour supporter les transactions

16 Bases de données de recherche de pulsars nouveaux Base de données 'Candidats' 150 candidats pulsars par observations ~ candidats 21 caractéristiques par candidat (période, distance, SNR, etc...) 1 fichier png par candidat enregistré dans la Base en BLOB 1 fichier binaire par observation (tar de 2MB) enregistré sur disque avec le chemin inscrit dans la Base à ~40% de la recherche, 55GB (dont 51GB de png) Exemple d'un png de candidat : Pulsar rapide (période=2.4ms) découvert il y a ~6 mois

17 Bases de données de recherche de pulsars nouveaux code psrhunt.py pour interroger la base pour chercher et caractériser les candidats nouveaux pulsars