Informatique Online Responsabilité du LAPP Architecture du système Online Système de distribution d horloge Système d acquisition de données Conclusion 6 Novembre 2002 Evian - A.Masserot 1
Responsabilités du LAPP Système de distribution d horloge et d estampillage Système d acquisition de données Contrôle du banc de détection Système de lecture des photodiodes: détection et alignement Système d étalonnage Galaxie: mesure de la position des miroirs, visualisation de faisceaux 6 Novembre 2002 Evian - A.Masserot 2
Architecture matérielle du système Online 32 châssis VME (24) 40 CPU VME RIO806X (30), 10 DPS Motorola (0) 25 Stations de travail Alpha (667 MHz, 512 MB, Gigabit Eth.) (10) 8 Switch Ethernet 100Mb - 1 Gb (3) Carte Timing (32), DOL (73), Camera (21), TTL/OPT (8), OPT/TTL(36) 6 Novembre 2002 Evian - A.Masserot 3
Architecture fonctionnelle du système Online Fast Digitization Locking and Alignment Servo-Loops Fast Digitization or Local Servo-Loop Environment Monitoring < 1Hz Photodiodes Readout Global Control Damping and Control suspensions Calibration Frame Builder, Local Control Slow Monitoring Station Timing Crate GPS Fast Frame Builder Main Frame Builder Detector Monitoring Slow Frame Builder Timing System Frame Building Frame Processing GPS signals Data Archiving H Reconstruction Data Quality On-line Processing Timing Information Servo-Loop DOL (Optical Fibers) DOL (Optical Fibers) SMS format (Ethernet) Frame format (Ethernet) Data Distribution 6 Novembre 2002 Evian - A.Masserot 4
Système de distribution d horloge Fonctionnalités Cadencer les boucles d asservissements Fournir l estampillage des données pour le DAQ Permettre l échange de données entre détecteurs Implémentation Par châssis une carte TIMING: génération de signal, estampillage Système centralisé piloté par GPS, distribution câblée Horloge rapide à 2.5MHz: Locking 10KHz, Alignment 500Hz Signaux d estampillage: Frame 1Hz, Sampling 20KHz, 6 Novembre 2002 Evian - A.Masserot 5
Système de distribution d horloge Master Timing Crate GPS CPU Generator & Distributor Part TTL/TTL TTL/TTL TTL/TTL Run TTL/TTL TTL/TTL TTL/TTL Return Build. GPS Return Frame Timing Sampling Frame Sampling Fast Clock Timing Coax Cables Coax Cables Coax Cables Coax Cables ADC,DAC CPU Timing ADC,DAC Camera,DOL CPU Timing ADC,DAC Camera,DOL CPU Timing ADC,DAC Camera,DOL CPU Timing ADC,DAC Camera,DOL CPU Timing ADC,DAC Camera,DOL West Arm Building CPU Timing ADC,DAC Camera,DOLNorth Arm Building CPU Timing Mode Cleaner Building Central Building Monitoring & Control Part Timing Distributor Crate User s Timing Crates Timing Distributor Crate User s Timing Crates Timing Distributor Crate User s Timing Crates Timing Distributor Crate User s Timing Crates TTL/OPT TTL/OPT Frame OPT/TTL Run OPT/TTL Frame OPT/TTL OPT/TTL TTL/OPT Frame Sampling OPT/TTL Sampling Fast Clock Run OPT/TTL Frame OPT/TTL OPT/TTL TTL/TTL Frame Sampling OPT/TTL Sampling Fast Clock Run OPT/TTL Frame OPT/TTL OPT/TTL Frame Sampling TTL/TTL Sampling Fast Clock Run OPT/TTL Frame TTL/TTL TTL/TTL Sampling Sampling Fast Clock Optical fibers Timing information (Cm) 6 Novembre 2002 Evian - A.Masserot 6
Système d acquisition de données Fonctionnalité: Collecter des données distribuées: environnement, boucles d asservissement, banc de détection Flexible: ajout de canaux, de sous-systèmes,... robuste: efficacité: 99 % (90h/an de perte ) Implémentation Châssis VME pour l acquisition Front End Collection de données des asservissement via DOLs Mise en forme des données au format FRAME FRAME: ensemble de données numérisées pendant le même intervalle de temps Assemblage des Frames via Ethernet commuté (100MBits/s ou Gbits/s) Station de travail pour l acquisition centrale 6 Novembre 2002 Evian - A.Masserot 7
Système d acquisition de données Environment Monitoring Suspension Detection Bench Las., Env., Tower, Tubes 7Sa -7Sc Ca 7 SaSvr Gc 3 Qr 4 Pr 3 Vb, 3 Lo, Sr 2 Fbf 2 GxS 2 Fbf 7 GxS 3GxS 2 Fbf Pi Mc Fbm Fbs Fbm Fbs Fbm Fbs 2.7MB/s 3.3MB/s 3.0MB/s Sa,Sc: Suspension control Qr: Quadrant readout Pr: Photodiode readout DataDisplay Fbm 9MB/s (4MB/s) Storage Gc: Global control GxS: Galaxie server Fbf: Fast Frame Builder Fbs: Slow Frame Builder Fbm: Main Frame Builder 6 Novembre 2002 Evian - A.Masserot 8
DAQ - Contrôle et surveillance 6 Novembre 2002 Evian - A.Masserot 9
Flots de données Frame de données brutes Échantillonnage à 20KHz ou 10KHz Frame: 1s => 4MB (jour: 345GB, année: 120TB) Frame de données à 50Hz accès rapide au données à faible bande de fréquence ré-échantillonnage avec filtrage des canaux rapides Frame: 10s => 1.1MB (jour: 9GB, année: 3.3TB) Frame de données réduites (Trend) Offre un accès rapide sur une grande période de temps (semaine) données réduites: min, max, moy, rms pour chaque canal sur une période de 1s Frame: 30mn => 9.6MB (jour: 460MB, année: 170GB ) 6 Novembre 2002 Evian - A.Masserot 10
Flots de données - Architecture Env. Moni Frame Builder Suspension Frame Builder Detection Frame Builder 50Hz processing 50Hz processing 50Hz processing Main Frame Builder Trend Frame Builder 50 Hz Frame Builder Web Full Frame Storage (disks) Trend Frames Disks 50Hz Frames Disks Vega DB (Root) 6 Novembre 2002 Evian - A.Masserot 11
WEB surveillance Exemple : signal de sortie ITF sur 8h pendant run E4 (min, max, mean) 6 Novembre 2002 Evian - A.Masserot 12
Estampillage Virgo - Ligo Temps de propagation Virgo-Ligo : 30ms Déterminer les erreurs d estampillage GPS liées au différents DAQ Estimer l incertitude d estampillage NTP Server GPS NDAS Clock LLO TTL signal every 10 s. NDAS Clock Virgo TTL signal every 10 s. GPS NDAS server Merged frames NDAS server 1.1.1LLO DAQ 1.1.1Virgo DAQ 6 Novembre 2002 Evian - A.Masserot 13
Estampillage Virgo - Ligo Pas d erreurs systématiques d estampillage GPS (seconde) Incertitude d estampillage de +/- 2ms limitée probablement par NTP Utilisation d une horloge atomique 6 Novembre 2002 Evian - A.Masserot 14
DAQ - Efficacité Run E 3 3 jours Période: 16 Mai 02-16:57:18 au 19 Mai 02-16:57:18 Perte de 113/259200 secondes - Efficacité: 99.95 % (TiServer crash) 6 Novembre 2002 Evian - A.Masserot 15
DAQ - Efficacité Run E4 3 jours Période: 12 Juillet 02-15:58:50 au 19 Juillet 02-19:35:03 Perte de 527/272174 secondes - Efficacité: 99.80 % (Pb réseau) 6 Novembre 2002 Evian - A.Masserot 16
DAQ - Efficacité Juin 2002 1 mois Run période «stable» pour le DAQ Période de commisioning: arrêt/redémarrage, configuration,... Perte de 604/43200 minutes - Efficacité: 98.60 % 6 Novembre 2002 Evian - A.Masserot 17
Conclusion L ensemble du Online est opérationnel sur site depuis Mai 2001 Système d acquisition de données Efficacité supérieure à 98 % (Juin 2002) Latence réduite (3s) : utilisé pour le contrôle en ligne Contraintes sur la boucle principale d asservissement: Grande dynamique pour acquérir le verrouillage faible bruit pour maintenir le verrouillage Recherche et développement 6 Novembre 2002 Evian - A.Masserot 18
Recherche et Développement Boucle principale de contrôle: développements potentiels Électronique: dynamique, contrôle du gain, filtre de compression immunité au bruit EM (Timing système, signaux différentiels...) moyen d échange de données: connexion point à point, bus,. ADC avec plus de bits Améliorer le temps de réponse de la boucle: Augmenter la fréquence de cadencement Réduire le nombre d éléments du pipeline Augmenter la puissance de calcul: Filtre plus complexe stratégie de verrouillage plus complexe Collaboration Annecy-Pise 2003: Évaluation du travail à entreprendre 6 Novembre 2002 Evian - A.Masserot 19