PCIE40 Carte PCIe pour Readout LHCb. Centre de Physique des Particules de Marseille

Transcription

1 PCIE40 Carte PCIe pour Readout LHCb K.Arnaud, J.P. Cachemiche, J.P. Cachemiche,P.-Y. F. Réthoré Duval, F. de Hachon, M. Jevaud, R. Le Gac, Rethore Centre Physique des Particules def.marseille Centre de Physique des Particules de Marseille 1

2 Suppression du trigger hardware Loi de Moore Facteur 32/64 de puissance CPU entre 2008 et 2019 Trigger calculé dans les fermes envisageable Les systèmes précédents étaient capables de traiter des événements à 1 Mhz Un trigger logiciel implique de les traiter à 40 MHz c'est-à-dire «seulement» avec 40 fois plus de puissance de calcul Beaucoup plus flexible Le choix de LHCb 2

3 «Triggerless» readout Ne veut pas dire qu'il n'y a pas de trigger Classical Readout -s Triggerless Readout 40 MHz -s ~1 MHz Readout Trigger Readout Event builder Event builder Event Filter Farm Event Filter Farm 40 MHz No hardware trigger Very flexible Software trigger 3

4 Principe du «triggerless» readout Tous les fragments d'événements d'une même collision doivent être routés vers un seul CPU Event fragments Event fragments Event fragments Event fragments Event fragments Event fragments Trigger Computation Full event 4

5 Architecture initiale de LHCb Schéma éprouvé -ends Intermediate crates GBT protocol Commercial protocol Network Computer blades Commercial protocol Long life cycle Short life cycle Basé sur ATCA 5

6 Nouvelle architecture Déplacement des FPGAs back-ends dans les fermes de calcul 6

7 Chemin de données PCIe PCIe New DAQ board now a PCIe card 7

8 Avantages et inconvénients Coûts Plus de crates intermédiaires Moins de liens optiques Beaucoup de mémoire dans le CPU carte d'acquisition plus simple ou switches moins chers Possibilité de faire tourner le HLT dans les CPUs d'event building Plus de 80 % de la puissance inoccupée Durée de vie du système Vie moyenne d'un PC = ~4 ans (jusqu'à 8 selon statistiques du CERN) Que se passe t-il si les slots cuivre PCIe disparaissent du PC? Risque de devoir redesssiner er produire la carte PCIe40 Mitigation : Prochaine génération encore compatible Acheter des CPUs de réserve pour remplacer ceux qui tombent en panne Utilisation de cartes mères avec slots mixtes 8

9 Carte PCIe40 : principe Up to 48 optical inputs/outputs Serial signal up to 10 Gb/s Nominal 24 at 4.8 Gbits/s Bidirectional serial links for the TFC : SFP+ or PON (1->128) PCIe output GEN3 16 (~100 Gb/s) 9

10 Carte PCIE40 : Caractéristiques Principaux composants FPGA Altera Arria pins Bridge PCIe PLX émetteurs optiques et 4 récepteurs iptiques minipod (Avago) : 48 liens en entrée et 48 liens en sortie à 10 Gbits/s SFP+ pour la slow et fast control des front-ends Cartes mezzanines de puissance PCB au format PCI Express R3 Dimensions x mm Epaisseur 1.57 mm 14 couches Impédances controlées Vias enterrées 10

11 PCIE40 : challenge technique Distribution de puissance Séquençage de 10 tensions différentes avec composants de dernière génération Place prise par les alimentations Courants élevés (jusqu'à 60 A) Consommation : ~ 160 W Dernière version de FPGA Pas encore en production Prototypes développés avec version Engineering Samples (ES1 et ES2) Firmwares préparés avec une version préliminaire de Quartus Liens sériels 114 liens sériels à 10 Gbits/s Complexité du standard PCIe 11

12 PCIE40 Arria10 - Technologie 20nM pins 1.15 millions de logic cells 144 liens 10 Gbits/s Bande passante : Optique 480 Gbits en entrée, 480 bits en sortie PCIe 100 Gbits en entrée et en sortie 12

13 PCIE40 FPGA Programming management Monitoring T - Current Clock Tree Hardware parts Optical interface FPGA PCIe Switch TFC Interface POWER Supplies Mezzanine card 13

14 Schisme architectural? Choix effectués pour les systèmes de readout du CERN 14

15 Conclusion Status Carte reçue fin avril 90 % des fonctionnalités sont opérationnelles Prochaines étapes Vérification de bande passante sur PCIe Caractérisation complète de la carte Optimisation du design pour diminuer le coût Suppression des mezzanines Préproduction de 50 cartes fin 2015 Production de 600 cartes entre 2016 et 2017 Inaugure un nouveau concept de trigger et d'acquisition pour les machines LHC Architecture reprise par Alice 15