Techniques et astuces pour l enregistrement haute vitesse

Transcription

1 Techniques et astuces pour l enregistrement haute vitesse David SANCHEZ Ingénieur d Application NI France

2 stream ing [stree-ming] verbe 1. Fait de transférer des données depuis ou vers un instrument à une vitesse suffisamment élevée pour soutenir une acquisition ou une génération continue.

3 Les motivations pour le streaming de données Un volume de données toujours plus important Permet de tout enregistrer et de le lire ensuite Instruments DAQ, DSA, de vision et modulaires Disques durs : plus rapides, avec des capacités supérieures, pour un coût moindre! La technologie RAID HW est présente partout et est peu coûteuse PCI Express, ExpressCard, USB, 1394, esata Le PCI Express assure une bande passante dédiée plus élevée

4 Applications faisant appel au streaming de données Enregistrement et lecture RF Streaming IF et en bande de base Relevé de cartes acoustiques Streaming numérique Surveillance spectrale : Chengdu Huari - Entreprise de télécommunications Enregistrement et lecture RF : B&B Technologies Relevé de cartes acoustiques : Boeing

5 Les composantes clés du système Une plate-forme matérielle disposant d une grande bande passante et d une latence minime Enregistrement haute vitesse Disques durs (HDD) Disques durs électroniques (SSD) Les logiciels pour l enregistrement haute vitesse L instrumentation pour le streaming

6 Les composantes clés du système Une plate-forme matérielle disposant d une grande bande passante et d une latence minime Enregistrement haute vitesse Disques durs (HDD) Disques durs électroniques (SSD) Les logiciels pour l enregistrement haute vitesse L instrumentation pour le streaming

7 Bande passante croissante Bande passante (Mo/s) Bande passante et latence 10,000 1,000 PCI Express/ PXI Express (x4) 100 Gigabit Ethernet USB 2.0 IEEE 1394a PCI/PXI VME/VXI 10 Fast Ethernet GPIB (HS 488) USB 1.1 GPIB (488.1) Latence (μs) Latence décroissante

8 Architecture système d enregistrement PXI CPU Contrôleur Châssis Chipset Bus frontal Northbridge (Contrôleur de mémoire et de graphisme) RAM Segment 1 : 5 emplacements Emplacements 2 à 6 Segment 2 : 6 emplacements Emplacements 7 à 12 Segment 3 : 6 emplacements Emplacements 13 à 18 Bus interne Emplacements PXI Southbridge (Contrôle des E/S) Bus PCI HDD / SSD Connecteur emplacement PXI 1 (Bus PCI ) Bridge PCI Bridge PCI Bus PCI

9 L enregistrement depuis/vers le contrôleur de disque dur CPU Contrôleur Châssis Chipset Bus frontal Northbridge (Contrôleur de mémoire et de graphisme) RAM Segment 1: 5 emplacements Emplacements 2 à 6 Segment 2: 6 emplacements Emplacements 7 à 12 Segment 3: 6 emplacements Emplacements 13 à 18 Internal Bus Emplacements PXI Southbridge (Contrôleur des E/S) PCI Bus Connecteur PXI Emplacement 1 (Bus PCI) Bridge PCI Bridge PCI HDD/SSD Bus PCI

10 Aperçu du PXI Express Connexion série à 2,5 Gbit/s Les échanges PCI sont regroupés par paquets puis envoyés en série La connexion x1 (par 1) a une bande passante de 250 Mo/s par direction La connexion x16 (par 16) a une bande passante de 4 Go/s par direction Utilise le même modèle logiciel que le PCI Assure la compatibilité logicielle Longévité assurée grâce à la seconde génération de cadencement (5 Gbit/s)

11 Architecture système d enregistrement PXI Express Système PXI Express NI PXI-8109 PXIe-8133 NI NI PXI-1045 PXIe-1082 Bus PCI 132 Mo/s La bande passante totale du système dépend de la combinaison châssis/contrôleur 4 liens x4 PCI Express

12 NI PXIe-8133 Architecture pour l enregistrement Contrôleurs PXI Express CPU Intel Core i7-820 RAM x4 HDD Chipset Intel 5 Series x4 x4 Envoyé au châssis x4 Quatre liens PCI Express Gen 2 x4 indépendants capables de 2 Go/s Bande passante totale de 8 Go/s

13 NI PXIe-8108 Architecture pour l enregistrement Contrôleurs PXI Express CPU Intel Core 2 Duo RAM Chipset Contrôleur graphisme et mémoire Quatre liens x1 PCI Express Bande passante totale de 1 Go/s HDD Contrôleur des E/S x1 x1 x1 Envoyé au châssis x1

14 NI PXIe 1082 Depuis le contrôleur Architecture pour l enregistrement Contrôleurs PXI Express PXI Express Emplacement 1 Quatre Liens x4 PCI Express - Bande passante de 2 Go/s chacun x4 x4 x4 Lien x4 PCI Express x Emplacement PXI Emplacement PXI Express/hybride PCI Express vers PCI Emplacement PXI Express de cadencement

15 Fond de panier du NI PXIe-1075 Quatre liens x4 PCI Express PXI Express Emplacement 1 x4 x4 x4 x4 PCI Express Switch PLX PEX8532 PCI Express Switch PLX PEX8525 PCI Express Switch PLX PEX8532 PCI Express Switch PLX PEX8532 x4 x4 x4 x4 x4 x4 x4 x4 x4 x4 x4 x4 x4 x4 x4 x4 x PCI Express vers PCI PCI Express vers PCI Emplacement hybride Emplacement PXI Express Emplacement de cadencement du système PXI Express

16 Les composants clés du système Une plate-forme matérielle disposant d une grande bande passante et d une latence minime Enregistrement haute vitesse Disques durs (HDD) Disques durs électroniques (SSD) Les logiciels pour l enregistrement haute vitesse L instrumentation pour le streaming

17 Performances des disques Outermost rim Bord extérieur plus rapide 62 Mo/s sur le bord extérieur ; 36 Mo/s sur le bord intérieur Windows alloue l espace fichier du bord extérieur vers l intérieur Valable également pour la plupart des matrices de disques RAID

18 Comprendre les SSD Performances/capacité Deux types de disques SSD : SLC et MLC Cellule simple niveau (SLC) Pour : performances, durée de vie Contre : faible capacité, prix Cellule multiniveau (MLC) Pour : capacité, prix Contre : performances, durée de vie

19 Comprendre les SSD Performances/capacité 20 Go écrits sur 32 Go SLC SSD 160 Go écrits sur 256 Go MLC SSD

20 Que signifie RAID? Redundant Array of Independent Drives (matrice redondante de disques indépendants) est un terme qui désigne les schémas de la mémoire de masse qui divisent ou répliquent les données entre plusieurs disques durs.

21 Raid 0 RAID-0 Écriture en parallèle sur plusieurs disques durs Haut débit Espace de stockage important (> To) Le RAID 0 n est pas redondant Support transparent de Windows Contrôleur RAID-0 (entrelacement de disques)

22 Raid 1 RAID-1 Miroitage (redondance) 100 % de redondance des données Pas d accroissement de la vitesse d écriture sur un seul disque Débit le plus élevé de toutes les configurations Contrôleur RAID- 1 (miroitage)

23 Raid 5 RAID-5 Parité distribuée Très efficace, ne nécessite pas de disque supplémentaire Ne peut tolérer qu une seule panne de disque Performances médiocres avec de petits fichiers D 6 3 Contrôleur C 9 RAID (entrelacement 2 B 7 de 0 disques/parité) A 5 8 1

24 Raid 1+0 RAID-1+0 ou 10 Entrelacement de disques et miroitage Performances les plus élevées avec la redondance des données Peut supporter plusieurs pannes de disques La configuration nécessite deux fois les disques durs RAID-0 Contrôleur RAID-1 Contrôleur (miroitage)

25 Vitesse de transfert vers/depuis le disque Drive(s) Disque(s) Max Écriture/lecture Rate: Write/Read (Mo/s)(MB/Sec) Types de vitesse Laptop Portable 30 (PXIe-8103 (disque interne internal PXIe-8103 drive; 5400 ; 5400 RPM) RPM) Pic IDE 57 (Western Digital 160 GB; Go ; 7200 RPM) Pic SATA 62 (Western Digital 160 GB; Go ; 7200 RPM) Pic SATA 75 (Seagate Barracuda ; ; 250 GB) Go) Pic 2 RAID 114/127 (Contrôleur monté en rack 1U PXI 8351) Pic 4 RAID 200+/200+ (NI HDD-8263, NI 8353) Soutenu 8 RAID 448/439 (Contrôleur RAID PCIe x4 HighPoint 2320) Pic 8 RAID 370/374 (PCIe x4 Promise) Pic 12 RAID 600+/600+ (Contrôleur RAID NI 8264) Soutenu Vitesses du bord extérieur. Ne peuvent pas être soutenues sur l ensemble du disque.

26 Produits pour le streaming de données Montage en baie (externe) NI HDD Mo/s 1 To Plus d une heure à 100 Méch./s Montage en châssis (interne) NI HDD Mo/s 1 To Plus d une heure et demie à 100 Méch./s NI HDD Mo/s 12 To Plus de trois heures à 100 Méch./s Encombrement : 3 emplacements, quatre disques Option SSD (128 Go) RAID logiciel

27 NI 8260 Module d enregistrement haute vitesse en châssis Pour les systèmes PXI Express 3 emplacements 4 disques 200 Mo/s Version HDD : 1 To Version SSD : 128 Go/s

28 Les composants clés du système Une plate-forme matérielle disposant d une grande bande passante et d une latence minime Enregistrement haute vitesse Disques durs (HDD) Disques durs électroniques (SSD) Les logiciels pour l enregistrement haute vitesse L instrumentation pour le streaming

29 Utilisation des produits d enregistrement Le disque RAID apparaît comme une partition de l OS Windows Les VIs de l API Win32 file I/O depuis LabVIEW Les VIs d enregistrement inclus dans LabVIEW 8.6 LabVIEW 2010 API LabVIEW TDMS

30 Les composants clés du système Une plate-forme matérielle disposant d une grande bande passante et d une latence minime Enregistrement haute vitesse Disques durs (HDD) Disques durs électroniques (SSD) Les logiciels pour l enregistrement haute vitesse L instrumentation pour le streaming

31 Modules d enregistrement DIO PXIe-6544/45 100/200 MHz 32 lignes 1,2 V,1,5 V, 1,8 V, 2,5 V, 3,3 V 660 Mo/s Gén. arb. PXIe Méch./s 43 MHz, 16 bits 40 MHz DUC 200 Mo/s Numériseur PXIe voies 100 Méch./s 100 MHz, 14 bits 400 Mo/s

32 Modules d enregistrement VSG PXIe MHz à 6,6 GHz Bande passante100 MHz 125 Méch./s (Taux IQ) 500 Mo/s VSA PXIe MHz à 6,6 GHz Bande passante 50 MHz 62,5 Méch./s (Taux IQ) 250 Mo/s

33 Modules d enregistrement Générateur IQ PXIe Méch./s, 16 bits, double voie 145 MHz 600 Mo/s double voie 360 Mo/s simple voie Numériseur IF PXIe Méch./s, 16 bits MHz 60 MHz DDC 300 Mo/s

34 Modules d enregistrement Analyseur RF à 3,6 GHz Spécifications Gamme de fréquence : 20 Hz à 3,6 GHz Bande passante instantanée : 25/50 MHz avec DDC Niveau de bruit : < -154 dbm/hz (<-165 dbm/hz) IP3 : > +24 dbm (700 MHz à 3,6 GHz) Bruit de phase : -129 dbc/hz (offset de 800 MHz à 10 khz) Facteur de forme : PXIe (x4), 5 emplacements Caractéristiques RF List Mode Architecture d analyse multivoie Streaming de données haute vitesse et P2P

35 Modules d enregistrement Interface GigE PXIe-8234 Ethernet Gigabit 2 ports Logiciel NI Vision 250 Mo/s

36 Performances La plupart des opérations sont possibles sans lien direct au contrôleur (pas de switch) Le châssis et le contrôleur déterminent la bande passante maximale du système L emplacement et le type des modules sont des facteurs extrêmement déterminants

37 Comportement de l instrument : Entrée Mémoire Switch/ Bridge/ Chipset Switch/ Bridge/ Chipset Périphérique d entrée Donnée

38 Comportement de l instrument : Sortie Mémoire Switch/ Bridge/ Chipset Switch/ Bridge/ Chipset Périphérique de sortie Requête de lecture Donnée

39 Lignes de conduites haut niveau Les périphériques de streaming doivent (devraient) disposer de leur propre switch Les disques RAID doivent être les seuls périphériques de streaming sur un lien du contrôleur, qu ils soient derrière un switch ou non Les modules disposant de directions de streaming différentes (entrée et sortie) ne doivent pas êtres regroupés derrière le même switch Les périphériques basés PXI Express + NI-DAQmx (faible mémoire embarquée) peuvent partager le même switch En dessous d une bande passante totale de 400 Mo/s (entrée + sortie), il ne devrait pas y avoir de problèmes!

40 NI PXIe-5122 NI PXIe-5450 NI PXIe-5122 NI PXIe-5450 NI PXI-5122 NI PXIe-5450 NI PXIe-5122 NI PXIe-5450 Une application hautes performances CPU Contrôleur 3,2 Go/s Mémoire Memory PCI Express PXIe Switch Switch PCI Express PXIe Switch Switch PCI Express PXIe Switch Switch PCI Express PXIe Switch Switch

41 Questions?