Techniques et astuces pour l enregistrement haute vitesse

Techniques et astuces pour l enregistrement haute vitesse David SANCHEZ Ingénieur d Application NI France

stream ing [stree-ming] verbe 1. Fait de transférer des données depuis ou vers un instrument à une vitesse suffisamment élevée pour soutenir une acquisition ou une génération continue.

Les motivations pour le streaming de données Un volume de données toujours plus important Permet de tout enregistrer et de le lire ensuite Instruments DAQ, DSA, de vision et modulaires Disques durs : plus rapides, avec des capacités supérieures, pour un coût moindre! La technologie RAID HW est présente partout et est peu coûteuse PCI Express, ExpressCard, USB, 1394, esata Le PCI Express assure une bande passante dédiée plus élevée

Applications faisant appel au streaming de données Enregistrement et lecture RF Streaming IF et en bande de base Relevé de cartes acoustiques Streaming numérique Surveillance spectrale : Chengdu Huari - Entreprise de télécommunications Enregistrement et lecture RF : B&B Technologies Relevé de cartes acoustiques : Boeing

Les composantes clés du système Une plate-forme matérielle disposant d une grande bande passante et d une latence minime Enregistrement haute vitesse Disques durs (HDD) Disques durs électroniques (SSD) Les logiciels pour l enregistrement haute vitesse L instrumentation pour le streaming

Bande passante croissante Bande passante (Mo/s) Bande passante et latence 10,000 1,000 PCI Express/ PXI Express (x4) 100 Gigabit Ethernet USB 2.0 IEEE 1394a PCI/PXI VME/VXI 10 Fast Ethernet GPIB (HS 488) USB 1.1 GPIB (488.1) 1 10 000 1 000 100 10 1 0.1 Latence (μs) Latence décroissante

Architecture système d enregistrement PXI CPU Contrôleur Châssis Chipset Bus frontal Northbridge (Contrôleur de mémoire et de graphisme) RAM Segment 1 : 5 emplacements Emplacements 2 à 6 Segment 2 : 6 emplacements Emplacements 7 à 12 Segment 3 : 6 emplacements Emplacements 13 à 18 Bus interne Emplacements PXI Southbridge (Contrôle des E/S) Bus PCI HDD / SSD Connecteur emplacement PXI 1 (Bus PCI ) Bridge PCI Bridge PCI Bus PCI

L enregistrement depuis/vers le contrôleur de disque dur CPU Contrôleur Châssis Chipset Bus frontal Northbridge (Contrôleur de mémoire et de graphisme) RAM Segment 1: 5 emplacements Emplacements 2 à 6 Segment 2: 6 emplacements Emplacements 7 à 12 Segment 3: 6 emplacements Emplacements 13 à 18 Internal Bus Emplacements PXI Southbridge (Contrôleur des E/S) PCI Bus Connecteur PXI Emplacement 1 (Bus PCI) Bridge PCI Bridge PCI HDD/SSD Bus PCI

Aperçu du PXI Express Connexion série à 2,5 Gbit/s Les échanges PCI sont regroupés par paquets puis envoyés en série La connexion x1 (par 1) a une bande passante de 250 Mo/s par direction La connexion x16 (par 16) a une bande passante de 4 Go/s par direction Utilise le même modèle logiciel que le PCI Assure la compatibilité logicielle Longévité assurée grâce à la seconde génération de cadencement (5 Gbit/s)

Architecture système d enregistrement PXI Express Système PXI Express NI PXI-8109 PXIe-8133 NI NI PXI-1045 PXIe-1082 Bus PCI 132 Mo/s La bande passante totale du système dépend de la combinaison châssis/contrôleur 4 liens x4 PCI Express

NI PXIe-8133 Architecture pour l enregistrement Contrôleurs PXI Express CPU Intel Core i7-820 RAM x4 HDD Chipset Intel 5 Series x4 x4 Envoyé au châssis x4 Quatre liens PCI Express Gen 2 x4 indépendants capables de 2 Go/s Bande passante totale de 8 Go/s

NI PXIe-8108 Architecture pour l enregistrement Contrôleurs PXI Express CPU Intel Core 2 Duo RAM Chipset Contrôleur graphisme et mémoire Quatre liens x1 PCI Express Bande passante totale de 1 Go/s HDD Contrôleur des E/S x1 x1 x1 Envoyé au châssis x1

NI PXIe 1082 Depuis le contrôleur Architecture pour l enregistrement Contrôleurs PXI Express PXI Express Emplacement 1 Quatre Liens x4 PCI Express - Bande passante de 2 Go/s chacun x4 x4 x4 Lien x4 PCI Express x4 2 3 4 5 6 7 8 Emplacement PXI Emplacement PXI Express/hybride PCI Express vers PCI Emplacement PXI Express de cadencement

Fond de panier du NI PXIe-1075 Quatre liens x4 PCI Express PXI Express Emplacement 1 x4 x4 x4 x4 PCI Express Switch PLX PEX8532 PCI Express Switch PLX PEX8525 PCI Express Switch PLX PEX8532 PCI Express Switch PLX PEX8532 x4 x4 x4 x4 x4 x4 x4 x4 x4 x4 x4 x4 x4 x4 x4 x4 x4 2 3 4 5 6 7 8 9 1 0 1 1 1 2 1 3 1 4 1 5 1 6 1 7 1 8 PCI Express vers PCI PCI Express vers PCI Emplacement hybride Emplacement PXI Express Emplacement de cadencement du système PXI Express

Les composants clés du système Une plate-forme matérielle disposant d une grande bande passante et d une latence minime Enregistrement haute vitesse Disques durs (HDD) Disques durs électroniques (SSD) Les logiciels pour l enregistrement haute vitesse L instrumentation pour le streaming

Performances des disques Outermost rim Bord extérieur plus rapide 62 Mo/s sur le bord extérieur ; 36 Mo/s sur le bord intérieur Windows alloue l espace fichier du bord extérieur vers l intérieur Valable également pour la plupart des matrices de disques RAID

Comprendre les SSD Performances/capacité Deux types de disques SSD : SLC et MLC 1 1 0 1 Cellule simple niveau (SLC) Pour : performances, durée de vie Contre : faible capacité, prix Cellule multiniveau (MLC) Pour : capacité, prix Contre : performances, durée de vie

Comprendre les SSD Performances/capacité 20 Go écrits sur 32 Go SLC SSD 160 Go écrits sur 256 Go MLC SSD

Que signifie RAID? Redundant Array of Independent Drives (matrice redondante de disques indépendants) est un terme qui désigne les schémas de la mémoire de masse qui divisent ou répliquent les données entre plusieurs disques durs.

Raid 0 RAID-0 Écriture en parallèle sur plusieurs disques durs Haut débit Espace de stockage important (> To) Le RAID 0 n est pas redondant Support transparent de Windows 8 0123 4567 8901 Contrôleur RAID-0 (entrelacement de disques) 0 1 2 3 4 5 6 7 9 0 1

Raid 1 RAID-1 Miroitage (redondance) 100 % de redondance des données Pas d accroissement de la vitesse d écriture sur un seul disque Débit le plus élevé de toutes les configurations 0123 4567 8901 Contrôleur RAID- 1 (miroitage)

Raid 5 RAID-5 Parité distribuée Très efficace, ne nécessite pas de disque supplémentaire Ne peut tolérer qu une seule panne de disque Performances médiocres avec de petits fichiers D 6 3 Contrôleur 0 1 4 C 9 RAID-5 012 345 678 901 (entrelacement 2 B 7 de 0 disques/parité) A 5 8 1

Raid 1+0 RAID-1+0 ou 10 Entrelacement de disques et miroitage Performances les plus élevées avec la redondance des données Peut supporter plusieurs pannes de disques La configuration nécessite deux fois les disques durs 0123 4567 RAID-0 Contrôleur RAID-1 Contrôleur (miroitage) 0 0 1 1 2 2 3 3 4 4 5 5 6 6 7 7

Vitesse de transfert vers/depuis le disque Drive(s) Disque(s) Max Écriture/lecture Rate: Write/Read (Mo/s)(MB/Sec) Types de vitesse Laptop Portable 30 (PXIe-8103 (disque interne internal PXIe-8103 drive; 5400 ; 5400 RPM) RPM) Pic IDE 57 (Western Digital 160 GB; Go ; 7200 RPM) Pic SATA 62 (Western Digital 160 GB; Go ; 7200 RPM) Pic SATA 75 (Seagate Barracuda 7200.10; ; 250 GB) Go) Pic 2 RAID 114/127 (Contrôleur monté en rack 1U PXI 8351) Pic 4 RAID 200+/200+ (NI HDD-8263, NI 8353) Soutenu 8 RAID 448/439 (Contrôleur RAID PCIe x4 HighPoint 2320) Pic 8 RAID 370/374 (PCIe x4 Promise) Pic 12 RAID 600+/600+ (Contrôleur RAID NI 8264) Soutenu Vitesses du bord extérieur. Ne peuvent pas être soutenues sur l ensemble du disque.

Produits pour le streaming de données Montage en baie (externe) NI HDD-8263 200 Mo/s 1 To Plus d une heure à 100 Méch./s Montage en châssis (interne) NI HDD-8260 200 Mo/s 1 To Plus d une heure et demie à 100 Méch./s NI HDD-8265 800 Mo/s 12 To Plus de trois heures à 100 Méch./s Encombrement : 3 emplacements, quatre disques Option SSD (128 Go) RAID logiciel

NI 8260 Module d enregistrement haute vitesse en châssis Pour les systèmes PXI Express 3 emplacements 4 disques 200 Mo/s Version HDD : 1 To Version SSD : 128 Go/s

Utilisation des produits d enregistrement Le disque RAID apparaît comme une partition de l OS Windows Les VIs de l API Win32 file I/O depuis LabVIEW 8.5.1 Les VIs d enregistrement inclus dans LabVIEW 8.6 LabVIEW 2010 API LabVIEW TDMS

Modules d enregistrement DIO PXIe-6544/45 100/200 MHz 32 lignes 1,2 V,1,5 V, 1,8 V, 2,5 V, 3,3 V 660 Mo/s Gén. arb. PXIe-5442 100 Méch./s 43 MHz, 16 bits 40 MHz DUC 200 Mo/s Numériseur PXIe-5122 2 voies 100 Méch./s 100 MHz, 14 bits 400 Mo/s

Modules d enregistrement VSG PXIe-5673 85 MHz à 6,6 GHz Bande passante100 MHz 125 Méch./s (Taux IQ) 500 Mo/s VSA PXIe-5663 10 MHz à 6,6 GHz Bande passante 50 MHz 62,5 Méch./s (Taux IQ) 250 Mo/s

Modules d enregistrement Générateur IQ PXIe-5450 400 Méch./s, 16 bits, double voie 145 MHz 600 Mo/s double voie 360 Mo/s simple voie Numériseur IF PXIe-5622 150 Méch./s, 16 bits 3-250 MHz 60 MHz DDC 300 Mo/s

Modules d enregistrement Analyseur RF à 3,6 GHz Spécifications Gamme de fréquence : 20 Hz à 3,6 GHz Bande passante instantanée : 25/50 MHz avec DDC Niveau de bruit : < -154 dbm/hz (<-165 dbm/hz) IP3 : > +24 dbm (700 MHz à 3,6 GHz) Bruit de phase : -129 dbc/hz (offset de 800 MHz à 10 khz) Facteur de forme : PXIe (x4), 5 emplacements Caractéristiques RF List Mode Architecture d analyse multivoie Streaming de données haute vitesse et P2P

Modules d enregistrement Interface GigE PXIe-8234 Ethernet Gigabit 2 ports Logiciel NI Vision 250 Mo/s

Performances La plupart des opérations sont possibles sans lien direct au contrôleur (pas de switch) Le châssis et le contrôleur déterminent la bande passante maximale du système L emplacement et le type des modules sont des facteurs extrêmement déterminants

Comportement de l instrument : Entrée Mémoire Switch/ Bridge/ Chipset Switch/ Bridge/ Chipset Périphérique d entrée Donnée

Comportement de l instrument : Sortie Mémoire Switch/ Bridge/ Chipset Switch/ Bridge/ Chipset Périphérique de sortie Requête de lecture Donnée

Lignes de conduites haut niveau Les périphériques de streaming doivent (devraient) disposer de leur propre switch Les disques RAID doivent être les seuls périphériques de streaming sur un lien du contrôleur, qu ils soient derrière un switch ou non Les modules disposant de directions de streaming différentes (entrée et sortie) ne doivent pas êtres regroupés derrière le même switch Les périphériques basés PXI Express + NI-DAQmx (faible mémoire embarquée) peuvent partager le même switch En dessous d une bande passante totale de 400 Mo/s (entrée + sortie), il ne devrait pas y avoir de problèmes!

NI PXIe-5122 NI PXIe-5450 NI PXIe-5122 NI PXIe-5450 NI PXI-5122 NI PXIe-5450 NI PXIe-5122 NI PXIe-5450 Une application hautes performances CPU Contrôleur 3,2 Go/s Mémoire Memory PCI Express PXIe Switch Switch PCI Express PXIe Switch Switch PCI Express PXIe Switch Switch PCI Express PXIe Switch Switch

Questions?