Ina - Retour d'expérience : PRA : Disponibilité et montée en charge de l'infrastructure des archives numérisées. Ludovic BEY

Transcription

1 Ina - Retour d'expérience : PRA : Disponibilité et montée en charge de l'infrastructure des archives numérisées Ludovic BEY

2 L Ina son parcours 1974 L Institut national de l audiovisuel voit le jour. Son rôle est triple : la conservation des fonds d archives de la radio et de la télévision françaises, la recherche et la formation professionnelle L Ina se voit confier le dépôt légal de l ensemble des chaînes de radio et de télévision L Ina initie un vaste plan de sauvegarde et de numérisation de ses archives. Il s agit à la fois de lutter contre la détérioration des supports d archives physiques et de favoriser l exploitation multimédia des fonds conservés. L Ina initie une démarche pionnière qui fait de la France une référence incontournable dans le monde.

3 L Ina son parcours 2007 Création d Ina SUP, l école de l audiovisuel et du numérique, proposant deux masters spécialisés La France sera le premier pays à avoir sauvé 100% de sa mémoire audiovisuelle Le site Internet Ina.fr permet au public d accéder à plus de émissions de radio et de télévision Lancement d inamediapro.com Plus qu un site, InaMEDIAPRO est un outil de recherche, de sélection et de commande d images d archives pour les professionnels. Il facilite l accès à la 1ère banque mondiale d archives audiovisuelles. Plus de la moitié du fond menacé (soit heures) est sauvée et numérisée. Le site ina.fr s enrichit de nouvelles offres uniques. Assises Monaco octobre

4 La mission de la DSI Domaines fonctionnels : 1 domaine progiciel pour les services centraux RH, DAF, Communication 3 domaines métiers spécifiques : Institut de formation Vente des archives aux professionnels Production & Edition Quelques chiffres : Effectif environ 70 personnes 400 serveurs en environnements hétérogènes Plus de 2 Peta octets de données gérées

5 Zoom Vie d une archive professionnelle Chaines PàP Prod: MPEG2 sur LTO Bases de données Média original Enregistrement MPEG1 et 2 Prod: MPEG1 sur NAS Copie: MPEG1 sur NAS Visionnage Workflow Découpage Solutions back office Commande Analyse juridique Support de livraison Copie: MPEG2 sur SDLT Extranet Personnel INA Les Essarts Page Partenaires Producteurs Ayants-droits

6 Problématiques et solution retenue Constat : Un système d information de plus en plus intégré aux cœurs des métiers de l Ina De nouvelles données traitées de l ordre de 100 To par mois Que risque l Ina en cas de sinistre majeur? Une perte du fond numérisé ( heures aujourd hui sur ) Impact majeur sur le business & l image de marque de l Ina La Solution Mettre en place un Plan de reprise d activité sur le process de vente des archives numérisées Assises Monaco octobre

7 Les Solutions techniques FrontOffice Le site Inamediapro.com InaMEDIAPRO est un outil de recherche, de sélection et de commande d images d archives pour les professionnels Utilisateurs Internet Production Le site Internet Ina.fr permet au grand public d accéder à plus de émissions de radio et de télévision. Légende: Requêtes DNS Flux Nominal Flux en Bascule Cluster A/A via réseau INA Secours

8 Les Solutions techniques FrontOffice L Ina est client F5 depuis 2006 lors de la première mise en ligne de son site grand public Pour la sortie du nouveau site (avec 40 ans de publicité en ligne), nous avons décidé de tester l architecture cible afin de garantir un niveau de réponse correct lors du lancement officiel prévu en juin 2009 Ce banc d essai a eu pour objectif de garantir la tenue en charge de l application OGP V2 (Offre grand Public). L application devra répondre aux futures exigences en termes de fréquentation et de téléchargement de vidéos. Environnement Open source 8 Frontaux web et visionnage 2 Frontaux web et visionnage sur le site de secours 2 serveurs de livraisons 7 serveurs de base de données Module LTM & GTM activé Vidéo Mpeg4 à 450 Kb/s pour le visionnage Vidéo 1,1 Mb/s tatouées + DRM pour le téléchargement & la DVOD Pour cela, nous avons fait appel à un partenaire afin d effectuer des tests de montée en charge des composants d architectures (équipements réseaux, les BigIP F5, les équipements serveurs, les couches applicatives)

9 Les Solutions techniques FrontOffice Résultat du Bench de montée et tenue en charge :

10 Les Solutions techniques FrontOffice Lors de la mise en production Relevé d activité réseau pendant le JT de France 2 pointe à 680 Mb/s Relevé d activité réseau en cours de journée pointe à 910 Mb/s

11 La Solution technique BackOffice Production Déploiement en Y Secours Production Env. PRA Env. Intégration Bandes SDLT externalisées indexation Copie par Réseau de l existant Infrastructures virtuelles Env. Prod Secours HSM Bandes LTO Stockage disque Secours Production Copie par Réseau lors de la numérisation Sources captées (24/24 + fond analogique) Numérisation Haute et basse qualité Réplication bdd Applications Archives

12 La Solution technique BackOffice Des enjeux complexes: Copier 1,6 Po À plusieurs dizaines de km À des débits réseau de 1GBit/s Antériorité et rapatriement visionnage CIFS Flux Frais Visionnage CIFS Antériorité Broadcast FTP Flux Frais MPEG2 CIFS Deux types de flux à transférer à travers les ARX via NFS : Flux frais Broadcast transfert effectif en CIFS: Objectif de 400Go/J et ne pas accumuler de retard Flux d antériorité Broadcast Transferts en FTP pour optimiser les débits longue distance Objectif de 6,5To/J pour 7,5 mois de transfert Point de montage agrégé NFS Il s agit d une architecture temporaire : Attente de DataOntap 8 qui permettera de gérer des agrégats de 100 T au lieu de 16 To actuellement

13 La Solution technique BackOffice Principes de mise en œuvre et de validation: Flux Frais MPEG2 CIFS Antériorité MPEG2 FTP Bry Petark 1. Tests flux frais 2. Tests antériorité en 3 étapes: seul, puis avec le flux frais, puis avec calcul de l intégrité des données Point de montage agrégé NFS Ces tests seront lancés à plusieurs reprises pour écrire dans 1 partage 8 partages préconfigurés, 4 porté par ARX01 et 4 par ARX02 Plusieurs sessions FTP et CIFS en parallèle, débit habituel PRA Point d avancement technique DSI / SNC 23/03/10

14 Configuration de l ARX Frontal NFS Namespace: Hautdebit1 NFS NFS Front-end shares Export: /arx01-01 Export: /arx01-02 Export: /arx01-03 Export: /arx01-04 Volume: Volume1 Volume: Volume2 Volume: Volume3 Volume: Volume4 Share Farm: Sharefarm_volume1 Share Farm: Sharefarm_volume2 Share Farm: Sharefarm_volume3 Share Farm: Sharefarm_volume4 NFS NFS NFS F5 ARX1000 NFS NFS /vol/01xxx /vol/01xxx /vol/01xxx /vol/01xxx /vol/02xxx /vol/02xxx /vol/02xxx /vol/02xxx /vol/03xxx /vol/03xxx /vol/03xxx /vol/03xxx /vol/04xxx /vol/04xxx /vol/04xxx /vol/04xxx Stockage Back-end shares

15 La Solution BackOffice Extrait des résultats des tests d envoi FTP + CIFS Transferts FTP antériorité seul 6,9To (2923 fichiers) en 24h00 [8 processus en parallèle] Pas d erreur Les objectifs de performance restent dépassés sur l antériorité >6,5To/J Des erreurs apparaissent coté CIFS ARX01 ET ARX02 charge cpu : moyenne 70% Les erreurs sont à la conjoncture de 2 faits: La faible robustesse de CIFS aux transferts sous fortes charges à longue distance (FTP est resté quasi insensible à la batterie de tests) La mauvaise répartition de charge sur les ARX amenant à une charge importante et donc à des délais dans les requêtes NFS auxquelles CIFS se montre sensible (écritures toujours très gourmandes en ressources à tous les niveaux). Théoriquement, on ne devrait que très rarement s écarter de 500Mbits maxi, et ARX02 traite en général +33% que ARX01 La répartition de charge a été corrigé coté ARX L ensemble du système est stable (pas d erreurs) mais le débit n est pas concluant (quelques dizaine de Mb) Des tests et des debugs sont encore en cours de réalisation. Notamment coté tunning CIFS et coté serveur tampon

16 Questions / Réponses Merci de votre attention. Mes coordonnées : Ludovic BEY lbey@ina.fr Mobile : Responsable de la Sécurité du Système d Information (RSSI) Responsable du Plan de Reprise d Activité (RPRA) Principaux chantiers 2010 : Mise en place d une PSSI au sein de l Ina orientée ISO 2700x Responsable de la mise en œuvre du PRA de l Ina Pilotage de projets techniques (refonte sas internet, sécurité du poste de travail, etc )