Archivage et Transcodage Vidéo. Nicolas Carel DSI ENS de Lyon

Archivage et Transcodage Vidéo Nicolas Carel DSI ENS de Lyon

Plan 1. Genèse 2. Un supercalculateur virtuel 3. Mission archivage 4. Objec=f diffusion 2

Genèse 1997 : Appari3on de RealVidéo 2000 : Effet de mode dans les universités Les solu3ons Hélix / RealMedia prennent le dessus Chaîne de produc3on ar3sanale 4

10 ans plus tard La fusion 900 vidéos 1900 vidéos 1600 vidéos 4400 vidéos 2 To Situa=on en janvier 2011 5

Diffuser vers Chercheurs Etudiants Enseignants Grand Public ViSA Moodle FaSMEd Corpus Colloques Actualités Cours en ligne NÉOPASS@CTION Journées d étude Mooc Claroline Forma=ons m@gistère Conférences éduscol CULTURE SCIENCES PHYSIQUE 6

Probléma3ques Changement d échelle Entropie Systèmes obsolètes Perte de diffusion Perte des originaux 7

ATendus Conserva3on des originaux Indépendance de la diffusion technique canaux Médias enrichis Contenus iden3fiés et marqués Autonomie des usagers 8

9 Chaine de produc3on

Un supercalculateur virtuel? A la recherche d un ges3onnaire de travaux Une infrastructure existante 12

L infrastructure existante 2 serveurs en rack dédiés à un usage interne : qualifica3on et développement Web Un volume de 8 To sur une baie de disque FiberChannel U=liser le temps de calcul résiduel 13

14 Supercalculateur Virtuel

Circula3on des données Dépôt Collec=ons Des=na=ons Déposer Archiver Transcoder Diffuser 15

Mission archivage Les 4 valeurs d une archive Intègre Imputable Intelligible Pérenne 18

Etape 1 Fichier original Résolu3on de la caméra Débit haute qualité Monté Dépot Titre : Album : Date : Producteur : Auteurs : Genre : Langue : Résumé : Fiche d indexa=on 19

Etape 2 Collections JRES_ATV.mp4 Dépot Fiche d indexa=on Genre : Conférence Langue : Français Résumé : L ENS de Lyon produit Source : JRES_ATV.mp4 Collec=on : Colloques Année : 2015 Stockage : 2015-12-09_JRES_ATV.mp4 actualites associations biologie colloques 2014 2015 ife-neopass uoh 20 Annuler Valider

L erreur silencieuse Spécifique aux Big Data? Indétectable par les mécanismes classiques ORDRE ACQUITEMENT Système d exploita=on 21 Probabilité : 15 / 1 Peta Octet Stockage physique

22 3 types d erreur silencieuse L écriture d un bloc corrompu au bon endroit, avec CRC valide L écriture d un bloc valide au mauvais endroit La corrup3on d un bloc existant avec CRC valide L erreur de lecture est mise à part car non permanente.

Pourquoi? Lieux Dans les composants Changement d état d une cellule SSD Changement d état d une par3cule magné3que Dans les transmissions Causes Alimenta3on électrique : tension instable Instabilité des composants Rayonnements électromagné3que Rayonnements ionisants 23

Empreinte numérique Date de modifica=on Taille Somme MD5 Créée la nuit après l archivage Vérifiée tous les mois 2h par nuit Durée 24

Vérifica3on d intégrité Date de l empreinte Date de vérifica=on de l original Date de vérifica=on de la copie Journal Mail Statut de la vérifica=on 25

Objec3f diffusion Définir un format et une des3na3on Démarrer le transcodage Transférer vers un système de diffusion 28

Format? Fichiers produits avec des caractéris3ques précises conteneur codec résolu=on ra=o MP4 WEBM AVI MOV 29 h264 vorbis aac theora mp3 640x480 960x540 720p 640x360 na=f sous-=tres Incrusté Piste SRT 4:3 16:9 écran diaporama débit SMIL HTML5 Timing (INRIA) FLASH + XML 450 kbps 800 kbps CBR VBR qualité 1 passe 2 passes Vecteurs GOP logo Posi=on Taille

Transcodage et des3na3on YouTube AAC Transcodage Moodle Canal-U NéoPass@ction Vidéo Podcast Collec3ons Des3na3ons Lire Ecrire 30

Table des des3na3ons ID Libellé Chemin local Serveur cible 1 Canal-U Destinations/Canal-U localhost 2 YouTube Destinations/YouTube localhost 3 NéoPass@ction Destinations/Neopass vm-web-preprod.pun.ens-lyon.fr:/data 4 Moodle Destinations/Moodle localhost 5 Vidéo Podcast Destinations/Podcast localhost:/video/podcast-preprod 6 Lire Ecrire Destinations/LireEcrire localhost:/video/lire-ecrire-preprod 7 TITA Destinations/TITA localhost:/video/tita-preprod 8 Fasmed Destinations/Fasmed localhost:/video/fasmed-preprod 31

Transfert par l u3lisateur Destinations YouTube Moodle Canal-U 2015-12-09_JRES_ATV_bd.mp4 2015-12-09_JRES_ATV_md.mp4 2015-12-09_JRES_ATV_hd.mp4 2015-12-09_JRES_ATV.mp3 2015-12-09_JRES_ATV.lom.xml 2015-12-09_JRES_ATV.smil 33

Des3na3ons 35 transcode-job move Canal-U Podcast.mp4.webm AAC.aac.mp3.thumb.jpg.preview.jpg Préprod Transfert automa3sé podcast colloques cron rsync 2014 2015.mp4 AAC.webm.aac.mp3.thumb.jpg.preview.jpg /var/www/video colloques 2014 2015

Intégra3on dans un site Web Fournir un contexte à la vidéo Exemple d intégra3on avec un player dans Plone L u3lisateur pose un lien vers la vidéo, sans l extension, avec un style par3culier Le code développé fait le reste : insère le player (flash ou balise htm5), fait l appel à l image poster / préview, appelle en fonc3on du navigateur le.mp4 ou le.webm 36

Cas d une plateforme Projet ANR en éduca3on Différents niveaux de visibilité des vidéos Réservée aux chercheurs Pour les enseignants du secondaire Grand public SPIP 38

Des=na=ons transcode-job move Canal-U preprod-spip cron rsync ressources Transfert automa3sé vers SPIP Serveur Web /var/ressources/ spip Fasmed.mp4.webm.preview.jpg.thumb.jpg IMG.mp4.webm jpg /var/www/spip/ IMG 39

Intégra3on dans SPIP Plugin permetant d importer les vidéos transcodées dans la table documents de SPIP Les vidéos privées sont en dehors de l arborescence de SPIP pour : Garan3r la confiden3alité Maîtriser les espaces de stockage 40

Bilan et ques3ons 13 500 Vidéos 41