Archivage et Transcodage Vidéo. Nicolas Carel DSI ENS de Lyon

Transcription

1 Archivage et Transcodage Vidéo Nicolas Carel DSI ENS de Lyon

2 Plan 1. Genèse 2. Un supercalculateur virtuel 3. Mission archivage 4. Objec=f diffusion 2

3 Plan 1. Genèse 2. Un supercalculateur virtuel 3. Mission archivage 4. Objec=f diffusion 3

4 Genèse 1997 : Appari3on de RealVidéo 2000 : Effet de mode dans les universités Les solu3ons Hélix / RealMedia prennent le dessus Chaîne de produc3on ar3sanale 4

5 10 ans plus tard La fusion 900 vidéos 1900 vidéos 1600 vidéos 4400 vidéos 2 To Situa=on en janvier

6 Diffuser vers Chercheurs Etudiants Enseignants Grand Public ViSA Moodle FaSMEd Corpus Colloques Actualités Cours en ligne Journées d étude Mooc Claroline Forma=ons m@gistère Conférences éduscol CULTURE SCIENCES PHYSIQUE 6

7 Probléma3ques Changement d échelle Entropie Systèmes obsolètes Perte de diffusion Perte des originaux 7

8 ATendus Conserva3on des originaux Indépendance de la diffusion technique canaux Médias enrichis Contenus iden3fiés et marqués Autonomie des usagers 8

9 9 Chaine de produc3on

10 Plan 1. Genèse 2. Un supercalculateur virtuel 3. Mission archivage 4. Objec=f diffusion 10

11 Plan 1. Genèse 2. Un supercalculateur virtuel 3. Mission archivage 4. Objec=f diffusion 11

12 Un supercalculateur virtuel? A la recherche d un ges3onnaire de travaux Une infrastructure existante 12

13 L infrastructure existante 2 serveurs en rack dédiés à un usage interne : qualifica3on et développement Web Un volume de 8 To sur une baie de disque FiberChannel U=liser le temps de calcul résiduel 13

14 14 Supercalculateur Virtuel

15 Circula3on des données Dépôt Collec=ons Des=na=ons Déposer Archiver Transcoder Diffuser 15

16 Plan 1. Genèse 2. Un supercalculateur virtuel 3. Mission archivage 4. Objec=f diffusion 16

17 Plan 1. Genèse 2. Un supercalculateur virtuel 3. Mission archivage 4. Objec=f diffusion 17

18 Mission archivage Les 4 valeurs d une archive Intègre Imputable Intelligible Pérenne 18

19 Etape 1 Fichier original Résolu3on de la caméra Débit haute qualité Monté Dépot Titre : Album : Date : Producteur : Auteurs : Genre : Langue : Résumé : Fiche d indexa=on 19

20 Etape 2 Collections JRES_ATV.mp4 Dépot Fiche d indexa=on Genre : Conférence Langue : Français Résumé : L ENS de Lyon produit Source : JRES_ATV.mp4 Collec=on : Colloques Année : 2015 Stockage : _JRES_ATV.mp4 actualites associations biologie colloques ife-neopass uoh 20 Annuler Valider

21 L erreur silencieuse Spécifique aux Big Data? Indétectable par les mécanismes classiques ORDRE ACQUITEMENT Système d exploita=on 21 Probabilité : 15 / 1 Peta Octet Stockage physique

22 22 3 types d erreur silencieuse L écriture d un bloc corrompu au bon endroit, avec CRC valide L écriture d un bloc valide au mauvais endroit La corrup3on d un bloc existant avec CRC valide L erreur de lecture est mise à part car non permanente.

23 Pourquoi? Lieux Dans les composants Changement d état d une cellule SSD Changement d état d une par3cule magné3que Dans les transmissions Causes Alimenta3on électrique : tension instable Instabilité des composants Rayonnements électromagné3que Rayonnements ionisants 23

24 Empreinte numérique Date de modifica=on Taille Somme MD5 Créée la nuit après l archivage Vérifiée tous les mois 2h par nuit Durée 24

25 Vérifica3on d intégrité Date de l empreinte Date de vérifica=on de l original Date de vérifica=on de la copie Journal Mail Statut de la vérifica=on 25

26 Plan 1. Genèse 2. Un supercalculateur virtuel 3. Mission archivage 4. Objec=f diffusion 26

27 Plan 1. Genèse 2. Un supercalculateur virtuel 3. Mission archivage 4. Objec=f diffusion 27

28 Objec3f diffusion Définir un format et une des3na3on Démarrer le transcodage Transférer vers un système de diffusion 28

29 Format? Fichiers produits avec des caractéris3ques précises conteneur codec résolu=on ra=o MP4 WEBM AVI MOV 29 h264 vorbis aac theora mp3 640x x p 640x360 na=f sous-=tres Incrusté Piste SRT 4:3 16:9 écran diaporama débit SMIL HTML5 Timing (INRIA) FLASH + XML 450 kbps 800 kbps CBR VBR qualité 1 passe 2 passes Vecteurs GOP logo Posi=on Taille

30 Transcodage et des3na3on YouTube AAC Transcodage Moodle Canal-U Vidéo Podcast Collec3ons Des3na3ons Lire Ecrire 30

31 Table des des3na3ons ID Libellé Chemin local Serveur cible 1 Canal-U Destinations/Canal-U localhost 2 YouTube Destinations/YouTube localhost 3 NéoPass@ction Destinations/Neopass vm-web-preprod.pun.ens-lyon.fr:/data 4 Moodle Destinations/Moodle localhost 5 Vidéo Podcast Destinations/Podcast localhost:/video/podcast-preprod 6 Lire Ecrire Destinations/LireEcrire localhost:/video/lire-ecrire-preprod 7 TITA Destinations/TITA localhost:/video/tita-preprod 8 Fasmed Destinations/Fasmed localhost:/video/fasmed-preprod 31

32 Table des des3na3ons ID Libellé Chemin local Serveur cible 1 Canal-U Destinations/Canal-U localhost 2 YouTube Destinations/YouTube localhost 3 NéoPass@ction Destinations/Neopass vm-web-preprod.pun.ens-lyon.fr:/data 4 Moodle Destinations/Moodle localhost 5 Vidéo Podcast Destinations/Podcast localhost:/video/podcast-preprod 6 Lire Ecrire Destinations/LireEcrire localhost:/video/lire-ecrire-preprod 7 TITA Destinations/TITA localhost:/video/tita-preprod 8 Fasmed Destinations/Fasmed localhost:/video/fasmed-preprod 32

33 Transfert par l u3lisateur Destinations YouTube Moodle Canal-U _JRES_ATV_bd.mp _JRES_ATV_md.mp _JRES_ATV_hd.mp _JRES_ATV.mp _JRES_ATV.lom.xml _JRES_ATV.smil 33

34 Table des des3na3ons ID Libellé Chemin local Serveur cible 1 Canal-U Destinations/Canal-U localhost 2 YouTube Destinations/YouTube localhost 3 NéoPass@ction Destinations/Neopass vm-web-preprod.pun.ens-lyon.fr:/data 4 Moodle Destinations/Moodle localhost 5 Vidéo Podcast Destinations/Podcast localhost:/video/podcast-preprod 6 Lire Ecrire Destinations/LireEcrire localhost:/video/lire-ecrire-preprod 7 TITA Destinations/TITA localhost:/video/tita-preprod 8 Fasmed Destinations/Fasmed localhost:/video/fasmed-preprod 34

35 Des3na3ons 35 transcode-job move Canal-U Podcast.mp4.webm AAC.aac.mp3.thumb.jpg.preview.jpg Préprod Transfert automa3sé podcast colloques cron rsync mp4 AAC.webm.aac.mp3.thumb.jpg.preview.jpg /var/www/video colloques

36 Intégra3on dans un site Web Fournir un contexte à la vidéo Exemple d intégra3on avec un player dans Plone L u3lisateur pose un lien vers la vidéo, sans l extension, avec un style par3culier Le code développé fait le reste : insère le player (flash ou balise htm5), fait l appel à l image poster / préview, appelle en fonc3on du navigateur le.mp4 ou le.webm 36

37 Table des des3na3ons ID Libellé Chemin local Serveur cible 1 Canal-U Destinations/Canal-U localhost 2 YouTube Destinations/YouTube localhost 3 NéoPass@ction Destinations/Neopass vm-web-preprod.pun.ens-lyon.fr:/data 4 Moodle Destinations/Moodle localhost 5 Vidéo Podcast Destinations/Podcast localhost:/video/podcast-preprod 6 Lire Ecrire Destinations/LireEcrire localhost:/video/lire-ecrire-preprod 7 TITA Destinations/TITA localhost:/video/tita-preprod 8 Fasmed Destinations/Fasmed localhost:/video/fasmed-preprod 37

38 Cas d une plateforme Projet ANR en éduca3on Différents niveaux de visibilité des vidéos Réservée aux chercheurs Pour les enseignants du secondaire Grand public SPIP 38

39 Des=na=ons transcode-job move Canal-U preprod-spip cron rsync ressources Transfert automa3sé vers SPIP Serveur Web /var/ressources/ spip Fasmed.mp4.webm.preview.jpg.thumb.jpg IMG.mp4.webm jpg /var/www/spip/ IMG 39

40 Intégra3on dans SPIP Plugin permetant d importer les vidéos transcodées dans la table documents de SPIP Les vidéos privées sont en dehors de l arborescence de SPIP pour : Garan3r la confiden3alité Maîtriser les espaces de stockage 40

41 Bilan et ques3ons Vidéos 41