Appel d offres ouvert relatif à la diffusion de vidéos à la demande et en direct à partir des sites Internet de TV5MONDE, et à leur stockage.

Transcription

1 Appel d offres ouvert relatif à la diffusion de vidéos à la demande et en direct à partir des sites Internet de TV5MONDE, et à leur stockage. TV5MONDE Marché n AO2010/06/001 Lot n 1 : Diffusion de vidéos à la demande (VOD) sur les sites Internet de TV5MONDE et leur stockage. Lot n 2 : Diffusion de vidéos en direct (Live) sur les sites Internet de TV5MONDE. CAHIER DES CLAUSES TECHNIQUES PARTICULIERES (CCTP) (PIECE N 3) Paris le 1/06/2010

2 Table des matières CAHIER DES CLAUSES TECHNIQUES PARTICULIERES (CCTP) OBJET DU DOCUMENT LOT 1 ET LOT 2: DESCRIPTION DE L EXISTANT ARCHITECTURE TECHNIQUE ORGANISATION DU SITE ET VOLUMETRIE LOT 1 : DIFFUSION DE VIDEOS A LA DEMANDE (VOD) ET LEUR STOCKAGE DESCRIPTION GENERALE DU LOT ARCHITECTURE TECHNIQUE ATTENDUE PRESTATIONS ATTENDUES LOT 2 : DIFFUSION DE VIDEOS EN DIRECT (LIVE) DESCRIPTION GENERALE DU LOT ARCHITECTURE TECHNIQUE ATTENDUE PRESTATIONS ATTENDUES...37 GLOSSAIRE...41 TV5MONDE Cahier des clauses techniques particulières Page 2/44

3 1. OBJET DU DOCUMENT Les sites Internet de TV5MONDE (tv5.org, tv5monde.com, tivi5mondeplus.com, tv5mondeplusafrique.com) totalisent chaque mois plus de 8 millions de visites, et 30 millions de pages vues, dans plus de 200 pays. TV5MONDE publie sur son site des informations textuelles, visuelles, grilles de programmes, événements, et retransmet également ses émissions sous forme de vidéos à la demande, ou en direct. La vidéo représente actuellement la majeure partie du volume de données véhiculé par le site. Tivi5mondeplus.com est une WebTv orientée essentiellement «jeunesse» et vidéo à la demande. TV5MONDE+ AFRIQUE ( est la WebTv de TV5MONDE totalement dédiée à l Afrique et propose un grand nombre de vidéos à la demande ainsi que la diffusion occasionnelle de contenus «live». TV5MONDE, dans sa stratégie de média global, dispose également d un site dédié aux plateformes mobiles ainsi que d applications Iphone et Ipad. Dans l optique d optimiser la diffusion mondiale et le stockage des vidéos de la chaîne sur le site Internet de TV5MONDE, sur le site dédié aux mobiles, mais aussi sur les WebTv et sur les applications Iphone/Ipad dédiées, mais aussi de réaliser des économies par rapport à son système d hébergement et de diffusion actuel, TV5MONDE lance un appel d offre public à destination, principalement, des fournisseurs de CDN (Content Delivery Networks). Ce document présente les points techniques (CCTP) de cet appel d offre, sur lesquels le Titulaire doit répondre. Le CCTP comprend deux lots : Lot 1 : Diffusion de vidéos à la demande (VOD) sur les sites Internet de TV5MONDE et leur stockage. L objectif est d optimiser la diffusion mondiale et le stockage des vidéos à la demande (VOD) de la chaîne sur le site Internet de TV5MONDE, sur le site dédié aux mobiles, mais aussi sur les WebTv et sur les applications Iphone/Ipad dédiées, en termes de temps d accès au contenu, de fluidité de diffusion (téléchargement progressif et/ou streaming), et de gestion de bande passante vers les serveurs source. Lot 2 : Diffusion de vidéos en direct (Live) sur les sites Internet de TV5MONDE L objectif est d optimiser la diffusion mondiale des vidéos en direct (Live) de la chaîne principalement sur le site Internet de TV5MONDE, mais aussi sur le site dédié aux mobiles, sur les WebTv et sur les applications Iphone/Ipad dédiées, en termes de temps d accès au contenu, de fluidité, et de gestion de la solution d encodage. TV5MONDE Cahier des clauses techniques particulières Page 3/44

4 2. LOT 1 ET LOT 2: DESCRIPTION DE L EXISTANT 2.1. ARCHITECTURE TECHNIQUE Schéma d architecture générale Le schéma ci-dessous présente l architecture générale des sites web de TV5MONDE : Figure 1: Architecture générale TV5MONDE publie ses fichiers HTML ou PHP via un CMS (Content Management System), sur les serveurs d un hébergeur localisé en France (serveur source TV5MONDE sur le schéma ci-dessus). Le CMS inclue la plupart du temps des directives de cache «classiques» dans les headers des pages générées (dynamiques ou statiques). Trois fournisseurs CDN sont ensuite garants de la mise en cache, et donc de l accélération et de la mise à disposition mondiale du site, via leur réseau et leurs points de présence : Le premier effectue le cache des objets http (statiques et dynamiques). Son contenu est mis à jour dynamiquement par les requêtes des internautes. Les deux autres effectuent le cache et la diffusion des vidéos. Leur contenu est mis à jour directement par la régie et les contributeurs de TV5MONDE. Remarque : Un quatrième fournisseur de CDN non représenté sur le schéma gère le stockage et la diffusion du site TV5MONDE Cahier des clauses techniques particulières Page 4/44

5 2.1.2.Cinématique des flux Le schéma ci-dessous décrit les différents flux et acteurs permettant à un utilisateur situé sur Internet d accéder au site de TV5MONDE. Figure 2: architecture globale actuelle Lorsqu un internaute accède au site la chaine de liaison est la suivante : 1. le client effectue une requête DNS sur son serveur DNS local pour résoudre le nom 2. En fonction de la localisation géographique du client et de la disponibilité des serveurs du Titulaire CACHE HTTP, le serveur DNS répond au client avec une adresse IP correspondant au service de cache hébergé sur le site le plus proche ou le plus pertinent, 3. le navigateur fait une requête à destination de l adresse en question, 4. si la page et/ou ses objets sont en cache sur le serveur du Titulaire CACHE HTTP, une réponse est envoyée directement au client, 5. sinon, pour les objets manquants, les serveurs du Titulaire CACHE HTTP font office de reverse proxy et communiquent entre eux afin de trouver rapidement la donnée, ou, en dernier recours, envoient une requête à destination des frontaux Web TV5MONDE pour récupérer les objets manquants, 6. une fois les données récupérées, le serveur frontal répond à la requête effectuée par les serveurs du Titulaire CACHE HTTP, 7. le serveur cache peut alors mettre la nouvelle page et/ou ses divers objets en cache, et les servir au navigateur Web du client, 8. En fonction des liens contenus dans les documents renvoyés en 7, le navigateur peut aller chercher des vidéos sur les serveurs du Titulaire VOD et/ou Live, via une nouvelle requête DNS et redirection «classique» de la réponse vers le nœud du CDN Vidéo le plus pertinent, 9. Le nœud élu du Titulaire VOD et/ou Live renvoie les objets demandés au navigateur Web du client. TV5MONDE Cahier des clauses techniques particulières Page 5/44

6 2.1.3.Format des vidéos Les fichiers vidéo sont encodés par TV5MONDE directement, ou par un fournisseur de services «post production» (séquençage, sous-titrage). Le format vidéo habituellement utilisé par TV5MONDE est du Flash (On2 VP6), d autres formats sont toutefois utilisés comme le H264, le 3GPP et le mp4 pour le site destiné aux mobiles et les applications Ipad/Iphone, certaines vidéos sont toujours volontairement encodées en Windows Media, et de plus anciennes subsistent au format Real Media 8. Les fichiers générés sont ensuite placés directement sur les serveurs de deux fournisseurs CDN, et non chez l hébergeur «Web» de TV5MONDE. Une URL est générée à la dépose d une vidéo. Cette dernière est ensuite intégrée dans l article concerné du site. TV5MONDE publie ses vidéos, soit en basse qualité uniquement (de 250 à 300kbps), soit en basse et haute qualité (300 et 700kbps). D autres profils d encodage sont utilisés (jusqu à 1Mbps) ORGANISATION DU SITE ET VOLUMETRIE Volumétrie Serveurs source TV5MONDE Les statistiques de consultation des serveurs source du site tv5.org sur l année 2009 sont les suivantes : 8 millions de visites par mois, 30 millions de pages vues par mois, 70 Go de fichiers (hors vidéos : pas de fichiers vidéo sur cet hébergement) CDN cache http Les statistiques de consultations sur les derniers mois sont les suivantes : Consommation aux 95 percentiles : 19 MBps 540 millions de hits / mois 3,7 To de trafic HTTP / mois A titre indicatif, sur les dernières semaines : Les fichiers statiques et dynamiques sont concernés. Les fichiers concernés constituent la structure du site et sont généralement de petite taille. Les utilisateurs proviennent dans l ordre d importance de : France, USA, Canada, Belgique, Allemagne, Maroc, Espagne, Suisse, UK TV5MONDE Cahier des clauses techniques particulières Page 6/44

7 CDN VoD (Titulaire actuel 1) Sont hébergées chez ce fournisseur la plupart des vidéos du site web depuis TV5MONDE y diffuse d anciens fichiers Real Video, Windows media, mais aussi, et principalement, Flash. Les nouvelles vidéos sont majoritairement publiées en Flash. TV5MONDE privilégie ce prestataire pour la diffusion en streaming (Flash RTMPT) des JT : JT international : 4 éditions par jour. Les vidéos sont séquencées (accessibles par sujet). JT Afrique : 1 édition par jour à 21h15 GMT. Les vidéos sont séquencées (accessibles par sujet). JT Eco : 1 édition par jour à 16h30 GMT. Les statistiques de consultations sur un mois sont les suivantes : 30 millions de hits (vidéos et images associées) 15 To de trafic mensuel, Volume stocké : ~160 Go Les vidéos les plus consultées sont : Le journal international : ~ hits Le journal Afrique : ~ hits Bandes annonces : ~ hits CDN VoD & Live (Titulaire actuel 2) Ne sont hébergées chez ce fournisseur, que des vidéos Flash (.flv et.mp4). Le reste de la prestation porte sur l organisation d un service de diffusion «en direct» et la mise à disposition de deux régies de montage et encodeurs Flash pour le direct (une par taux de compression diffusé). Les statistiques de consultations sont en constante hausse car TV5MONDE tend à privilégier l'utilisation de cet espace pour la publication de nouveaux contenus VOD non streamés. Les vidéos les plus consultées sont les Flash infos (6 éditions par jour de 2mn30, non archivées). Les statistiques de consultations sur un mois sont les suivantes : hits (dont 3000 pour le Live) 14 To de trafic mensuel (dont 40Go pour le Live), Top pays : Allemagne, France, Roumanie, Suisse, Belgique, Canada Volume stocké : 60 Go CDN VOD pour Tivi5Mondeplus (Titulaire actuel 3) Ne sont hébergées chez ce fournisseur, que les vidéos Flash du site Volumétrie : Volume stocké : 30 Go 2 To de trafic mensuel TV5MONDE Cahier des clauses techniques particulières Page 7/44

8 CDN VOD pour TV5MONDE+AFRIQUE Volumétrie estimée (lancement de cette WebTv le 25/05/2010): Volume stocké : 50 Go 15 To de trafic mensuel Volumétrie estimée dans un an TV5MONDE observe une forte croissance de son trafic. Les estimations de trafic à 1 an sont les suivantes : Live : 1To/mois VOD : 45To/mois TV5MONDE Cahier des clauses techniques particulières Page 8/44

9 3. LOT 1 : DIFFUSION DE VIDEOS A LA DEMANDE (VOD) ET LEUR STOCKAGE 3.1. DESCRIPTION GENERALE DU LOT L objectif pour le Titulaire est de fournir une solution de diffusion en téléchargement progressif et/ou streaming, de diffusion type «PodCast», et de stockage pour des émissions enregistrées et encodées au préalable (VoD). Le tout avec une latence faible pour les internautes (démarrage de la vidéo dans les 4 secondes maximum) et une qualité optimale et constante dans le temps (fluidité, pas de gels d image). Cette prestation est actuellement assurée par trois fournisseurs CDN spécialisés et complémentaires. Les encodages sont réalisés : soit en interne via des encodeurs FlipFactory soit en externe par un prestataire Le contenu concerné est : Fichiers vidéo/audio au format Flash (On2 VP6 et H.264), débits actuellement entre 250Kbps et 1Mbps, Fichiers vidéos/audio au format 3gpp et mp4 pour le site mobile et les applications Ipad/Iphone, fichiers vidéo/audio Windows Media, anciens fichiers vidéo/audio Real Media. Le Titulaire devra indiquer la faisabilité technique et fonctionnelle ainsi que ses engagements sur les points suivants : Architecture technique Architecture générale, Types de diffusion et gestion de la vidéo à la demande, Architecture du cache, Supervision et mesure des performances, Sécurité et restriction d accès aux données, Support, réversibilité et facturation, Prestations d accompagnement (garanties de service, gestion de projet ) Ces points sont développés plus en détail dans les pages suivantes. TV5MONDE Cahier des clauses techniques particulières Page 9/44

10 3.2. ARCHITECTURE TECHNIQUE ATTENDUE Principes généraux Le fonctionnement attendu du CDN du Titulaire est le suivant : de nombreux serveurs de cache sont disposés dans des nœuds, idéalement présents sur chaque continent. L utilisation commune de ces nœuds et d un système de routage pertinent des requêtes des internautes, optimise les accès de ces internautes aux objets diffusés par le Titulaire (diminution des temps de latence, augmentation de la rapidité d affichage, disponibilité permanente des objets). Une architecture nodale n est pas obligatoire, le candidat devra préciser dans son offre les éléments attestant l efficacité technique de l architecture proposée (puissant réseau de fibres propriétaires, accords de peering etc ) La figure suivante représente un exemple d architecture pouvant répondre aux besoins de TV5MONDE et n est fournie qu à titre indicatif : TV5MONDE Cahier des clauses techniques particulières Page 10/44

11 Figure 3: CDN VoD/Live: Architecture possible TV5MONDE devra déposer ses fichiers vidéo sur des serveurs sources que le Titulaire mettra à disposition, directement sur le CDN, de façon à stocker un minimum de données chez l hébergeur (juste le site web), et ainsi réduire la bande passante utilisée entre les serveurs de cache et cet hébergeur, puisqu il n y aura pas de transferts réguliers de vidéos. La méthode de diffusion des vidéo vers les serveurs périphériques du Titulaire est ensuite à justifier quand à sa pertinence : PUSH dès qu un fichier est créé ou modifié (réplication), vers les serveurs périphériques, ou bien PULL des serveurs périphérique quand ils ne disposent pas d une donnée demandée par l internaute (Cache). TV5MONDE exige une grande souplesse dans les services accompagnant l offre du Titulaire: réactivité, accompagnement dans l évolution de son offre, études de performances pour optimisation, tout au long du contrat Architecture du CDN et gestion de la bande passante AT1 Backbone, latence, bande passante Le réseau dorsal du Titulaire (système de distribution des serveurs réplica vers serveurs de cache périphériques) dispose de temps de latence très faibles et d une bande passante élevée. Ces données devront être mesurées et disponibles à tout moment. Le candidat devra indiquer dans son offre une échelle des temps de réponse en fonction des zones géographiques. AT2 Réserve de bande passante Le Titulaire a toujours une réserve de bande passante disponible immédiatement, égale à la bande passante moyenne utilisée par l ensemble de ses clients, sur les mêmes nœuds. Par exemple si 2Gbs sont utilisés en moyenne, le Titulaire doit disposer de 2 autres Gbps en réserve immédiatement disponible. Le Titulaire est capable de justifier à tout moment l existence et la validité opérationnelle de cette réserve. AT3 Gestion efficace de la bande passante Le Titulaire est capable d augmenter très rapidement la bande passante disponible, en fonction de la charge globale constatée, de façon à ce que TV5MONDE ne soit pas impacté par un éventuel pic de charge sur le site d un autre client du Titulaire, ou sur le site de TV5MONDE même. Le Titulaire est en mesure de garantir une bande passante minimale en cas de hausse de la consommation au même moment pour plusieurs clients. Cet engagement de service minimal devra être quantifié par le Titulaire. AT4 Disponibilité du service au plus proche de l utilisateur Le Titulaire dispose de nœuds (points de présence) répartis dans le monde, sur les principaux continents. Idéalement, plusieurs nœuds par continent. Dans le cas d une autre architecture, le Candidat documente et garantit les performances de sa solution au profit de l utilisateur final. Quoi qu il en soit, le Titulaire documente et garantit une présence large, notamment dans les régions où la fréquentation des sites de TV5MONDE est la plus forte, pour rappel en Europe (France essentiellement), Amérique du Nord et l Afrique francophone. TV5MONDE Cahier des clauses techniques particulières Page 11/44

12 AT5 Jonctions entre nœuds Les jonctions entre les nœuds du Titulaire sont «multi-homées» : plusieurs chemins réseaux existent pour la communication inter-nœuds, de façon à ce que si l un tombe en panne, un autre soit toujours utilisable. Les nœuds ne sont ainsi pas isolés. Dans le cas d une architecture différente, le Titulaire s appliquera à décrire les redondances mises en place pour sécuriser les liaisons. AT6 Outil de redirection des requêtes clientes (request routing system) Le Titulaire dispose d un système de routage «intelligent» des requêtes clientes, redirigeant automatiquement et de façon transparente les requêtes http/vidéo vers le nœud et les serveurs les plus proches de l internaute. La notion de proximité géographique, si elle est sous-entendue et communément acquise, est ici à minimiser par rapport aux mesures de latence et de bande passante disponible entre l internaute et les différents nœuds du Titulaire. AT7 Support de débits permettant la HD L architecture globale du Titulaire est capable d acheminer ou d évoluer sur demande vers la vidéo HD (3Mbits) jusqu aux internautes, si leur connexion le permet, sans surcoût engendré par l éventuelle mise à jour du matériel nécessaire Types de diffusion et gestion de la VoD AT8 Formats d encodage supportés et gestion de la diffusion Le Titulaire supporte a minima tous les formats suivants : Flash : Progressive Download et Streaming 3gpp, mp4 Iphone / Ipad : Progressive Download et Streaming Windows Media : Progressive Download et Streaming Real Media : Progressive Download et Streaming SilverLight : Progressive Download et Streaming Vidéo HTML5. AT9 Conseil et aide à la mise en œuvre autour du Progressive Download ou Streaming Sachant que les vidéos produites par TV5MONDE sont actuellement au format Windows Media 9, Flash (codec On2 VP6, H.264, f4v), et 3GPP, le Titulaire accompagne TV5MONDE et le conseille quant au format de diffusion à adopter (Progressive Download et/ou Streaming). AT10 Possibilité d utiliser le Progressive Download et le Streaming Le Titulaire fournit un moyen technique simple à TV5MONDE de diffuser telle ou telle vidéo en progressive download ou en streaming. TV5MONDE Cahier des clauses techniques particulières Page 12/44

13 AT11 Progressive Download : fonctionnalités côté client La gestion du Progressive Download proposée par le Titulaire permet les mêmes fonctionnalités que pour du streaming, à savoir essentiellement l avance et le retour (avancer ou reculer dans une vidéo sans la télécharger complètement et sans attente de la part de l internaute), la pause et la reprise de lecture de la vidéo. Le réseau du Titulaire doit être en mesure de poser une limitation de débit sur chaque connexion de l'ordre du débit vidéo réel afin d'éviter une consommation de bande passante trop élevée par un visiteur qui ne consulterait par exemple, que le début d'un contenu média. Le ratio de sur-téléchargement est à convenir entre le Titulaire et TV5MONDE. AT12 Diffusion vidéo streaming Le Titulaire propose une solution technique de diffusion des contenus vidéo par transmission continue d'un flux de données correspondant à la position de lecture de l'internaute. La source des flux pourra être une liaison SDI dédiée, une connexion IP transportant du MPEG2TS, une captation directe des flux diffusés (satellite), ou toute autre solution convenue entre le Titulaire et TV5MONDE. AT13 Streaming : passage de firewalls Si le Progressive Download ne pose en général pas de problèmes de téléchargements vis-à-vis des firewalls en entreprise (utilisation du port http 80), il n en est pas forcément de même pour le streaming. Le Titulaire s engage à ce que ses serveurs de streaming utilisent le port http 80 et soient par conséquent moins enclins à être filtrés. AT14 Outils de diffusion Flash Le Titulaire utilise des serveurs de streaming Flash type «Flash Media Server» en version 3.5 et est agrémenté Adobe pour leur utilisation et support. AT15 Mise à jour des outils de diffusion Le Titulaire s engage à mettre à jour régulièrement ses serveurs de diffusion spécialisés (Flash Media Server, Windows Media Server, Quicktime Streaming Server) suite à la publication de nouvelles versions par leur éditeur respectif. Ces mises à jour donneront lieu à une communication avant et après, du Titulaire vers TV5MONDE, afin de l informer des évolutions induites. AT16 Gestion des mises à jour serveurs Le Titulaire s engage à mettre à jour ses serveurs avec les versions mineures et majeures rendues disponibles par les éditeurs d applications spécialisées utilisées pour la diffusion des vidéos de TV5MONDE, en particulier les applications de streaming Flash et Windows Media, afin que TV5MONDE puisse bénéficier des dernières fonctionnalités apportées. Ces mises à jour donneront lieu à une communication avant et après, du Titulaire vers TV5MONDE, afin de l informer des évolutions induites, dates prévues d intervention, impacts sur le CDN, et compte-rendu d interventions. AT17 Evolution des codecs/formats de compression Le Titulaire s engage à évoluer à la demande vers de nouveaux formats de diffusion/compression si ceux-ci sont prouvés comme étant plus avantageux (bande passante utilisée, qualité), tels que SilverLight, WebM VP8, VC-1, 3gpp (liste non exhaustive). TV5MONDE Cahier des clauses techniques particulières Page 13/44

14 AT18 Détection du terminal utilisateur Le réseau de distribution doit être en mesure de distinguer les terminaux employés, à l'aide de l'en-tête User-Agent envoyée par le terminal, et d'adresser différents contenus selon cette information. AT19 Diffusion PodCast Le Titulaire est capable de diffuser les media à la demande (PodCast) via des flux RSS, quel que soit le format d encodage. Le dépôt des vidéos, podcasts et images devra pouvoir être réalisé via des comptes FTP sécurisés, paramétrables librement par TV5MONDE par une interface distante. AT20 fonctionnalité «adaptive bitrate» Les serveurs de diffusion du Titulaire supportent l adaptive bitrate pour le format Flash et Windows Media, en vue de fournir plusieurs taux de compression vidéo aux internautes, et de s adapter à leur bande passante, au chargement de la vidéo, et pendant son visionnage. AT21 Disponibilité de «l adaptive bitrate» en Progressive Download et Streaming L adaptive bitrate est disponible et utilisable que l on soit en mode Progressive Download, ou Streaming. AT22 Sélection automatique du bon taux de compression L utilisation de l adaptive bitrate et la sélection du bon taux de compression, se font automatiquement par le «player» sur le navigateur de l internaute, que l on soit en Progressive Download ou en Streaming. Le Titulaire s engage ainsi à ce que les vidéos soient toujours fluides, si la bande passante minimale de l utilisateur correspond à au moins un des taux de compression proposés par le serveur. AT23 Encodage automatique des vidéos aux différents taux de compression Pour gérer efficacement l adaptive bitrate, le Titulaire est capable de ré-encoder automatiquement les vidéos à des taux de compression inférieurs, si TV5MONDE n en fournit qu un seul de la plus haute qualité. AT24 Outil d insertion de marqueurs (timeline) dans les fichiers vidéo Le Titulaire dispose d un outil permettant de placer des «marqueurs» dans les fichiers vidéo, permettant des études d audience au sein même d un fichier vidéo, et des fonctionnalités avancées de fast-forwarding, rewinding, pause, reprise de lecture. AT25 Diffusion en «dynamic streaming» ) quelque soit le format du contenu (flash, silverlight,etc.) Le Titulaire propose une solution technique de diffusion des contenus audio et vidéo, que ce soit pour les flux live ou la à la demande, par découpage des flux en morceaux téléchargeables à la volée par le lecteur vidéo. TV5MONDE privilégiera une solution basée sur Flash. Ce découpage en streamlets au niveau du CDN permet d'optimiser l'utilisation du cache et d'uniformiser les protocoles employés pour la diffusion. La source des flux pourra être une liaison SDI dédiée, une connexion IP adaptée, une captation directe des flux diffusés (satellite), ou toute autre solution convenue entre le Titulaire et TV5MONDE. TV5MONDE Cahier des clauses techniques particulières Page 14/44

15 3.2.4.Organisation du cache vidéo AT26 Etude et conseil préalable autour des vidéos du site TV5MONDE En complément aux statistiques détaillées en 3.2.5, le Titulaire étudie avec TV5MONDE le fonctionnement actuel de ses vidéos, en particulier : nombre de vidéo, type de vidéos, audience générale des vidéos par section, audience dans le temps (pics à leur mise en ligne puis atténuation). Certaines vidéos ont de grosses audiences en permanence. Les «JT» sont remis à jour (même fichier) deux fois par jour. D autres émissions (reportages, documentaires) sont des émissions «de fond» ayant moins d audience ponctuelle, mais tout autant étalée dans le temps. Le Titulaire est alors force de proposition pour faire en sorte, au maximum, que les fichiers des vidéos soient universellement disponibles sur ses serveurs périphériques. AT27 Gestion de la diffusion des vidéos par caching Le Titulaire organise son CDN de façon à ce que les serveurs périphériques mettent en cache les vidéos, à la demande («PULL»). AT28 Gestion de la diffusion des vidéos par réplication Le Titulaire organise son CDN de façon à ce que ses serveurs périphériques soient automatiquement mis à jour en «PUSH» par les serveurs sources, dès qu un fichier est ajouté ou mis à jour sur ceux-ci. AT29 Mise en cache de gros fichiers Le Titulaire ne diminue pas les TTL (Time To Live) des données en cache quand les tailles de fichiers augmentent, de façon à garder en cache les vidéos de taille conséquentes, et à favoriser le byte rate. AT30 Découpage en segments des fichiers vidéo pour optimiser la mise en cache Le Titulaire dispose d outils qui segmentent automatiquement les vidéos, de façon à faciliter la mise en cache des parties les plus regardées, sur ses serveurs périphériques. AT31 Surveillance, pro-activité, et conseil autour de la gestion du cache VoD Le Titulaire, surveille la bande passante et le type de requêtes vers ou depuis les serveurs source de TV5MONDE. Le Titulaire s engage à prévenir TV5MONDE en cas d utilisation anormale du cache (fréquence d accès trop élevée aux serveurs source) et est force de proposition pour améliorer la situation. AT32 Indisponibilité des données Si les serveurs sources ne sont pas disponibles et qu une donnée n est pas en cache, le CDN indique de façon conviviale que la donnée sera prochainement disponible. Par exemple, au lieu d un code «404 Not Found» classique des serveurs Web ne trouvant pas un objet, un texte invitant l internaute à réessayer sous peu sa demande s affiche (page de failover, contenu alternatif). AT33 Continuité du cache en cas d échec de l origine En cas d utilisation d un serveur de fichiers origine, le réseau du Titulaire est en mesure de continuer à servir les contenus déjà présents dans le cache, dans le cas où les serveurs-origine ne répondraient plus à expiration de la durée de cache convenue (expiration de la TTL). Le comportement attendu est comparable à l'application d'une TTL infinie en cas d'impossibilité de mise à jour du contenu d'origine. Cette fonctionnalité permet de maintenir la visibilité des sites web dans leur dernier état connu et ne pas perturber la navigation des internautes. TV5MONDE Cahier des clauses techniques particulières Page 15/44

16 AT34 Prise en charge des entrées DNS Le Titulaire devra prendre en charge la gestion des entrées DNS utilisées par TV5MONDE pour ses différents services. Il détaillera également la stratégie technique qu'il propose. AT35 Communication entre serveurs de cache et serveurs sources TV5MONDE Les serveurs de cache du Titulaire s interrogent entre eux au moyen de protocoles spécialisés (ICP, CARP, HTCP, ), avant d interroger les serveurs sources de TV5MONDE. AT36 Mise en place éventuelle de serveurs «replica» dans le CDN Si cette solution n a pas été mise en œuvre dès le départ par le Titulaire, et en cas de trafic trop élevé (débit symétrique de 5Mbit/s et une possibilité de burst à 50Mbit/s) entre les serveurs de cache du CDN et les serveurs source de TV5MONDE, le Titulaire configure des serveurs «replica» sur son backbone. Ces derniers feront alors office de serveurs source pour les serveurs de cache périphérique, avec des objets toujours synchronisés avec les serveurs source de TV5MONDE. AT37 Volume disponible sur les serveurs de cache Le Titulaire est en mesure de mettre en cache (ou en données répliquées), en permanence, sur chaque nœud, au moins 70% du volume total représenté par les vidéos de TV5MONDE. AT38 Justification de la quantité de données cachées Le Titulaire est capable de justifier à tout moment, pour chaque nœud, le volume de données effectivement mis en cache. AT39 Partitionnement du cache Le Titulaire est capable de partitionner le cache de TV5MONDE, de façon à appliquer des règles de caching différentes sur les partitions, dans un but d optimisation générale du hit rate et du byte rate des différents types de vidéos. AT40 Algorithmes de cache utilisés Le Titulaire surveille, et est capable d adapter en cours de contrat, et sans surcoût, ses algorithmes de cache (LRU, LFU, GDS, ) à l organisation du site, et aux partitions définies en AT39, toujours dans un but d optimisation côté internaute (hit rate) et côté bande passante (byte rate). AT41 Type d objets mis en cache Les serveurs cache sont capables de mettre en cache n importe quel type d objet / fichier vidéo (connu ou pas encore connu), à condition qu aucune directive HTTP spécifiée par TV5MONDE ne l interdise. AT42 Prédominance des directives de cache de TV5MONDE Les serveurs de cache utilisent en priorité les directives de cache indiquées par les outils demandés en AT52. En cas d absence de telle directive sur des objets, la politique de cache par défaut du Titulaire est automatiquement utilisée. AT43 Optimisation du cache par chargement anticipé Le Titulaire sait mettre en place un algorithme mettant en cache des données avant qu elles ne soient demandées. Par exemple, lorsqu une vidéo est demandée, et qu elle n est pas présente en cache, le serveur de cache télécharge plusieurs segments de cette vidéo (idéalement les plus demandés statistiquement) sur d autres serveurs de cache ou au pire depuis les serveurs source. TV5MONDE Cahier des clauses techniques particulières Page 16/44

17 AT44 Outils de gestion du cache Le Titulaire donne la possibilité à TV5MONDE de pouvoir spécifier facilement quels objets seront cachés ou non, et combien de temps ils le seront. Ce paramétrage peut porter sur : des objets individuels, des répertoires, des types de fichiers/données (extension ou type MIME par exemple). Tous les outils suivants sont utilisables par TV5MONDE : Interface web de gestion globale, Web Service/API pour être intégré dans un CMS. AT45 Purge du cache La purge du cache doit pouvoir être déclenchée à distance soit par un automatisme mis en œuvre par TV5MONDE, soit manuellement par les équipes techniques. Les modes de purge automatiques demandés par TV5MONDE sont les suivants : par critères de taille ou d'âge des fichiers, pour chacun des répertoires par critère de taille d'un répertoire (par exemple lorsque la taille d'un répertoire excède une certaine valeur) Les modes de purge sélective souhaités sont les suivants : manuelle en SSH par commandes, par envoi d'une liste de fichiers, sur l'extranet ou directement au Titulaire par envoi de critères permettant de sélectionner les fichiers, sur l'extranet ou directement au Titulaire par appel webservice (à spécifier) et transmission d'une liste de fichiers ou de critères permettant de sélectionner les fichiers (taille, filtre sur le nom de fichier, âge...). AT46 Différentiation des contenus d'archives Les contenus mis à dispositions des internautes sur les sites de TV5MONDE, notamment en VoD, peuvent être classés en deux catégories : les contenus récents, populaires et demandés en permanence par les internautes une faible quantité de contenus génère la majorité du trafic réseau les contenus d'archive représentent un grand volume de données, accédés de manière sporadique une grande quantité de contenus stockés mais générant peu de trafic réseau Le Titulaire propose un service qui tient compte de ces spécificités pour : optimiser la réplication des contenus très populaires et minimiser les temps d'attente éviter la réplication inutile de contenus peu demandés et réduire les coûts Le Titulaire et TV5MONDE conviendront des critères discriminants : emplacement, date, popularité (hitrate), etc. TV5MONDE Cahier des clauses techniques particulières Page 17/44

18 3.2.5.Stockage AT47 Architecture de la solution de stockage Le Titulaire propose un espace de stockage dédié et sécurisés destinés à héberger les contenus vidéos, images, animations, ou autres contenus statiques. Idéalement cet espace sera dupliqué sur plusieurs serveurs géographiquement installés au plus près des serveurs de diffusion. AT48 Accès à l espace de stockage La solution supportera les protocoles d accès suivants : ftp sftp ssh (scp) rsync Tous les paramètres d accès et les procédures correspondantes devront être communiqués par le Titulaire dès la mise en place du service. TV5MONDE souhaite permettre à certains de ses partenaires d'accéder à l'espace de stockage partagé, afin de mettre à leur disposition des fichiers vidéo ré-encodés. Ces fichiers vidéo peuvent être à la fois des contenus médias proposés sur le site en VoD, ou des fichiers vidéo strictement destinés aux partenaires. A la mise en place du service, le nombre d accès sera inférieur à 10 mais pourra évoluer sur la durée du contrat. Le Titulaire du présent lot devra permettre l accès à l espace de stockage au Titulaire du lot n 2 «Diffusion des vidéos en direct (Live) des sites Internet de TV5MONDE». AT49 Sécurisation des accès distants à l'espace de stockage L'interface d'administration fournie par le Titulaire doit permettre une granularité telle que les accès utilisateur puissent être limités : à un sous-répertoire donné, en lecture seule ou en lecture et écriture De plus, tout accès distant pourra être soumis à des limitations sur l'adresse IP du client. AT50 Evolutivité du stockage Sur demande de TV5MONDE ou de manière automatique (seuil à définir entre le Titulaire et TV5MONDE), le volume de stockage devra pouvoir évoluer dynamiquement sans interruption de service. TV5MONDE Cahier des clauses techniques particulières Page 18/44

19 AT51 Sauvegardes Le Titulaire proposera en option un système de sauvegarde automatique quotidien des fichiers vidéo déposés par TV5MONDE sur les serveurs du CDN. Le Titulaire devra alors préciser le plan de sauvegarde utilisé : fréquence et type des sauvegardes : incrémentale, complète. Toutes les restaurations, le cas échéant demandées par TV5MONDE, ne donnent pas lieu à une surfacturation, et ce quelle que soit la cause de la perte de données (Titulaire ou TV5MONDE). Le Titulaire assure les sauvegardes sur un site distinct du stockage principal. La réplication inhérente au fonctionnement distribué du CDN ne peut être considérée comme une sauvegarde en tant que telle Supervision, mesure des performances et statistiques d utilisation AT52 Outils de surveillance et de tolérance de panne (monitoring & Fail-over) Le Titulaire dispose d outils lui permettant de surveiller en permanence l état de l état de son réseau, de ses nœuds, de ses serveurs et de ses services. De plus, le Titulaire dispose de technologies permettant de réacheminer automatiquement et immédiatement le trafic des internautes vers un autre nœud ou grappe de serveurs en cas d incident sur un autre nœud ou grappe de serveurs. De même, en cas d incident le Titulaire dispose de technologies permettant d assurer la continuité de la prestation de stockage au moyen d un réacheminement automatique et immédiat des données. AT53 Mesure des performances du CDN Le Titulaire envoie mensuellement, et au plus tard 10 jours après la fin du mois concerné, les statistiques globales de performance du trafic à TV5MONDE, en particulier, et au minimum, les statistiques en termes de hit rate et de byte rate (pertinence du cache) avec son analyse. AT54 Envoi automatique d alertes suivant les mesures de performances Le Titulaire met en place un système automatique d alertes par courrier électronique à destination de TV5MONDE, en cas de mesures incohérentes avec les engagements définis : Temps d accès aux vidéos (démarrage de la lecture) supérieur à 4 secondes, Gels pendant la lecture des vidéos, Pourcentage défini du quota de stockage atteint. AT55 Statistiques générales de charge et d audience Le Titulaire s engage à fournir mensuellement, et au plus tard 10 jours après la fin du mois concerné : Objets les plus demandés (taille de l objet, nombre de hits, octets transférés) ventilés par jour et plages horaires, statistiques concernant les objets et pages en erreur, Localisation globale des internautes, tous nœuds confondus, si possible quotidienne, bande passante mensuelle utilisée vers les internautes, bande passante mensuelle utilisée depuis les serveurs source, volume total stocké sur disque, et détail trié par taille de répertoire, TV5MONDE Cahier des clauses techniques particulières Page 19/44

20 le volume de données caché le taux de succès de la mise en cache AT56 Statistiques détaillées sur les vidéos Le Titulaire est capable de fournir des statistiques détaillées sur la fréquentation des vidéos, telles que : Temps d écoute moyen, temps d écoute par fichier vidéo, quels segments d une vidéo sont regardés. AT57 Compatibilité du système CDN avec un outil tiers de statistiques TV5MONDE utilise des outils de «Web Analytique» ( Sitestat et Streamsense de Nedstat) pour extraire des analyses pertinentes de l activité du site. Le Titulaire accompagne TV5MONDE pour valider la compatibilité de son CDN, avec cet outil. AT58 Communication des journaux de connexion HTTP au format brut Le Titulaire est en mesure à tout moment de fournir des logs complets agrégés au format HTTP «standard» de tout le trafic sur ses serveurs, avec un historique jusqu à un an minimum, de façon à être compatible avec les outils d analyses classiques Sécurité & restriction des données AT59 Protection contre les attaques de déni de service Le Titulaire justifie la mise en place de moyens techniques protégeant TV5MONDE d attaques en Dénis de Service et Dénis de Service Distribués (DoS ou DDos), que ces attaques visent le site de TV5MONDE, ou d autres sites gérés par le CDN. AT60 Protection contre les attaques de cache Les serveurs cache du Titulaire sont protégés des attaques type «Cache Poisoning». AT61 Système de géo-blocage Le Titulaire met en œuvre et justifie des mécanismes de géo-blocage des données. TV5MONDE doit en effet empêcher la diffusion de certains media (fichiers sons et vidéo) dans certains pays. Le système mis en place par le Titulaire permet donc à TV5MONDE de réaliser des blocages au pays près. AT62 Simplicité et réactivité de l interface de géo-blocage Le Titulaire met en œuvre une interface de gestion du géo-blocage simple et réactive (effet immédiat des actions) pour TV5MONDE. Les outils fournis sont: Console de gestion Web, API de gestion distante (Web Service). TV5MONDE Cahier des clauses techniques particulières Page 20/44