STREAMING VIDÉO SUR INTERNET

Transcription

1 Ecole d hiver sur les application de l informatique industrielle, réseaux et génie logiciel STREAMING VIDÉO SUR INTERNET ARCHITECTURES, PROTOCOLES ET SERVICES Yassine HADJADJ AOUL yhadjadj@irisa.fr Maître de conférences à l Université de Rennes 1 Laboratoire IRISA, Equipe- projet Dionysos (INRIA) Décembre 4, 2013

2 Streaming sur Internet 2 Plan Généralités Contextes Place de la vidéo dans l internet Défini]ons Architectures tradi]onnelles Difficultés du streaming sur Internet Améliora]on du streaming sur Internet Améliora]on structurelle (vidéo) Améliora]on protocolaire (DASH) Architecturale (CDN + Caching) Tendances

3 CONTEXTES Streaming sur Internet 3

4 Streaming sur Internet 4 Contexte économique Nombre gigantesque de clients IP (marché poten]el très important et à moindre coût) Déploiement généralisé et con]nue de l IPTV Dispari]on imminente de la télé analogique «Digital switchover», depuis 2011 en France Croissance importante du nombre de disposi]fs HD Appari]on soudaine de plateformes de partage de contenus (e.g. Youtube, Dailymo]on) et la croissance du partage de fichiers en Pair- à- pair (i.e. P2P)

5 Streaming sur Internet 5 Contexte technologique Plusieurs évolu]ons technologiques ont rendu possible le transport de la vidéo sur IP: Transi]on vers la vidéo digitale La transmission en numérique possible par voie terrestre, satellitaire et par câble Avancées dans la compression vidéo Evolu]on du premier standard (MPEG- 1, 1991) au standard de compression avancé H.264 La vidéo peut être transportée dans un réseau à capacité limité Croissance de la capacité des réseaux IP Démocra]sa]on des accès large bande

6 Streaming sur Internet 6 CES DÉVELOPPEMENTS ONT RENDU TECHNIQUEMENT ET ÉCONOMIQUEMENT POSSIBLE LE TRANSPORT DE LA VIDÉO HAUTE- QUALITÉ AUX NOMBREUX CLIENTS IP En résumé

7 Streaming sur Internet 7 PLACE DE LA VIDÉO DANS L INTERNET

8 Streaming sur Internet 8 Etat des lieux (année 2012) Les consommateurs de vidéos représentent 57% du nombre total de consommateurs de trafic internet 69% en 2017! La Vidéo internet sur TV représente 9% 14% en 2017! probablement plus Le trafic VoD triplera en 2017! La somme de toutes les formes de vidéo (TV, VoD, Internet et P2P) sera de l'ordre de 80 à 90% du trafic mondial d'ici 2017! Cisco forcast

9 Streaming sur Internet 9 Etat des lieux (année 2012) (suite) 60 Prédic]ons 52,7 Trafic en PB (10 15 ) ,8 8,8 19,8 11,6 25,8 14,6 32,9 17,6 41,9 20,4 22,9 Vidéo sur Internet Croissance 29% annuel Vidéo sur réseaux managés Croissance 21% annuel

10 DÉFINITIONS Streaming sur Internet 10

11 Streaming sur Internet 11 L IPTV C EST LA TV PAR INTERNET Idée reçue

12 Streaming sur Internet 12 IPTV IPTV est simplement le moyen de transporter la télé tradi]onnelle dans un réseau IP Caractéris]ques Flux con]nus de contenu produit par des professionnels Contenus uniformes (tous les canaux partagent une même technique de compression, résolu]on, débit) Transport sur un réseau privé (opéré de bout- en- bout) xdsl Transport en mode non connecté RTP/UDP (mul]cast) Visualiser sur une télévision par le biais d une set- top box

13 Streaming sur Internet 13 VoD: Vidéo à la demande Technique de diffusion de contenus vidéo numérique bidirec]onnelle (interac]ve) offerts (catch- up TV) ou vendus Caractéris]ques Contenus discrets Contenus uniformes Transport sur un réseau privé (opéré de bout- en- bout) Transport en mode non connecté RTP/UDP ou TCP Visualiser sur une télévision par le biais d une set- top box Généralement les contenus de la catch- up TV sont accessible durant une période limité

14 Streaming sur Internet 14 Vidéo par Internet La vidéo par Internet se base sur une livraison de contenus en u]lisant un réseau public Caractéris]ques Contenus discrets Millions de contenus vidéo Format des contenus très variable Livraison sur le réseau Internet Transport en mode connecté: TCP Visualiser par des lecteurs sur PCs, Tablexes, smart phones, et la TV (smart TV)

15 Streaming sur Internet 15 Avantages et inconvénients du streaming sur Internet Avantages Disponibilité et ubiquité Low cost par rapport à une solu]on se basant sur un réseau opéré Inconvénients Performance imprédic]ble (i.e. réseau best effort) Coût réduit en infrastructure pas toujours vrai

16 Streaming sur Internet 16 Part de la vidéo par internet en 2015 USA VoD sur TV (e.g. Apple TV) 17% UGC (e.g. Youtube) 15% Vidéo mobile 10% VoD sur PC (e.g. Netflix) 39% Vidéo conférence 4% TV live sur PCs 10% Caméra de sécurité 6%

17 Streaming sur Internet 17 ARCHITECTURES TRADITIONNELLES Evolu]on de la technique avec l évolu]on de la capacité du réseau

18 Streaming sur Internet 18 Download Click and wait, le download implique le téléchargement de tout le fichier avant visualisa]on

19 Streaming sur Internet 19 Download (suite) Avantages Le moyen le plus simple pas de contraintes en BW accès modem 56K Pas de problème de synchronisa]on intra/inter- média Une fois téléchargé, la répé]]on de visionnage ne consomme pas de BW Inconvénients La lecture n est possible qu à la fin du téléchargement du fichier Après téléchargement le fichier peut ne pas être lu (codec, player, ) Contenu peut ne pas correspondre aux axentes Popularité des premières secondes (e.g. Youtube) Fichier portable, partageable, conver]ble dans un autre format,

20 Streaming sur Internet 20 Progressive download Dans le téléchargement progressif, le lecteur mul]média est configuré pour pointer à l URL de la vidéo à lire (e.g. Youtube) (1) HTTP request for Meta file (2) Meta file (3) Video file requested and sent over HTTP

21 Streaming sur Internet 21 Progressive download (suite) Avantages Pas d axente du téléchargement complet avant le démarrage de la lecture Supporté par tous les lecteurs les plus populaires Pas d installa]on de logiciel supplémentaire Le téléchargement peut être interrompu si pas d intérêt pour le contenu Répé]]on possible de la lecture en local (pas de coût en Bande passante) Fonc]onne parfaitement avec les CDNs Inconvénients Interrup]on possible de la lecture (i.e. playout interrup]ons) Le déplacement dans la vidéo n est pas possible

22 Streaming sur Internet 22 Streaming Signifie que le flux vidéo est reçu par et présenté à un u]lisateur final, tout en étant délivré par une diffusion en con]nu du fournisseur. (1) HTTP request for presentation description Live ou VoD (2) Presentation description (3) Video file requested and sent

23 Streaming sur Internet 23 Streaming (suite) Avantages Visualisa]on quasi instantané Où presque, buffer de quelques secondes Déplacement possible à n importe quel endroit de la vidéo Inconvénients Interrup]on possible de la lecture (i.e. playout interrup]ons) Nécessite d avoir des serveurs de streaming La bande passante u]lisée est celle nécessaire à la visualisa]on Seul moyen pour faire du live pas complètement vrai Fichier non portable (sécurité)

24 Streaming sur Internet 24 DANS LE STREAMING PAR INTERNET, ON A PAS FORCÉMENT UN SERVEUR DE STREAMING Serveur web pour le streaming vidéo

25 Streaming sur Internet 25 DIFFICULTÉS LIÉES AU STREAMING SUR INTERNET

26 Streaming sur Internet 26 COMPRENDRE LE FONCTIONNEMENT DE L INTERNET POUR COMPRENDRE LES PROBLÈMES DU STREAMING SUR INTERNET

27 Streaming sur Internet 27 Structure de l Internet Internet exchange Point Réseau d accès Lien de peering Réseau d accès ISP A Réseau d accès POP ISP B Réseau d accès NAP IXP Réseau d accès ISP C POP: Point Of Presence (ISP-ISP) NAP: Network Access Point (ISP-Autres) Réseau d accès Réseau d accès Réseau d accès

28 Streaming sur Internet 28 Structure de l Internet: plus en détail Réseau d accès Réseau d accès ISP A Réseau d accès Réseau d accès ISP régionaux ISP C Fournisseur de contenus IXP ISP B Réseau d accès ISP régionaux Réseau d accès Réseau d accès Réseau d accès

29 Streaming sur Internet 29 Structure de l Internet: plus en détail Tier 1 - ISP Tier 1 - ISP Google IXP IXP IXP Tier 2 - ISP ISP régional ISP régional Achat par]el de leurs trafic Tier 3 - ISP Réseau d accès Réseau d accès Réseau d accès Réseau d accès Réseau d accès Réseau d accès Achat de tout leurs trafic " Les ISPs ]er- 1 commerciaux (e.g., Level 3, Sprint, AT&T, NTT), présentent une étendue na]onal et interna]onal " Les fournisseurs de contenus (e.g, Google) bypass généralement les Tiers 1 et ISPs régionaux

30 Streaming sur Internet 30 TCP et le streaming sur Internet Protocole assurant une transmission fiable Pas de dégrada]on de la qualité de l image Adapter aux services de vidéos à la demande (e.g. User Generated Contents «UGC») Retransmission des paquets perdus même lorsque la retransmission n est pas u]le Permet de bypasser les firewall et NAT Transport sur HTTP/TCP Serveur assez simple (e.g. download ou progressive download)

31 Streaming sur Internet 31 TCP et le streaming sur Internet (suite) Adapta]on du débit de transmission (ges]on de la conges]on) Chute du débit après une perte de paquet même si cela peut causer une famine au niveau du client Overhead Three- way handshake, entête TCP de 20 octets dans chaque paquet trop pour l envoie de données audio Envoie d acquitement pour tous les paquets bien plus que nécessaire Non compa]ble avec le mul]cast (e.g. IPTV) Mul]cast applica]f?

32 Streaming sur Internet 32 Difficultés du streaming sur Internet Réseau Best effort Pas de garan]s en ressources (pire encore: ressources variables) Délais variables, pertes Limites de l ingénierie de trafic (MPLS, ) Pas de qualité en inter- domaine Pas de QoS de bout- en- bout (i.e. Enthrone, ) Problème de conges]on Principalement au niveau des liens de peering Pas de mul]cast en TCP redondance non exploitée

33 Streaming sur Internet 33 Impacte du streaming sur l écosystème Les ISP et les réseaux de transit sont submergés de trafic de distribu]on de contenus Déséquilibre des liens de peering (bande passante entrante/sortante) Le service de peering ne peut plus être gratuit Réseaux de transit : mise à jour con]nue des liens de transmission Passage par les réseaux de transit/payement suivant le débit Coût des IXPs reste non négligeable Mise à jour de la capacité de transport, des équipements et la loca]on de l endroit Achat du service de distribu]on d un ou de plusieurs opérateurs de CDNs Qui doit payer?

34 Streaming sur Internet 34 AMÉLIORATION DU STREAMING SUR INTERNET

35 Streaming sur Internet 35 Axes d améliora]ons Structure de la vidéo Protocole de streaming Infrastructure Stockage Base sur des fragments Popularité/fragment Adaptatif Débit suivant l état du réseau CDN Au plus près des clients Caching dynamique Popularité/ Plusieurs qualité pour un même contenu Prefetching Popularité potentiel Qualité optimal

36 Streaming sur Internet 36 DASH: UNE STRUCTURATION ET UN PROTOCOLE

37 Streaming sur Internet 37 Streaming de vidéo à base de fragments La vidéo de streaming est divisée en segments (i.e. chunks) contenant une certaine durée de vidéo (typiquement: 2 à 10s) Caractéris]ques Streaming plus efficace Moins d impact en cas de perte U]lisa]on plus efficace de la bande passante Caching plus efficace Un cache à fragments offre une meilleure efficacité qu un cache à contenu complet (i.e. Caching des chunks populaires) Pas d interdépendance entre chunk

38 38 Structure d une vidéo Groupe d images (GoP) = k images Une séquence vidéo = i groupes d images Groupe d images (GoP) = k images bandes = p macroblocs q pixels r pixels 1 bloc = q x r pixels q = r = {4, 8, 16} 1 image = m bandes (slices) 1 macrobloc = 4 blocs

39 39 Structure d un GoP Le GOP (Group Of Picture) définit l enchaînement des images I, P et B dans le flux vidéo. Le GOP commence toujours par une image I. Un chunk et GoP(3,16) un ensemble de GOPs I Intracoded frame P Forward/predicted frame B Bi-directional/interpolated frame

40 Streaming sur Internet 40 DASH: Dynamic Adap]ve Streaming over HTTP Le standard DASH est une technique de streaming basée sur des segments, disponible en différentes qualité et transportés en u]lisant HTTP 1.1

41 Streaming sur Internet 41 DASH: Dynamic Adap]ve Streaming over HTTP Avantages S adapte automa]quement à la bande passante disponible Choix du débit par le client, en fonc]on des capacités Passage transparent d une qualité à une autre Encapsula]on sur HTTP Court- circuite les NAT et les firewall Déploiement facile sur les CDNs Nul besoin d un serveur de streaming Serveur web Déplace l intelligence du réseau vers les clients

42 Streaming sur Internet 42 Challenges Instabilité et iniquité du streaming en DASH Résultat du contrôle distribué Lien congestionné commun J. Jiang, V. Sekar, and H. Zhang Improving fairness, efficiency, and stability in HTTP- based adap]ve video streaming with FESTIVE. In Proc. Of ACM CoNEXT '12. New York, NY, USA,

43 Streaming sur Internet 43 Challenges (suite) Performance: Détermina]on de la taille des chunks Détermina]on de la stratégie de téléchargement op]male Nombre de chunk pour éviter la famine tout en minimisant la bufferisa]on Caching des flux DASH Choix de la qualité dans un réseaux de distribu]on de contenus (e.g. topologie diverses) Sécurité: Stratégie de téléchargement agressive

44 Streaming sur Internet 44 RÉVOLUTION DU STREAMING SUR INTERNET GRÂCE AUX CDNs

45 Streaming sur Internet 45 Les intermédiaires Origin Server Serveurs centralisés Mise à l échelle Efficacité (BW) Ferme de serveurs Serveurs miroir Coût Mutualisation Surrogate (cache) Surrogate (cache) Surrogate (cache) Surrogate (cache) CDNs

46 Streaming sur Internet 46 CDN: Content delivery Network Réseau en overlay chargé de distribuer le contenu de l endroit le plus op]mal* Principe Rapproche les contenus des u]lisateurs (économie en bande passante «coût» et pe]ts délais) Mise à l échelle et mutualisa]on des ressources: traitement, mémoire, stockage Favorise les contenus les plus populaires Contenus distribués en fonc]on des besoins et de leurs u]lisa]ons * Ne signifie pas forcément le plus proche géographiquement

47 Streaming sur Internet 47 Exemple de CDNs The Akamai EdgePlatform: 85,000+ Servers POPs 950+ Networks 660+ Cities 72+ Countries Resulting in traffic of: 5.4 petabytes / day 790+ billion hits / day 436+ million unique clients IPs / day

48 Streaming sur Internet 48 Evolu]on du trafic des CDNs Trafic en PB (10 15 ) Prédic]ons 47,1 Croissance 34% annuel 35,8 26,8 19,9 14,6 10, Le CDN est la méthode dominante pour livrer le contenu de streaming. 51% du trafic Internet va traverser des CDNs en 2017, contre 34% en % du trafic vidéo sur Internet va traverser des CDNs en 2017, en hausse de 53% en 2012

49 Streaming sur Internet 49 L exemple: Architecture type du streaming sur Internet Cloud Amazon (EC2, S3 ) Réseau Neˆlix Serveur Neˆlix Serveur Neˆlix Copie de contenus CDNs Level- 3 LimeLight 2 Redirec]ons: movies.neˆlix.com (logged) Signup.neˆlix.com 3 Authen]fica]on MàJ périodique du Manifest Akamai 1 Enregistrement 4 Demandes chunks Problématique de la sélection de cache/serveur Client MS Silverlight (DASH) 5 chunks V. K. Adhikari, Y. Guo, F. Hao, M. Varvello, V. Hilt, M. Steiner, and Z.- L. Zhang. INFOCOM, page IEEE, (2012)

50 Streaming sur Internet 50 RÉVOLUTION DU STREAMING SUR INTERNET PAR LE CACHING

51 Streaming sur Internet 51 Pourquoi le caching? Changement de rapports entre opérateurs de CDNs et ISPs Augmenta]on importante de la quan]té de trafic, principalement le téléchargement vidéos D équilibre entre le trafic entrant et sortant (> 2.5 fois) Impacte du streaming sur les performances du réseau Satura]on des liens de peering Dégrada]on de la qualité des autres applica]ons (e.g. Web) Le caching semble être une bonne solu]on

52 Streaming sur Internet 52 Per]nence du caching pour la VoD Nombre d u]lisateurs ac]fs > nombre de vidéos ac]ves Taille limitée de la vidéothèque Popularité/Loi Zipf (α = 1.2)* Décroissance rapide de la popularité Le caching des contenus VoD populaires est efficace * C. Fricker, P. Robert, and J. Roberts: «A versa]le and accurate approxima]on for LRU cache performance». In Journal Corr, Vol. abs/ (2012)

53 Streaming sur Internet 53 Per]nence du caching pour le contenu UGC ANR ViPeer Partenaires: INRIA, TB, Orange, Etude: Per]nence du caching Type de trafic: Youtube (vidéothèque quasi illimité) Mesures: 3 zones ADSL (villes: Lyon, Bordeaux, et Paris) Hypothèse: Les fichiers visualisés 1 et 2 fois sont considéré comme du bruit pour le caching Jour 7 Fichiers dis]ncts Nombre de téléchargement Volume total Fichiers GB > (24,3%) 638,1 GB (60,2%) 1182,0 GB 1 semaine Fichiers ,0 GB > (39,7%) 2598,9 GB (45,4%) 2249,7 GB 2 semaines Fichiers ,2 GB > (54,9%) GB (32,9%) 3315,5 GB

54 Streaming sur Internet 54 Per]nence du caching pour le contenu UGC Résultats (Bordeaux) Trafic des fichiers visualisés 1 fois très important L élargissement de la fenêtre d étude permet d augmenter le nombre de fichiers visualisés + 2 fois ( 55%) Le caching des fichiers visualisé + 2 fois permexrait de réduire significa]vement la bande passante La taille du cache (4,7 TB) à besoin d être aussi importante Jour 7 Fichiers dis]ncts Nombre de téléchargement Volume total Fichiers GB > (24,3%) 638,1 GB (60,2%) 1182,0 GB 1 semaine Fichiers ,0 GB > (39,7%) 2598,9 GB (45,4%) 2249,7 GB 2 semaines Fichiers ,2 GB > (54,9%) GB (32,9%) 3315,5 GB

55 Streaming sur Internet 55 Per]nence du caching pour le contenu UGC Résultats (sur les 3 zones) Le poten]el de réduc]on est très important La taille du cache (12 TB) à besoin d être de plus en plus importante Les contenus visualisés changeant de jour en jour et de semaine en semaine Renouvellement du caching pour maintenir l efficacité : stratégie de caching Jour 7 Fichiers dis]ncts Nombre de téléchargement Volume total Fichiers ,1 GB > (51,7%) 2757,9 GB (36,8%) 2634,6 GB 1 semaine Fichiers ,6 GB > (58,9%) 6124,7 GB (29,9%) 4463,6 GB 2 semaines Fichiers ,5 GB > (70,2%) 11916,9 GB (20,9%) 7483,1 GB

56 Streaming sur Internet 56 Stratégies de caching Caching réac]f Mise en cache de contenus populaires dynamiquement Mise à jour des caches à la demande et dynamiquement Techniques: LRU, LFU, LRFU, Op]mal*, Employé par: Google cache (technique basée sur LRU) Caching proac]f (Prefetching) Mise en cache de contenus dont la popularité à un poten]el de croître Mise à jour des caches en dehors des heures de pointes Techniques: basées sur la prédic]on Employé par: Facebook (u]lisa]on des liens sociaux), * L. Zhe, M.K. Sbai, Y. Hadjadj- Aoul, A. Gravey, et al: «Network friendly video distribu]on». NoF 2012, Tunis, Tunisia (November 2012)

57 Streaming sur Internet 57 Impacte du caching sur l écosystème Déséquilibre des liens de peering Importance du rôle des CDNs dans la chaine de distribu]on de contenus Développement de solu]ons de CDNs par les «Content Provider» Google peut maintenant avoir un lien directe avec les ISPs ou les ISPs de transit (e.g. Orange) Les fournisseurs de contenus développent des solu]ons empêchant/ gênant le caching puisque il entraîne des pertes de revenus (i.e. publicité) Youtube privilégie le streaming en HTTPs et un streaming dans un ordre non conven]onnelle Améliora]on de la QoE consomma]on d un contenus d une meilleure qualité (e.g. HD) problème de conges]on Développement de nouvelles solu]ons

58 TENDANCES Streaming sur Internet 58

59 Streaming sur Internet 59 Vers une coopéra]on entre CPs et ISPs Une coopéra]on entre CP et ISP est une solu]on gagnant- gagnant Les ISPs économisent de la bande passante Les CPs ne perdent pas de revenus et décharge leurs serveurs/cdns Objec]f du projet ANR ViPeer De nouvelles évolu]ons confirme l intui]on * L. Zhe, M.K. Sbai, Y. Hadjadj- Aoul, A. Gravey, et al: «Network friendly video distribu]on». NoF 2012, Tunis, Tunisia (November 2012)

60 Streaming sur Internet 60 Vers une coopéra]on entre CPs et ISPs (suite) Portal Regional CDN Server dtracker Caching (Peers) Customer La solu]on Vipeer recommande le déploiement d un système de caching opéré par l opérateur réseau dans son propre réseau 1 Upload Manifest 2 OK 3 4 Request «Matrix» URL Manifest 5 6 Get URL Manifest Redirect dtracker 8 7 Get URL Manifest Send modified Manifest ChunkRequest(Ch x,peer y ) ChunkRequest(Ch z,peer r ) 9

61 Streaming sur Internet 61 Vers une coopéra]on entre CPs et ISPs (suite) Neˆlix: Neˆlix Open Connect Network Permet aux ISPs d avoir, en intra- domaine, un serveur de caching local (i.e. open connect) Con]nuer le travaille avec les CDNs commerciaux à terme ça ne sera probablement plus le cas Serveur gratuit pour les ISPs Neˆlix CDN (Storage: 100 TB, If: 2x10 Gb/s) Coopera]on between Neˆlix and ISPs Permet aux opérateurs d avoir du contrôle sur l acheminement de la vidéo Pre- remplissage des caches pendant les heures creuses Caching proac]f et réac]f hxp://blog.neˆlix.com/2012/06/announcing- neˆlix- open- connect- network.html (June 2012)

62 Streaming sur Internet 62 Streaming en P2P Le P2P est scalable, pas cher et axrac]f mais pas de garan]s en ressources non viable comme solu]on commerciale P4P permet aux ISPs d op]miser leurs ges]on de ressources Réduire la charge des liens de peering en favorisant des communica]ons intra- domaine (itracker) Architecture hybride CDN/P2P Certains CDNs commenceraient déjà à avoir des composantes P2P Créa]on d un nouveau WG à l IETF: PPSP (P2P streaming protocol) Tout reste encore à faire * RFC 6972 (July 2013)

63 Streaming sur Internet 63 CCN: Content centric networking Chercher le contenus ou il se trouve plus de lien avec un par]culière Routage sur les noms Portal Meilleures stratégies? Stratégies de réplica]on et de caching Quelle qualité pour le caching? Plus de transport end2end CDN surrogate En overlay ou from the scratch?

64 De la centralisa]on à la distribu]on et de la distribu]on à la centralisa]on SDN: So ware Defined Networking? Streaming sur Internet 64