Distribution vidéo. F. Harivelo Université de la Réunion. F. Harivelo Distribution vidéo / 53

Transcription

1 Distribution vidéo F. Harivelo Université de la Réunion F. Harivelo Distribution vidéo / 53

2 IPTV IPTV Service pour le transport de contenu multimédia sur un réseau IP Caractéristiques Support de la télévision interactive Live TV Télévision haute définition Jeux interactifs Navigation sur Internet Décalage temporel Personnalisation Utilisation efficace de la bande passante Internet TV différent d IPTV Internet vs réseau dédié Portée géographique Qualité Accès et coût Contenu F. Harivelo Distribution vidéo / 53

3 Quel système de distribution? Architecture basée sur les routeurs IP Multicast Argument bout-en-bout Une fonctionnalité doit être implémentée autant que possible dans les couches hautes, sauf si sa localisation dans les couches basses amène à des performances surpassant la complexité induite La couche Internet a la meilleure connaissance de la topologie Rightarrow le routage multicast à ce niveau est le plus performant Architecture basée sur des serveurs Content Delivery Network Architecture basée sur l application ou multicast applicatif Peer-to-Peer Streaming Les fonctionnalités sont réparties parmi les utilisateurs F. Harivelo Distribution vidéo / 53

4 IP Multicast Types de communications Unicast Broadcast Multicast Communications One-to-many ou many-to-many Information transmise sur une seule adresse et reçue par tout équipement qui le souhaite Exemples Distribution audio et vidéo numériques Visioconférence multisite Replication de bases de données IP multicast Mécanisme utilisé pour construire un arbre de routage multicast efficace et sans boucle Maintien de l interface IP Efficacité du transport en terme de bande passante Scalable (?) Faible couplage F. Harivelo Distribution vidéo / 53

5 Pourquoi le multicast? utilise une seule copie du paquet, une seule connexion et un seul buffer utilise la bande passante de façon efficace prévient la congestion du réseau minimise la charge des serveurs fournit l information à davantage d utilisateurs simultanément touche un nombre quelconque de personnes en une seule fois... F. Harivelo Distribution vidéo / 53

6 Concepts de base Principes Construction d un groupe de récepteurs intéressés par un flux Adhésion éphémère et dynamique Permettre à un utilisateur de souscrire à un flux Groupes ouverts et dynamiques Amener la réplication au plus près de l utilisteur Groupe multicast appartenance dynamique pas de restriction quant à la localisation et au nombre de membres un hôte peut être simultanément membre de plusieurs groupes un hôte n a pas besoin de faire partie d un groupe pour être source l opération join est receiver-driven Groupe permanent et groupe transitoire F. Harivelo Distribution vidéo / 53

7 Les considérations des questions... quand et comment un groupe naît-il et prend-il fin? quand et comment groupe est-elle choisie? comment de nouvelles stations se joignent-elles à un groupe? y-a-t-il des conditions pour l appartenance à un groupe? comment les routeurs interopèrent-ils pour délivrer les paquets? des choix... un récepteur doit pouvoir joindre ou quitter un groupe en cours de transmission un récepteur doit pouvoir joindre ou quitter un groupe sans le signaler explicitement aux émetteurs des constats... les hôtes récepteurs sont souvent connectés à des réseaux locaux... dissociation des problèmes découvrir l ensemble des groupes Mcast courants exprimer le souhait de recevoir les paquets d un groupe découvrir l ens. des récepteurs d un groupe délivrer les données à chaque membre du groupe F. Harivelo Distribution vidéo / 53

8 Eléments de conception Transmission multicast Localisation Couche liaison de données Couche réseau Couche transport Couche applicative Eléments Adressage Abonnement et enregistrement Acheminement Routage multicast F. Harivelo Distribution vidéo / 53

9 Adressage Envoi des même données à de multiple destinataires Groupe dynamique Durée faible de l abonnement/désabonnement (Ex : 1 à 2 s) Contrôle distribué du groupe Aucune connaissance des destinataires par la source Evite la maintenance d une table centralisée Solution : utilisation des adresses IP multicast des adresses MAC Adresse multicast désigne le groupe d utilisateurs qui participent à la réception du contenu partagé F. Harivelo Distribution vidéo / 53

10 Adressage IP multicast Allocation par l IANA des adresses de Class D Commençant par c D. Minoli F. Harivelo Distribution vidéo / 53

11 Adressage IP multicast Adresses Link-local Destinées au segment local Non routables (TTL = 1) Utilisées pour la découverte de route et la communication d information de routage Exemples : All systems on this subnet : All routers on this subnet : DVMRP routers : OSPF routers : OSPF designated routers : DHCP server/relay agent : All PIM routers : All IGMPv3-capable multicast routers : HSRP : Teredo F. Harivelo Distribution vidéo / 53

12 Adressage IP multicast Adresse à portée globale to Transmission d information sur Internet Utilisations spécifiques comme NTP ( ) Exemples : Microsoft and MSNBC : WorldCom Broadcast Services : Agilent Technologies : XingNet : Mercantile & Commodity Exchange : Dow Jones : Walt Disney Company : Cal Multicast : SIAC Market Service : CME Market Data : Deutsche Boerse : KPN Broadcast Services : KPN Broadcast Services F. Harivelo Distribution vidéo : Intelsat IPTV / 53

13 Adressage IP multicast Adresses à portée limitée to Utilisation restreinte à un AS Equivalent des adresses privées Adresses GLOB /8 Réservée aux organisations possédant un numéro AS Exemple AS correspond au sous-réseau F. Harivelo Distribution vidéo / 53

14 Adressage multicast de niveau 2 Une carte réseau accepte les trames Destinées à la carte déterminée par la correspondance entre adresse MAC de destination et l adresse MAC de la carte Envoyées en diffusion Attribution par l IANA d une plage d adresses MAC pour le multicast E E7F.FFFF Correspondance entre 23 bits de l adresse IP multicast et les 23 bits de l adresse Ethernet 5 bits de l adresse multicast non considérés F. Harivelo Distribution vidéo / 53

15 Adresses MPEG Normes MPEG-2 et MPEG-4 définies les couches audio, vidéo et système La couche système gère la synchronisation, l entrelacement de flux compressés, la gestion et l initialisation du buffer Les couches audio et vidéo spécifient la syntaxe et la sémantique des flux élémentaires (Elementary Streams : ESs) Les ESs sont groupés en paquets Packetized Elementary Streams (PESs) Les PESs sont encapsulés dans des unités Transport Stream (TS) Une unité TS transporte 184 octets de données et préfixée par 4 octets d entête Les TS sont encapsulés généralement dans des datagrammes UDP, puis IP Indicateur de canal, Packet Identifier (PID) ou Program ID Identifie le flux auquel appartient le paquet Permet d accepter ou de refuser les paquets de manière simple F. Harivelo Distribution vidéo / 53

16 Adresse MPEG F. Harivelo Distribution vidéo / 53

17 Acheminement multicast Pour étendre la portée de la communication multicast au-delà du segment, le sous-réseau doit passé par un routeur multicast Trois mécanismes sont impliqués Construction d arbres distribués Protocole de routage multicast Protocole de gestion de groupe Multicast sur un segment Le programme utilisateur informe le pilote de la carte réseau de la réception multicast Le pilote filtre les trames en contrôlant l adresse IP multicast Le paquet est remis au programme utilisateur F. Harivelo Distribution vidéo / 53

18 Acheminement multicast Multicast sur plusieurs segments Deux fonctions nécessaires Détermination des participants : est-ce qu un datagramme doit être acheminé sur un segment? Détermination de la portée : utilisation du TTL Les adresses comprises entre ne sont pas routées F. Harivelo Distribution vidéo / 53

19 Internet Group Management Protocol (IGMP) Comment un routeur détermine-t-il si son LAN possède des récepteurs pour un groupe donné? Echange d informations d abonnement entre récepteur et le routeur multicast le plus proche IGMP utilisé pour rejoindre ou quitter le groupe multicast sur un réseau à diffusion Echange requête/réponse Les routeurs multicast surveillent les messages IGMP pour le maintien de la table de routage. A la réception d un message, un routeur crée une entrée dans son groupe. Les routeurs envoient périodiquement des requêtes pour découvrir les groupes actifs (et inactifs) sur un sous-réseau F. Harivelo Distribution vidéo / 53

20 Internet Group Management Protocol (IGMP) Version 1 Un récepteur souhaitant joindre un groupe envoie un message MR incluant l adresse du groupe. Le routeur construit sa table et achemine les paquets sur l interface de rattachement du récepteur. Le routeur envoie périodiquement (toutes les 125 s) des MQs pour vérifier qu au moins un hote du sous-réseau est récepteur du trafic du groupe. En l absence de réponses à 3 requêtes consécutives, le routeur arrête l envoi de trafic au groupe. Les réponses sont envoyées avec une durée aléatoire (étalement sur le temps : pourquoi?). Le routeur n enregistrant pas la liste des récepteurs, un récepteur percevant une réponse annule l envoi de la sienne. Version 2 Fonctionnement similaire à V1 Ajout d un message LG pour exprimer le départ du groupe au routeur local. Le routeur envoie un MQ (spécifique au groupe) suite à la réception d un LG. F. Harivelo Distribution vidéo / 53

21 Internet Group Management Protocol (IGMP) Version 3 Possibilité d inclure ou d exclure un ensemble de sources dans la réception du trafic à destination du groupe multicast. Support de l opération atomique leave-join Mode INCLUDE Mode EXCLUDE Trois variantes du message MQ general query : Etat de réception de toutes les interfaces voisines group-specific query group-and-source-specificquery Tous les routeurs du sous-réseau doivent utiliser la même version d IGMP F. Harivelo Distribution vidéo / 53

22 Algorithme de routage multicast Routeurs multicast construisent des arbres de distribution logiques Contrôle le chemin suivi pour la remise du trafic multicast aux destinataires Buts minimiser la distance entre la source et chaque récepteur minimiser l utilisation de liens dans le réseau Dynamique des destinataires Quand les utilisateurs sur une branche ne souhaitent plus recevoir le trafic destiné à un groupe multicast, le routeur enlève la branche de l arbre et n achemine plus le trafic sur cette branche Quand un récepteur devient à actif, la branche est reconstruite F. Harivelo Distribution vidéo / 53

23 Arbres de distribution multicast Source tree ou Shortest Path Tree La source constitue la racine de l arbre Les branches forment un arbre recouvrant (spanning tree) les destinataires Utilisation du plus court chemin Un arbre par source Des routeurs multicast sont nécessaires pour maintenir les informations sur les arbres Construit sur la base des algorithmes vecteur-distance (Bellmann-Ford) ou algorithmes à états de liens (Dijkstra), ou à partir des informations de la table unicast Algorithme en mode dense Le nombre de destinataires important (dense) en rapport avec l ensemble de la population F. Harivelo Distribution vidéo / 53

24 Arbres de distribution multicast Shared tree Utilisation d une racine commune localisée à un point du réseau Point de rendez-vous (Rendez-vous Point : RP) Les sources transmettent leur trafic au RP Le trafic est acheminé vers les destinataires Nécessite une faible quantité d information d état Les routes ne sont pas forcément optimales Scalable Existence possible de routeurs non multicast F. Harivelo Distribution vidéo / 53

25 Reverse path forwarding (RPF) Utilise l inondation Un routeur mémorise de la direction vers la source (upstream) et la direction de la source vers le destinataire (downstream) Un paquet est acheminé s il est reçu sur l interface upstream Le paquet est répliqué sur les downstreams présents Utilisation de la table de routage unicast pour la détermination des interfaces upstream et downstream Consultation sur la base de l adresse source de la table unicast pour savoir si le paquet arrive sur l interface upstream Dans l affirmatif, le paquet est acheminé Sinon, le paquet est supprimé F. Harivelo Distribution vidéo / 53

26 Truncated broadcast Principe Utilisation des informations d IGMP pour acheminer un paquet sur une branche Avantage Elimine le trafic inutile F. Harivelo Distribution vidéo / 53

27 Center-based tree algorithm Détermination des chemins optimaux Un arbre de distribution unique et partagée par toutes les sources Choix du point central Chaque récepteur envoi une requête Join vers le point central (cf. IGMP) La requête est traitée par les routeurs intermédiaires. Ils s ajoutent à l arbre Les paquets sont acheminés vers le point central pour être remis aux destinataires F. Harivelo Distribution vidéo / 53

28 Center-based tree algorithm Construction de l arbre Un routeur qui a un nouveau membre pour un groupe envoie un message join-request vers le coeur en unicast Le coeur ou le premier routeur sur le chemin faisant déjà partie de l arbre répond par un join-ack Chaque routeur ayant vu passer le join-request marque l interface sur laquelle il l a reçu Maintien de l arbre Chaque routeur envoie périodiquement des echo-request au routeur amont Le routeur amont répond par des echo-reply Si un routeur aval n obtient pas de réponse au bout de N essais, il détache son sous-arbre en envoyant un flush-tree F. Harivelo Distribution vidéo / 53

29 Protocol Independent Multicast (PIM) Fonctions d un algorithme de routage multicast Réception des receptions limitées aux membres du groupe Optimisation du chemin de la source vers la destination Etablissement de chemin sans boucle Support de mécanismes qui passent à l échelle Des arbres de distributions sont construits et maintenus Suppression des paquets dupliqués occasionnés par les boucles Le trafic suit le chemin le plus court de la source à la destination Modes Dense mode (DM) : probabilité élevée de trouver un membre d un groupe dans un échantillon Sparse mode (SM) : probabilité faible de trouver un membre d un groupe dans un échantillon F. Harivelo Distribution vidéo / 53

30 Protocol Independent Multicast - SM Un routeur ne doit pas avoir à travailler, à moins de rejoindre un arbre Mécanisme pull du type center-based, similaire à CBT sauf Pas d ACK en réponse au join Le join est envoyé périodique pour rafraîchir l arbre Le point de rendez-vous informe une source d arrêter lorsqu il n y a plus de récepteur Changement de mode possible F. Harivelo Distribution vidéo / 53

31 Protocol Independent Multicast - DM Mécanisme push d inondation vers les routeurs de bordure Les routeurs sans récepteur enregistré n achemine pas les données (flood-and-prune) Construction des tables à partir des données Remise de remise de données consomnatrice Adapté pour l IPTV F. Harivelo Distribution vidéo / 53

32 IP Multicast pour l IPTV Contraintes de réalisation Hôtes Pile supportant le multicast pour l envoi et la réception de trafic multicast Infrastructure Un backbone de haute performance Limitations Les routeurs doivent maintenir l état des groupes Violation du principe stateless d Internet Introduction de complexité Scalability Difficulté du support du controle de congestion, contrôle d erreur et contrôle de flux Nécessite des modifications profondes au niveau de l infrastructure Utilisation de routeurs multicast Ralentit le déploiement F. Harivelo Distribution vidéo / 53

33 Content Delivery Networks (CDN) Déplacement des fonctionnalités multicast vers les systèmes d extrémité sur la base d un service unicast IP Formation et gestion des groupes Routage multicast Duplication des paquets Les systèmes d extrémité forment un réseau overlay Content Delivery Network Ensemble de serveurs géographiquement dispersés pour faciliter la distribution d information F. Harivelo Distribution vidéo / 53

34 Concepts de base Architecture centrée sur une infrastructure gérée par une organisation Déploiement de proxies ou serveurs edge ou cache sur des points stratégiques Réplication du contenu sur les proxies Amener le contenu au plus près de l utilisateur Un utilisateur s attache à un proxy et recoit les données en unicast Le proxy doit être plus proche de l utilisateur que la source de données Ressources dédiées et équipées Fiabilité du service Services offerts Stockage et gestion de contenu Distribution du contenu Gestion de cache Support de contenu statique, dynamique et média continu Solution de sauvegarde Reporting,... F. Harivelo Distribution vidéo / 53

35 Eléments de conception Infrastructure Ensemble des serveurs edge qui distribue le contenu aux utilisateurs Redirection des requêtes Redirection des utilisateurs vers les serveurs edge appropriés (en général, les plus proches) Distribution Réplication des données de la source vers les serveurs edge A la demande Préalable Gestion de la cohérence Mesure Enregistrement des accès et utilisation des serveurs edge Facturation F. Harivelo Distribution vidéo / 53

36 Architecture CDN F. Harivelo Distribution vidéo / 53

37 Architecture CDN Basic Fabric Fournit les ressources nécessaire au CDN Exécution de logiciels système (OS, gestion de fichiers distribués,...) Couche Communication & Connectivity Protocoles réseaux classiques (TCP/IP,... Protocoles propres aux CDNs Authentification Couche CDN Sélection de serveurs edge Routage des requêtes Mise en cache Equilibrage de charge End-users Utilisateurs accèdant au contenu F. Harivelo Distribution vidéo / 53

38 Infrastructure Organisation Approche overlay Serveurs applicatifs et cache Approche réseau Les composants réseaux participent à l identification du trafic et au traitement appliqué à chaque type (redirection,...) Serveurs Serveur origine : mis à jour par le producteur de contenu Serveurs edge Relations Replication Caching Protocole d interaction Entre éléments réseaux Ex : Network Element Control Protocol (NECP), Web Cache Coordination Protocol, SOCKS Entre caches Ex : Cache Array Routing Protocol (CARP), Internet Cache Protocol (ICP), Hypertext Caching protocol (HTCP), Cache Digest F. Harivelo Distribution vidéo / 53

39 Gestion et distribution du contenu Placement des serveurs edge Ex : minimum k-center problem, k-hierarchically well- separated trees (k-hst), Greedy replica placement, Topology-informed placement strategy, Hot Spot et Tree-based Selection et distribution du contenu Réplication totale Réplication partielle Traitement des requêtes Cooperative push-based Non-cooperative pull-based Cooperative pull-based Organisation du cache F. Harivelo Distribution vidéo / 53

40 Le réseau Akamai Premier fournisseur de services CDN 200 Gbits/s avec serveurs 1000 réseaux répartis dans 70 pays 1200 clients Sert de 15% à 20 % du trafic sur Internet F. Harivelo Distribution vidéo / 53

41 CDN pour l IPTV Contraintes de réalisation Serveur Un backbone de haute performance : coût élevé Avantages Simplicité de déploiement Economie en bande passante Réduction du temps de réponse Répercussion de l augmentation de la charge sur le CDN au lieu de la source Elimination du goulot d étranglement Limitations Perte en performance Coût élevé Impossibilité d éviter les redondances sur les liens Communication entre les systèmes d extrémités introduit des délais supplémentaires F. Harivelo Distribution vidéo / 53

42 P2P Streaming Systèmes P2P Amélioration de la distribution d information sur Internet Coopération plus efficace entre utilisateurs Expériences concluantes Partage de fichiers Succès de Skype Pourquoi ne pas utiliser dans la distribution de flux vidéo? Deux scénarios? Evolution du service télévisé actuel par l utilisation de la technologie IP Alimentation du contenu par les utilisateurs (pro-sumers) Différences par rapport au partage de fichiers et la voip Contraintes en terme de délais et de bande passante Grand nombre et forte dynamique des participants F. Harivelo Distribution vidéo / 53

43 P2P Streaming P2P streaming Les fonctionnalités sont déportées sur les utilisateurs Ne nécessite aucune infrastructure dédiée (serveur) Déploiement rapide Coût faible Réduction de la charge sur les serveurs Scalability à l échelle d Internet Un client est en même temps consomnateur et serveur Une seule source Un nombre élevé de participants Forte demande en bande passante Contraintes temps réel Latence et continuité de la diffusion Dégradation de la qualité tenant compte de l hétérogénéité et la dynamique de la bande passante F. Harivelo Distribution vidéo / 53

44 Distinction avec d autres types d applications P2P Streaming à la demande Utilisateurs non synchronisés Audio/visionconférence Interactivité critique en terme de délai Multipoints/multisources Petite échelle Partage de fichiers Dizaines de milliers de participants Aucune contrainte de délai L ordre d arrivée des segments n est pas important Indexation et recherche du contenu F. Harivelo Distribution vidéo / 53

45 Systèmes P2P Principes Coordination des participants en terme des ressources Un nouvel utilisateur apporte des ressources supplémentaires au système Déploiement ubiquitaire La dynamique des participants influe sur la performance globale Concevoir le système pour fonctionner en situation de forte dynamique des utilisateurs Eléments de conception Construction du réseau superposé (overlay) Distribution du contenu F. Harivelo Distribution vidéo / 53

46 Principale problématique : organisation des pairs en réseau overlay Efficacité de l overlay Bande passante importante et faible délai Tolérance de quelques secondes au démarrage Passage à l échelle et équilibrage de charge Auto-organisation Fonctionnement distribué Robuste face à la dynamique du réseau (bande passante, délai,...) et des groupes Amélioration de l organisation dans l overlay en fonction de la précision des informations Respect des contraintes de bande passante par noeud La contribution en bande passante, demandée à un utilisateur ne doit pas dépasser sa capacité Le débit (et la qualité) du flux envoyé à l utilisateur doit être adapté à sa capacité de réception Considérations relatives au système Les restrictions sur les pairs en terme de connectivité peuvent limiter la capacité de l overlay Ex : type de lecteur vidéo, existence de NAT, parefeu,... F. Harivelo Distribution vidéo / 53

47 Construction de l overlay Structuration en arbre, mode push La source du contenu est la racine de l arbre Un noeud reçoit les données d un noeud parent Un noeud retransmet le paquet reçu vers ses noeuds enfants La maintenance de l arbre est critique Reconstruction de l arbre en cas de changement dans le réseau (arrivée, départ,...) Mise en tampon des données correspondant au délai de reconstruction Limitations Instabilité : défaillance des noeuds situés à proximité de la racine Sous-utilisation de la bande passante sortante : La majorité des noeuds sont des feuilles Rightarrow F. Harivelo Distribution vidéo / 53

48 Construction de l overlay Structuration en mesh ou data-driven, mode pull (pourquoi pas le push?) Aucune structure à maintenir La disponibilité des données détermine la distribution du flux Les noeuds maintiennent un ensemble de partenaires choisis aléatoirement Le contenu est morcelé. Les morceaux sont répartis parmi les pairs. Les partenaires échangent périodiquement des informations sur les morceaux disponibles localement Un noeud ayant connaissance de la répartition, récupère les morceaux auprès des pairs Charge induite à l échange des cartes de répartition Bonne résistance aux pannes Un noeud quittant le réseau est remplacé par un nouveau partenaire Nécessite de gros buffers pour la récupération des morceaux Limitations Compromis à trouver entre surdébit associé aux échanges de BMs et temps de réponse F. Harivelo Distribution vidéo / 53

49 End System Multicast (ESM) Gestion des groupes Maintenance par chaque noeud d un sous-ensemble aléatoire de noeuds et du chemin vers la source Un nouveau noeud contacte la source et sélectionne aléatoirement un sous-ensemble Un noeud du sous-ensemble est choisi comme parent selon un mécanisme basé sur une estimation du débit et du délai La connaissance (partielle) des membres du réseau est partagée à travers un algorithme de dissémination (Gossip) Dynamique des groupes Envoi périodique de message de contrôle du parent vers ses noeuds enfants Sélection d un nouveau parent en cas de disparition du noeud parent actuel Adaptation selon le performance mesurée Recherche d un nouveau parent s il y a diminution de la performance F. Harivelo Distribution vidéo / 53

50 Multi-trees Principes La source encode le flux en sous-flux Chaque sous-flux est diffusé sur un overlay différent F. Harivelo Distribution vidéo / 53

51 Coolstream Gestion des groupes Un nouveau noeud contacte le noeud source pour obtenir un sous-ensemble initial Les échanges des informations d adhésion s effectue à travers le protocole Scalable Gossip Membership (SCAM) Un flux est décomposé en segments Echange des cartes des segments disponibles (Buffer Map : BM) sur chaque noeud Ordonnancement La lecture est semi-synchronisée grace à une fenêtre coulissante Récupération d une défaillance Restructuration sur la base des Buffer Map des partenaires Recherche régulière de nouveaux partenaires F. Harivelo Distribution vidéo / 53

52 Améliorations Approches hybrides Construction d un arbre constitué de noeuds stables Identification en data-driven des noeuds stables Incitations et équité Stratégie tit-for-tat Contrainte sur le lien d accès La contribution d un noeud doit excéder sa consomnation Lien asymétrique. Ex : ADSL Arbres avec différents débits associés F. Harivelo Distribution vidéo / 53

53 Références Will IPTV Ride the Peer-to-Peer Stream?, Alexandro Sentinelli et al. Le multicast par Timur Friedman et Kim Thai IP Multicast with Applications to IPTV and Mobile DVB-H Opportunities and Challenges of Peer-to-Peer Internet Video Broadcast, Jiangchuan Liu et al. A pratical guide to content delivery networks, Gilbert Held F. Harivelo Distribution vidéo / 53