Université d'avignon et des Pays du Vaucluse Centre d'enseignement et de Recherche en Informatique Projet de Master Informatique Dynamic Adaptive Streaming over http DASH Rapport Semestriel Final EL Hernoussi Fatima Beheshtifar Mojtaba 2014-2015
Table des matières INTRODUCTION... 3 ETAT DE L ART... 4 1. INTRODUCTION SUR DASH... 4 2. ARCHITECTURE DASH... 4 3. PRINCIPES DE FONCTIONNEMENT... 5 4. DIFFICULTES DU STREAMING ADAPTIF... 5 CAHIER DES CHARGES... 6 1. DESCRIPTION DU PROJET... 6 2. PRESENTATION DE L EQUIPE... 6 3. PRESENTATION DU MAITRE D'OUVRAGE... 6 4. CONTEXTE ET OBJECTIF... 6 5. LES BESOINS FONCTIONNELLES... 7 6. ANALYSE DETAILLEE DES BESOINS... 7 6.1 Estimation de la bande passante... 7 6.2 La qualité d'expérience QoE... 10 6.2.1 6.2.2 MOS Mean Opinion Score... 11 PSNR Peak Signal to Noise Ratio... 12 PARTIE GESTION... 13 1. REPARTITION DES TACHES :... 13 2. PLANIFICATION DES TACHES :... 13 2.1 Planning du premier semestre... 13 2.2 Planning du second semestre... 15 3. OUTILS DE GESTION DE PROJET UTILISES... 15 3.1 Microsoft Office Project... 15 3.2 Messagerie Electronique... 15 4. LES CONTRAINTES... 16 CONCLUSION... 17 LISTE DES FIGURES... 18 LISTE DES TABLEAUX... 19 Page 2
Introduction Ces dernières décennies, les technologies Internet ont été témoins d une révolution énorme, accompagnée de phénomène de la diminution des coûts de stockage sur disque, le développement de l accès haut débit résidentiel et le déploiement de nouveaux mécanismes orientés vers la qualité de service. Tous ces facteurs ont permis au streaming vidéo d occuper une partie considérable des communications Internet. En générale, le streaming en temps réel se fait via les protocoles RTP/UDP en raison de sa faible latence. Toutefois, une tendance récente dans la littérature montre plusieurs avantages de l utilisation du protocole HTTP pour le streaming vidéo à la demande et en directe. Ce mode simple de transport est appelé Dynamic Adaptive Streaming over HTTP (DASH). Il présente un intérêt substantiel en matière de QoS à tel que point que l offre industrielle OTT (Over-The-Top) qui s appuie sur le DASH devrait supplanter l offre IPTV standard (principalement basée sur UDP) dans les prochains semestres. Cependant, pour répondre aux exigences particulières de streaming vidéo, le mode de communication traditionnel client/serveur (C/S) présente plusieurs inconvénients. De là, le développement de solutions alternatives telles que le Peer-to-Peer (P2P) est devenu une nécessité. Mais pour fournir un service de streaming vidéo efficace, ni l architecture client/serveur, ni le P2P ne peut atteindre seule l objectif. Le serveur centralisé de l architecture client/serveur ne peut pas supporter les énormes charges sur l Internet, ce qui compromet l évolutivité du système et conduit à une mauvaisequalité de la vidéo. Il requiert des fonctionnalités d accessibilité élevées via les CDN (Content Delivery Network) notamment qui ne peuvent pas être fournies facilement à un prix avantageux. Page 3
Etat de l art 1. Introduction sur DASH DASH est considéré comme étant un nouveau standard de diffusion vidéo en streaming. Ainsi, le nouveau format de diffusion permettra d adapter la qualité d affichage en fonction du débit Internet disponible. Le fichier multimédia dans son ensemble est découpé en petites parties, appelées segments qui sont les ressources affectées à un serveur et désignés par des URL pour le téléchargement (éventuellement avec un supplément de paramètre HTTP pour le byte range par exemple). Cette méthode prend en charge la vidéo à la demande et le streaming en direct. DASH définit deux formats permettant la livraison de contenu vidéo pour les clients, il s agit du format du média à télécharger et la description du média à télécharger (MPD). Le Multimedia Presentation Description (MPD) est un document XML qui décrit les différents médias disponibles sur le serveur ainsi que leurs localisations. Le client peut sélectionner, via toutes les métadonnées fournies, le média qui répond à ses exigences. Celui-ci s adapte aux propriétés duréseau du client. Le MPD se compose d une ou de plusieurs périodes où une période peut être constituée de plusieurs éléments média. Ces derniers peuvent exister en différentes versions, par exemple différent débit binaire ou de résolutions, etc. En DASH, une telle «version» de flux est appelée une représentation, et toutes les représentations sont regroupées par la suite dans un Adaptation Set. Chaque représentation comprend un ou plusieurs segments. Les segments sont des morceaux qui contiennent les données des médias dans une séquence temporelle. Chaque segment a une URL, c est-à-dire un emplacement adressable sur un serveur qui peut être téléchargé via HTTP GET ou HTTP GET avec des plages d octets utilisées (Byte Range Mode) afin d accéder à une partie spécifique du segment. 2. Architecture DASH Figure 1: Exemple d'une architecture DASH Page 4
L architecture DASH représentée dans la figure 1 est constituée : - D un composant de préparation de contenu DASH qui s occupe de la préparation des segments. - Du document MPD. - D un serveur DASH qui est un simple serveur web dans lequel les segments DASH sont stockés. Le client peut y accéder pour télécharger les segments et peut être aussi le MPD. 3. Principes de fonctionnement Une essence audiovisuelle est constituée de plusieurs composantes: vidéo, pistes audio, sous-titres. Ces différentes composantes sont encodées à des débits différents. De façon complémentaire un encodage I-Frame à bas débit est réalisé. Cet encodage I-Frame est exploité par le player lors des opérations de transport rapide (rewind ou fast forward). Les encodages réalisés pour une essence donnée sont décrits dans un descripteur MPD (Media Presentation Description) en format XML. Ce descripteur qui est hébergé au niveau du CDN est exploité par le player pour accéder aux chunks. L analyse de ce descripteur donne des informations sur la nature de l essence, les composantes disponibles, les résolutions, les bandes passantes minimales et maximales, les éventuelles règles d accès (DRM), les URL, Sur la base de ce descripteur, le player sélectionne le format et le débit approprié puis accède aux premiers chunks via la méthode d accès standard HTTP GET ou HTTP GET partiel (with byte range). Le player héberge un buffer minimal qui lui permet de s affranchir ponctuellement des variations de débit sur le réseau pour garantir un affichage fluide. En cours d affichage, le player analyse la bande passante réellement disponible sur le réseau pour sélectionner dynamiquement les chunks suivants garantissant un remplissage satisfaisant du buffer. La spécification DASH porte uniquement sur le contenu du descripteur MPD et la méthode de segmentation des composantes d une essence audiovisuelle. En ce qui concerne les codecs et le multiplexage, la norme est clairement agnostique. 4. Difficultés du Streaming Adaptif - Difficulté de mesure de la bande passante. - Adaptation coûteuse du débit côté serveur. Transcodage. Nombre d utilisateur. Page 5
Cahier des charges 1. Description du projet DASH intègre les meilleurs éléments de solutions de streaming adaptatif propriétaires conçus pour résoudre les problèmes des utilisateurs pour accéder au flux vidéo comme signal intermittent, la mauvaise qualité de la vidéo sous changeant réseau et le retard important démarrage de la vidéo. 2. Présentation de l équipe L équipe qui va travailler sur ce projet, se compose de deux étudiants au CERI, Fatima El hernoussi et Mojataba Beheshtifar. Chacun de nous est actuellement en Master première année ILSEN. 3. Présentation du Maître d'ouvrage L équipe est tuteurée par Fen Zhou enseignant-chercheur à l'origine du projet et le maître d'ouvrage de celui-ci. l'université d'avignon, étant à 4. Contexte et objectif Nous pouvons décomposer le projet en deux parties distinctes respectivement réparties dans les deux semestres de notre année de Master : - Durant le premier semestre nous devons faire une analyse et réaliser un cahier des charges qui répond aux besoins du client - Durant le deuxième semestre nous devons développer une solution concrète pour la problématique de ce projet. Ce projet a comme principal but de comprendre l'architecture DASH (Dynamic Adaptive streaming over http) qui est une technique de streaming à débit adaptative à partir de serveurs Web HTTP. Cette technique permet d avoir une vidéo plus fluide en faisant varier le débit en fonction de la qualité des canaux. Notre objectif donc, est d améliorer une démonstration développée en 2014. Nous devons faire des tests pour évaluer les performances des algorithmes existants. Page 6
5. Les besoins fonctionnelles Pour répondre aux besoins exprimés, il faut tout d'abord répondre aux exigences suivantes : - Trouver les moyens d'estimation de la bande passante pour améliorer le système DASH. - Étudier la qualité d'expérience QoE en se basant sur le modèle MOS et le modèle PSNR pour évaluer le système DASH. 6. Analyse détaillée des besoins 6.1 Estimation de la bande passante Pour comprendre l'architecture DASH il faut tout d'abord savoir comment estimer la bande passante. La bande passante, c'est le nombre de Go que l'on consomme en naviguant sur Internet. Chaque fois que le navigateur charge une nouvelle page Web, de l'information est transférée. C'est cette quantité de données transférées que l'on calcule comme étant de la bande passante. Les techniques d estimation de la BPD (Bande Passante Disponible) peuvent se diviser en deux grandes catégories, «Passives» et «Actives». Les techniques Passives utilisent des informations locales (comme par exemple le taux d utilisation du canal). Les messages Hello, qui permettent la mise à jour des informations de voisinage, sont aussi utilisés pour échanger des informations de bande passante. Les techniques Actives basées sur l envoi de paquets de contrôles afin de calculer les différents paramètres qui caractérisent le chemin de bout-en-bout et d en estimer la BPD le long de ce chemin. Techniques passives Pour estimer la BPD certaines techniques utilisent une stratégie passive, qui consiste à agir en qualité d observateurs au sein d'un réseau. En général, ces techniques ne créent pas d'interférences avec d'autres trafics. Cependant, dans les réseaux filaires, ces techniques nécessitent l accès à tous les composantes des matériels réseaux (routeurs et serveurs), ceci exige des privilèges d'administration et de contrôle de réseau. Parmi les techniques utilisées dans le domaine filaire nous citions : MRTG (Multi Router Traffic Grapher), est une technique passive qui utilise les flux entrants et sortants des routeurs pour calculer l utilisation instantanée du réseau. La BPD est déduite en connaissant la capacité théorique du réseau. IPMON, collecte les traces des paquets dans différents points du réseau. Les traces sont utilisées pour analyser le comportement du trafic. Cette technique permet aussi d étudier les répartitions des paquets selon leurs tailles et les protocoles selon leurs types (ftp, mail, http etc.). Page 7
Techniques Actives Les techniques actives sondent le réseau en injectant un trafic de sondage à partir du nœud source et mesure les changements subis par ce trafic à la destination. Ainsi, les techniques actives nécessitent l accès aux deux nœuds communicants, la source et la destination. De telles techniques s appellent les techniques de mesure de bout-en-bout. Le sondage n est qu une étape de base de la technique active. La deuxième étape consiste à analyser les données collectées pour mesurer les paramètres du lien réseau (la BPD, Capacité, OWD, RTT etc.). Il existe différents type de systèmes de sondage. Les systèmes de sondage les plus connus sont, le sondage par une paire de paquets (Packet-Pair Probing) et le sondage par un train de paquets (Packet-Train Probing). Techniques d estimations basées sur la dispersion des paquets La BPD et la Capacité (en Mb/s) d un chemin de bout en bout peuvent être mesurées par les techniques basées sur la dispersion de paquets (paires ou train de paquets). Ces techniques reposent sur le phénomène d écartement ou de dispersion subi par deux paquets consécutifs suite à leur passage dans le Goulet d étranglement Bottleneck Link du chemin de bout-en-bout : l espace temporel qui les séparent est accru (phénomène mis en évidence par Jacobson). Cette dispersion correspond au temps de traitement du premier paquet au niveau du Goulet d étranglement, (Figure 2). Figure 2: Principe de la dispersion de paquets Page 8
Pour estimer la BPD, les techniques combinent le concept de la dispersion des paquets avec le concept d Auto-Congestion du chemin de bout en bout. Ce dernier consiste à injecter du trafic dans le réseau jusqu'à saturer le lien de Goulet d étranglement afin d en extraire ses caractéristiques. La source envoie vers la destination des flux de paquets de sondage avec une dispersion qui correspond à un certain débit d envoi. Si le débit d envoi est inférieur à la BPD, alors les paquets de sondage présenteront des délais stables à la destination. En revanche, si le débit est supérieur à BPD alors les flux de paquets de sondage présenteront des délais croissants. Donc, l Auto-Congestion consiste à envoyer des flux de paquets de sondage vers une destination à des débits différents. Cette dernière détecte le débit à partir duquel les délais commencent à augmenter. Ce débit est égal à la bande passante disponible. La technique Packet Pair/Train Dispersion (PPTD) Packet Paire/Train Dispersion ou PPTD est la première technique active d estimation de la capacité d un chemin. Elle constitue le principe de fonctionnement fondamental des techniques basées sur la dispersion des paquets. Cette technique est composée de deux stratégies principales de sondages. La première utilise une paire de paquets pour estimer la Capacité d un chemin de bouten-bout. Tandis que la deuxième utilise un train de paquets pour estimer la BPD. La technique "Trains Of Packet Paires" (TOPP) Proposée par Melander et al. TOPP envoie un train de paires de paquets avec un débit initial faible Rin (i.e. une grande dispersion) et augmente progressivement le débit d émission de la source vers la destination. Cette technique est considérée comme l extension de PPTD. Pour cette raison, TOPP et PPTD partagent les mêmes hypothèses, avantages et inconvénients. Le principe de TOPP est le suivant : quand le débit Rin est supérieur à la bande passante disponible, alors le débit Rout mesuré au niveau de la destination sera inférieur à Rin (le débit de sortie du Goulet d étranglement est inférieur au débit d entrée) à cause de la congestion causée par les paires de paquets elles mêmes. L idée consiste donc à envoyer un train de paires de paquets avec un débit minimal Rin = Rmin et d incrémenter ce dernier à chaque nouvel envoi jusqu à l obtention de Rin >= Rout. C'est à ce moment que le débit Rin correspond à la BPD de bout-en-bout. La technique Self-Loading Periodic Streams (SLoPS) SLoPS est une technique récente basée sur la dispersion des paquets. Proposée par [Jain 2002a] pour mesurer la BPD d un chemin de bout-en-bout. Périodiquement la source envoie un train de paquets de même taille à la destination Periodic Packet Stream. Ces trains sont envoyés à des débits différents. La destination calcule les OWDs One Way Delay des paquets de chaque train, puis analyse leurs variations. Dans SLoPS, la source tente de rapprocher le débit du train à celui de la BPD, en utilisant une recherche binaire de la BPD. Tandis que la destination informe la source sur l évolution des OWDs de chaque train. Le résultat est un intervalle Min et Max des valeurs d estimations de la BPD. Page 9
6.2 La qualité d'expérience QoE La QoE (Quality of Experience) est une mesure du jugement personnel de l utilisateur selon son expérience vécue, sur la qualité globale du service fourni par les opérateurs et fournisseurs de services Internet. La QoE est décomposé en trois composantes : l assimilation, le jugement et la satisfaction. La qualité d assimilation est une mesure de la clarté du contenu d un point de vue informatif. Le jugement de qualité reflète la qualité de présentation. La satisfaction indique le degré d appréciation globale de l utilisateur. La Qualité de l Expérience (QoE) est une approche globale de la qualité sur le cycle de vie du service. Elle consiste à mesurer les détails qui peuvent influer l ensemble d une prestation, par exemple dans le cas du streaming vidéo : la mesure de la qualité avant l émission (propriétés du fichier source: qualité d image, résolution,..), la qualité d émission (propriétés vidéo utilisées par l encodeur, performance de la machine, protocole utilisé), la qualité du lien (les métriques QoS: bande passante, taux de perte, délai, gigue...), la qualité de réception (connexion internet du client, type d écran...) et enfin le profil de l'utilisateur (âge, sexe, compétence visuelle, expérience avec le multimédia...). La figue 1 illustre un aperçu sur la QoE dans le streaming vidéo. Figure 3: QoE de bout-en-bout (P2P) Pour mesurer la qualité d expérience on trouve deux approches : les méthodes objectives et les évaluations subjectives. Les évaluations subjectives sont réalisées par des sujets humains qui sont invités à mesurer la qualité globale perçue dans un environnement contrôlé. La mesure la plus fréquemment utilisée est la note moyenne d'opinion (MOS : Mean Openion Score), recommandée par l'union internationale de télécommunication (UIT). Page 10
Il existe des méthodes simples qui mesurent la qualité vidéo en faisant une différence entre les images comme le Peak Signal to Noise Ratio (PSNR) ou le Mean Square Error (MSE). Et d'autres plus complexes tels que Normalized Video Fidelity Metric (NVFM), ou Moving Picture Quality Metric (MPQM). Les mesures objectives de la qualité audio les plus connues sont : le Perceptual Speech Quality Measures (PSQM), le Segmental SNR et le rapport signal à bruit (SNR) 6.2.1 MOS Mean Opinion Score L avancée dans le domaine de la transmission et des réseaux soulève un très grand besoin d estimation de la qualité des flux multimédias en général et audio temps réel en particulier. Parmi les méthodes utilisées, il y a le test subjectif et le test objectif mais il est admis et acquis par la communauté concernée, que seules les méthodes subjectives sont celles qui donnent des résultats réels. C est d ailleurs la méthode adoptée dans le test MOS (Mean Opinion Score) utilisé par l UIT- T (l Union International des Télécommunications) dans ses mesures. L'évaluation de la qualité vocale est très variable d'un individu à un autre. Cela peut être causé par de nombreux facteurs comme l'âge du sujet, le contexte d'écoute, la voix du locuteur, la connaissance préalable du locuteur ou encore le vocabulaire employé. La note MOS représente la moyenne des jugements subjectifs pour un grand nombre de sujets. Cette note s approche alors du jugement objectif de la qualité vocale. Les tests subjectifs sont très coûteux et très longs à réaliser à cause du nombre important de sujets à interroger. C'est pourquoi il est nécessaire d'avoir des outils de mesure automatique qui soient aussi précis et aussi représentatifs que possible de l'ensemble des utilisateurs. Les résultats des tests subjectifs moyennés permettent de construire des instruments automatiques d'évaluation de la qualité vocale appelés par abus de langage "modèles objectifs d'évaluation de la qualité vocale". Le principe de calcul du MOS est basé sur un sondage d'un échantillon supposé représentatif de la population des utilisateurs. Les personnes constituant l'échantillon sont invitées à écouter un signal (souvent de la voix), puis son équivalent codé-décodé. Après chaque écoute, l'auditeur donne une note sanctionnant la qualité qu'il a perçue. La moyenne des notes fournies par la population constitue le MOS. Le tableau ci-dessous montre les notes et leurs significations : Page 11
Note Signification 5 Défauts imperceptibles 4 Défauts tout juste perceptibles 3 Défauts perceptibles mais pas gênants 2 Défauts perceptibles et un peu gênants 1 Défauts perceptibles et gênants 0 Défauts perceptibles et très gênants Tableau 1: La note moyenne d'opinion MOS 6.2.2 PSNR Peak Signal to Noise Ratio Dans le domaine de codage, plusieurs études ont été faites pour analyser les mesures standards de dégradation basées sur des différences entre pixels des images originale et dégradée. Ces mesures, qui sont à référence complète, ne sont pas commodes pour une évaluation de la qualité à travers différentes dégradations de compression et/ou différents types d'image. En particulier, l'erreur Quadratique Moyenne (EQM) ou son corollaire, le PSNR -Peak Signal to Nose Tatio-) est considérée comme une bonne mesure des bruits aléatoires, mais elle est parfois totalement inefficace lorsqu'il s'agit d'erreurs structurées (effet de bloc, erreur de structure, etc.) On peut la calculer de la manière suivante : Avec EQM : M et N étant le nombre de lignes et de colonnes des images I et I L : nombre d échelons de Luminance (255 pour 8 bits). Le PSNR est exprimé en db. Page 12
Les valeurs typiques du PSNR pour des images de bonne qualité varient entre 30 et 40 db. Un PSNR nul ne peut être obtenu dans les seuls cas particuliers où l'image originale et l'image reconstruite admettent comme valeur de pixels que des 0 (c'est-à-dire une image noire) ou que la valeur L (c'est-à-dire une image blanche, pour une dynamique codé sur 8 bits L=255). Dans le cas où les deux images sont identiques, l'erreur quadratique moyenne EQM est égale à zéro, ayant pour conséquence un PSNR infini. Partie Gestion 1. Répartition des tâches : La répartition des taches a été appliquée selon les capacités de chaque membre et selon leur disponibilité comme indiqué dans le tableau ci-dessous: Site Internet Documentation Compte rendu Rapport Présentation Fatima Mojtaba Tableau 2: Répartition des tâches 2. Planification des tâches : 2.1 Planning du premier semestre Les tâches ont également été réparties en fonction des compétences et des disponibilités de chaque membre du projet. Les réunions se sont déroulées avec tous les membres de l équipe du projet. Durant ces réunions, les rôles ont été répartis et redistribués à chaque fois. A la fin de celles-ci, une personne de l équipe du projet fut chargée de rédiger un compte rendu qui aura été mis sur le site web. Les tâches ont été planifiées comme dans la figure qui suit : Page 13
Figure 4: Diagramme de Gantt Page 14
2.2 Planning du second semestre Les Tâches Février Mars Avril Mai Amélioration de l algorithme Implémentation Développement Tests Evaluation performance Rapport des tests Corrections Derniers tests Rapport final et présentation Tableau 3: Planning prévisionnel du second semestre 3. Outils de gestion de projet utilisés 3.1 Microsoft Office Project Microsoft Project (ou MS Project ou MSP) est un logiciel de gestion de projets édité par Microsoft. Il permet aux chefs de projet et aux planificateurs de planifier et piloter les projets, de gérer les ressources et le budget, ainsi que d'analyser et communiquer les données des projets. 3.2 Messagerie Electronique Ce service de transmission de messages informatiques a été indispensable tout au long de la réalisation du projet. En effet grâce à sa capacité de transmission simultanée à plusieurs destinataires ainsi qu à sa disponibilité, cet outil a été fort utile pour joindre les différents membres du groupe ainsi que le tuteur. Page 15
4. Les contraintes Délais Nous devons respecter les délais qui nous ont été fixés. Chaque mois nous devons rendre un compte rendu de notre réunion effectuée avec notre tuteur. De plus mi-janvier nous devons rendre le rapport de notre mission et pour finir fin mai le rapport final de notre projet. Manque du nombre des membres du groupe Normalement notre projet doit être réalisé par un groupe de quatre personnes, mais ce n est pas le cas, on est que deux. Donc on peut ne pas atteindre l objectif final du projet. Manque de connaissances en réseau Le projet est orienté réseau plus que développement. Nous avons rencontré des difficultés pour comprendre quelques formules qui sont à la base étudié qu en réseau. Pour ce faire nous avons contacté quelques amis de la spécialité RISM pour nous aider (partie traitement de signal). Page 16
Conclusion Le déroulement du projet s est plutôt bien passé malgré le nombre excessif de projets et d applications parallèles à réaliser et qui a fait que l emploi du temps soit chargé pour ce premier semestre. Ceci dit, quelques soucis ont été rencontrés au cours de l'avancement du projet. En premier lieu, il a été difficile de travailler à deux sur un projet de quatre personnes ce qui a perturbé le rythme et l'avancement du projet. En second lieu, le projet demande des compétences et connaissances en réseau plus que le développement ce qui nous a provoqué plusieurs obstacles mais qui nous a pousser à travailler encore plus. Page 17
Liste des figures Figure 1: Exemple d'une architecture DASH... 4 Figure 2: Principe de la dispersion de paquets... 8 Figure 3: QoE de bout-en-bout (P2P)... 10 Figure 4: Diagramme de Gantt... 14 Page 18
Liste des tableaux Tableau 1: La note moyenne d'opinion MOS... 12 Tableau 2: Répartition des tâches... 13 Tableau 3: Planning prévisionnel du second semestre... 15 Page 19