SOLUTION DE STREAMING VIDEO LIBRE

Transcription

1 Centre d Enseignement et de Recherche en Informatique SOLUTION DE STREAMING VIDEO LIBRE Rapport et cahier de charges du projet Master 1 RISM Réalisé par : Encadré par : SABER Mohammed Ayoub Pr. ELAZOUZI Rachid EZZAAMARI Rabie Année universitaire 2013/2014

2 INTRODUCTION... 1 CONTEXTE GENERAL... 1 L EQUIPE DU PROJET... 1 PRESENTATION DU CLIENT... 1 PRESENTATION DU PROJET... 2 EXPRESSION DU BESOIN... 2 LES PROBLEMATIQUES IDENTIFIEES... 5 LES ENJEUX... 5 FREINS ET LEVIERS... 6 Les freins... 6 Humain :... 6 Organisationnels :... 6 Techniques :... 6 Les leviers... 7 Attente :... 7 Gains économique :... 7 CONCEPTION ET MODELISATION... 9 DIAGRAMME DE CAS D UTILISATION :... 9 L administrateur :... 9 L utilisateur : ANALYSE TECHNIQUE PRESENTATION DU STREAMING VIDEO : TECHNOLOGIES UTILISEES DANS LE STREAMING : STREAMING ET P2P : Les raisons pour le choix d'une architecture similaire au P2P : Différence entre streaming et téléchargement : LE CACHING: L architecture du Caching : Solutions proposées : CDN : ORGANISATION DU PROJET RESSOURCES UTILISEES Google Calendar : Google Drive : Creatly : Le site du projet : RENCONTRES ET REUNIONS Cadence des réunions : Les aspects évoqués : PLANNING ET PROGRAMMATION DES TACHES Planning du premier semestre : CONCLUSION WEBOGRAPHIE... 22

3 INTRODUCTION Introduction Contexte général Dans le cadre du Master 1 R.I.S.M, en tant qu étudiants du Centre d Enseignement et de Recherche en Informatique (CERI) d Avignon nous avons pour objectif de réaliser un projet se déroulant sur deux semestres consécutifs. Le premier semestre est consacré à la rédaction du cahier des charges ci-présent, qui contient le résultat de l étude effectuée ainsi qu un planning prévisionnel correspondant à l application qui sera à développer lors du deuxième semestre. L équipe du projet Notre équipe est composée de quatre étudiants en M1 R.I.S.M, EZZAAMARI Rabie, SABER Mohammed Ayoub, BENNIS Hafid et BENTAYEBI Soufiyan. Nous sommes chargés de la réalisation du projet «Solution de streaming vidéo libre». Notre tuteur, qui nous encadre lors de la réalisation de ce projet, est M. Rachid ELAZOUZI, Professeur Centre d Enseignement et de Recherche en Informatique (CERI) d Avignon. Présentation du client Le client principal du projet que nous devons réaliser est l université d Avignon. Qui comprend selon le site l etudiant.fr chiffres : - Plus de 7000 étudiants, répartis en 10 Unités de Formation et de Recherche (UFR) ; enseignants-chercheurs et enseignants. - Plus de 306 personnels administratifs. De plus, le parc informatique de l Université d Avignon est composé d environ 1500 postes informatiques accessibles à chacun. Chaque membre de l Université est donc un client potentiel, directement ou indirectement, de là, nous aurons d ici jusqu à la fin du deuxième semestre. CERI M1 RISM 1

4 PRESENTATION DU PROJET Présentation du projet Expression du besoin L université d Avignon s appuie fortement sur l utilisation des plateformes de diffusion des vidéos sur internet pour partager des promotions de l Université, des cours en ligne, des assemblées, Etc. Ce qui fait que la diffusion du contenu de l université est soumise à la dispersion à travers plusieurs réseaux. En effet, même si elle dispose de son propre serveur qui contient certaines vidéos, l Université d Avignon communique au premier plan via des réseaux extérieurs, avec des sites de vidéo streaming tels que DailyMotion ou YouTube, sur lesquels nous pouvons trouver par exemple la série de clip de promotion «Choisir Avignon pour son Université» ou des vidéos de forums organisés en amphithéâtres. Ce qui fait aussi des limites sur la possibilité de faire du live streaming et d atteindre une autre échelle du streaming en tant que service de diffusion. Le désir d'utiliser son propre serveur de streaming et de le rénover permettrait ainsi le pouvoir de bénéficier d'un certain nombre d avantages pour l Université. Cela lui permettrait en premier essor de centraliser toutes les ressources vidéo et audio publiées en un seul espace accessible facilement et distribuées pour tous les utilisateurs, mais cela lui donnerait surtout le pouvoir de personnaliser la gestion de ses ressources à sa bienséance, grâce à un système évolutif. De plus, l emploi de nouvelles technologies lui permettraient d assurer un avenir sur le long terme, les géants de diffusion de vidéo évoluant eux aussi dans ce sens. Notre mission sera donc de développer une nouvelle solution de diffusion de vidéos permettant à l Université d Avignon d obtenir un système à la fois fiable et durable pour lui permettre d utiliser sa propre structure en terme d architecture réseaux et matériel pour arriver à une diffusion de contenu complètement distribués. Ce qui vient en ajout le fait que les composantes de notre solution devrait être intuitive, afin qu elles puissent être utilisée par tout type d utilisateur, y compris par ceux qui ne sont pas familiers avec les outils informatiques. CERI M1 RISM 2

5 PRESENTATION DU PROJET Les contraintes principales que nous devons respecter pour prendre en main ce projet est l exploitation du caching des utilisateurs finaux, qui nous permuteras d atténuer au maximum la sollicitation du serveur principale pour la récupération des ressources, Impliquer les utilisateurs finaux dans le processus de partage des ressources d une manière collaborative pour assurer une qualité haute d expérience et qui répondra aux besoins des utilisateurs. L instauration d un système d indexation qui rendra la mission repérage et de la gestion du contenu au niveau du caching des utilisateurs abordable et réactif envers des requêtes des utilisateurs. L utilisateur impliqué dans le processus de partage de ressource ne verra pas de différence avec une architecture en peer-to-peer lors de l envoi de sa requête car la distinction se fait essentiellement au niveau du serveur puisque l'encodage de celle-ci s'effectuera lors de sa réception pour la diffusion. En réalité, contrairement à une architecture de streaming classique dans laquelle les vidéos sont diffusées seulement depuis le serveur principal et les serveurs de relais dédiés, l exploitation du caching permettra de minimiser le coût et de créer une redondance de point de récupération des vidéos ce qui rendra la performance du serveur optimale ainsi la qualité du service d'un tel mécanisme atteindra des résultats satisfaisants, Les différents utilisateurs donc deviendrons à la fois utilisateurs et fournisseurs de contenu. Pour résumer le fonctionnement du mécanisme qui sera adopté et que nous devrions délivrer, voici un bref schéma récapitulatif mettant en avant le produit CERI M1 RISM 3

6 PRESENTATION DU PROJET Figure 1 : Mécanisme de fonctionnement de la solution Au début, le projet n incluait pas la réalisation d une interface de collaboration et de partage pour les utilisateurs mais seulement l'analyse des différentes solutions distribuées possibles dans le cadre d une mise en œuvre d un système de streaming vidéo libre, ainsi que la réalisation d une étude de technologie permettant de répondre aux besoins. La possibilité de réaliser une interface de gestion a ensuite été rajoutée avant de devenir un facteur principal. CERI M1 RISM 4

7 PRESENTATION DU PROJET Les problématiques identifiées - L absence d une charge égale distribuée du serveur de streaming. En effet, il faut éviter que le serveur soit chargé vu qu il abrite des ressources populaires. - L accès à un contenu très populaire est limité par la capacité de l utilisateur final qui le détient afin de permettre à plus d utilisateurs d accéder au même contenu, ce dernier doit être distribué d une manière égale sur d autres utilisateurs finaux. - La variation de popularité des différents contenus rend la mise à jour des données populaires complexe. - Le fonctionnement totalement déstructuré peut paraître plaisant en terme de disponibilité des ressources mais complexifie les recherches vu que tous les espaces de stockage des utilisateurs finaux ne peuvent être interrogés. - La latence importante qui peut être causé par la longueur de la propagation des recherches ce qui risque d encombrer le réseau de communication voir même le saturer. Les enjeux - Réduire la charge sur le serveur pour assurer une disponibilité des données jusqu'à 99 %. - Assurer une redondance au niveau des utilisateurs finaux disposant d un contenu populaire. - Utiliser les moindres coûts en mutualisant la solution en termes de redondance du trafic. - Créer un système d échange distribué pérenne et évolutif. - Trouver le meilleur compromis entre la bande passante et le contenu diffusé. CERI M1 RISM 5

8 PRESENTATION DU PROJET Freins et leviers Les freins Humain : - La familiarisation avec la technique implémentée peut demander un certain niveau de prérequis informatique. - L implémentation d un tel système demande un investissement humain important dans la dynamisation de l opération du partage des ressources. Organisationnels : - l intégration d un système de streaming de ce type au sein de l université demande un respect de l architecture informatique. - La diversité des ressources et des données échangées. Techniques : - Capacité d investissement technique des utilisateurs finaux très variable - Niveau d informatisation différent entre les acteurs - Le déploiement de la solution doit respecter les contraintes de sécurité et du bon usage. - l indexation des ressources doit augmenter au fur et à mesure avec le nombre de requêtes effectuées. - La centralisation du traitement de ressource peut limiter l extensibilité du système de streaming et risque de créer des goulots d étranglement. CERI M1 RISM 6

9 PRESENTATION DU PROJET Les leviers Attente : - Mise en place d une solution de streaming vidéo libre qui s appuie sur la force du partage des collaborateurs. - Traçabilité des échanges au sein de l architecture sur laquelle la solution sera utilisée. - Répartition de la capacité de stockage des ressources populaires entre les utilisateurs finaux afin de permettre à ces derniers de constituer la distribution tant convoitée. - Réalisation d une application de transfert de ressources au serveur central. - Définition d un annuaire central sur le serveur afin de gérer la capacité de stockage des ressources selon leur popularité. - Implémentation d un algorithme de recherche rapide et efficace pour l identification des points de stockage les plus proches de la source de la requête. - Prise en considération des statistiques de consultations des ressources pour cerner les ressources qui peuvent avoir une haute cote de consultation afin de les disperser sur plusieurs espaces de stockage distribués (les caches des utilisateurs). Gains économique : - Mutualisation des coûts de réalisation et de maintenance - Système robuste avec des standards des géants de la technologie du streaming - Standardisation des échanges ce qui permettra de renforcer la coordination entre l ensemble des actions qui tourne autour des apports du streaming pour un environnement universitaire (disponibilité des supports de cours interactifs, enregistrements des conférences, Etc.) CERI M1 RISM 7

10 PRESENTATION DU PROJET La réalisation du projet se déroulera en deux phases : - une première phase de définition des besoins celle qui nous a permis de fournir ce document - une seconde phase de réalisation qui sera entamer au deuxième semestre et qui sera plus pratique que théorique vu que l étude des aspects du projet est déjà faite à la fin de cette phase, le déploiement et l accompagnement des acteurs en terme de communication et formation prendra place. CERI M1 RISM 8

11 CONCEPTION ET MODELISATION Conception et modélisation Diagramme de cas d utilisation : Nous allons donner l accès pour utiliser ce système à deux types de personne : Administrateur : qui gère tout le système Utilisateur : peut-être un enseignant, un membre du CERI ou un étudiant L administrateur : CERI M1 RISM 9

12 CONCEPTION ET MODELISATION L administrateur peut configurer le serveur et aussi configurer les paramètres du caching, ainsi il peut effectuer la maintenance du serveur. Il a aussi le droit d analyser le contenu des vidéos après il aura le choix de refuser le contenu ou de le valider puis l héberger, comme il peut héberger sa propre vidéo. L utilisateur : CERI M1 RISM 10

13 CONCEPTION ET MODELISATION L utilisateur se connecte à son espace puis il a la possibilité de visualiser un contenu multimédia (vidéo en général), il peut la commenter ou la noter. Il peut aussi héberger une vidéo, désormais il pourra par la suite être contacté par l administrateur en cas de problème, il recevra la raison pour laquelle son contenu n était pas accepter comme il pourra être avertit si le contenu est abusif. CERI M1 RISM 11

14 ANALYSE TECHNIQUE Analyse technique Présentation du streaming vidéo : Le streaming ou la lecture en continue existe en deux types : Lecture progressive : c est la technique la plus populaire et aussi la plus utilisée car elle est la moins coûteuse, en effet elle ne nécessite pas un serveur spécialisé, un serveur HTTP standard est suffisant. Le streaming se fait de manière simple puisque c est le navigateur qui se charge de faire la lecture. La gestion automatique qualité/débit est indisponible ce qui mène à proposer à l utilisateur différents fichiers avec différentes qualités. Lecture continue : Contrairement à la lecture progressive, la gestion qualité/débit est bien présente, cela se fait en diffusant un seul fichier contenant plusieurs fois les mêmes informations à différentes qualités. Le serveur spécialisé adapte le niveau de qualité en fonction du débit de l internaute même si elle varie. Cette méthode est utilisée par les grandes plates-formes comme YouTube (utilise le serveur spécialisé Adobe Flash Media Server). Exemples de serveurs spécialisés: Xiph Icecast, Real Helix Streaming Server, Windows Media Services, Adobe Flash Media Server, QuickTime Streaming Server. Les différents protocoles utilisés dans les transmissions et communication entre le serveur et les clients : RTP, RTSP, RTMP, MMS CERI M1 RISM 12

15 ANALYSE TECHNIQUE Technologies utilisées dans le streaming : Il existe différents plugins pour les navigateurs web permettant le visionnage des vidéos, chacun utilise son propre codec mais un seul qui domine sur le marché du streaming : Adobe Flash Player : De plus qu il est le plus populaire, il dispose aussi d une compatibilité totale avec tous les systèmes d exploitation et tous les navigateurs web. Du côté LSO (Local Shared Objects) Flash Player fonctionne d une manière indépendante du navigateur web puisqu il utilise son propre système de cookies avec les paramètres suivants : Le stockage se fait sur la machine sans limite de temps. Leur taille par défaut est 20x plus grande qu un cookie standard (cette option pourra être modifié ou personnalisé par l utilisateur). Le navigateur n a aucun droit sur les cookies flash donc il ne pourra ni les effacés ni les modifiés. La politique de Flash Player «ne respecte» pas la vie privée de l utilisateur, par défaut les habitudes de surf (historiques ) sont diffusés par les cookies sans que l utilisateur y soit invité. CERI M1 RISM 13

16 ANALYSE TECHNIQUE Streaming et P2P : Le streaming est une lecture audio/vidéo au fur et à mesure et le principe du Peer To Peer est le partage des fichiers, comme notre but est de créer un système client-serveur et minimiser la sollicitation du serveur pour récupérer les ressources, on aura donc besoin de combiner entre ces deux notions afin d avoir un réseau actif et homogène. Les raisons pour le choix d'une architecture similaire au P2P : Cette architecture suppose que le groupe des clients Peer To Peer est connecté via un réseau LAN et chaque client reçoit non seulement le flux à partir du serveur mais agit aussi comme un proxy server, cela donne : Une exploitation de la proximité des clients Minimisation de l utilisation de la bande passante entre le serveur et le groupe de clients Différence entre streaming et téléchargement : Ce qui différencie le streaming et le téléchargement simple c est la coordination entre le transfert des données et leur lecture, en effet dans téléchargement simple (qui se fait généralement depuis un serveur HTTP ou FTP standard), le décodage et la restitution ne sont faites qu après le téléchargement complet des données, et plus le nombre de requêtes est grand plus le temps de transfert augmente, ce dernier est définie avec la relation suivante : Temps de transfert (s) = Taille du contenu (mb) / Débit de transfert (mb/s) Contrairement au téléchargement simple le streaming n attend pas que le fichier soit complètement téléchargé, la lecture se fait en parallèle avec la restitution des fragments. La restitution du premier fragment par le décodeur commence après une latence de démarrage et le téléchargement des données se fait d une manière continue dans la mémoire vive (RAM). CERI M1 RISM 14

17 ANALYSE TECHNIQUE Au niveau sécurité, il existe des lecteurs qui permettent d enregistrer des streamings mais le fait d avoir un streaming veut dire qu on ne télécharge pas sur le poste de l utilisateur. Il existe un autre type de téléchargement appelé téléchargement progressif, il est utilisé par YouTube, DailyMotion... En fait il ressemble beaucoup au streaming mais cette fois le téléchargement se fait sur le poste de l utilisateur donc permet l utilisation des serveurs HTTP pour pouvoir héberger de la vidéo, mais dans ce cas la lecture vidéo va moins vite qu un téléchargement d un contenu vidéo, cela peut encore dépendre de la popularité de la vidéo et de la bande passante. Le Caching: La notion du Caching traite la gestion des données dans le système client-serveur, cela nécessitera un algorithme pour faire différents calcules comme localiser le proxy le plus proche pour télécharger les données en se basant sur d autres paramètres comme la bande passante, et d un autre côté la mise à jour des dossiers du cache est importante car on doit garder des limites sur l utilisation du périphérique de stockage de l utilisateur, cela se fera par priorité en générale : les données les plus demandés seront ceux les plus distribués sur les périphériques du stockage. L architecture du Caching : CERI M1 RISM 15

18 ANALYSE TECHNIQUE Ce schéma représente une miniature du système étudié, une vue globale sur le fonctionnement du Caching. On dispose ici d un serveur, un gestionnaire de cache et quatre nœuds, S(i,j) représente le segment de flux entre le byte i et j. Le Caching Management se fait de la manière suivante : Chaque client met en cache le flux récupéré et publie ses informations de cache pour le gestionnaire de cache, et chacun de ses clients surveille sa propre disponibilité des ressources (la bande passante par exemple) et met à jour toutes les informations au gestionnaire de cache. Solutions proposées : Après l étude du projet on a voulu savoir plus sur les solutions utilisées pour ce genre de cas, on s est aperçu que le CDN (Content Delivery Network) est le plus adéquat à répondre d'une manière partielle à l'objectif de notre projet. CDN : Un CDN (Content Delivery Network) est un système constitué d ordinateurs reliés en réseau par Internet et qui coopèrent pour avoir une disposition et un accès aux données pour les utilisateurs. Ce réseau est constitué de : un serveur central où les données sont injectées dans le CDN des nœuds où les données sont répliquées un mécanisme de routage pour le traitement de requêtes utilisateurs Il existe différents types de CDN : Pour le contenu des sites web dynamiques on utilise les CDN de caching pour le téléchargement, et pour les flux audiovisuels live les CDN de streaming de média. CERI M1 RISM 16

19 ANALYSE TECHNIQUE Même si le CDN s'avère en compatibilité en tant que principe avec nos besoins, l implémentation de ce dernier reste irréalisable avec nos moyens, en effet seules les grandes sociétés comme Google ou Microsoft sont en mesure de financier un tel projet, ce qui fait qu'elles offrent désormais des CDN gratuits : Google AJAX Librairies API, Microsoft AJAX CDN. Vue l ampleur du CDN nous avons décidé de travailler avec le principe de ce dernier et de créer un mini CDN afin de répondre à nos besoins, ce choix est dû à notre volonté d exploiter les points forts du côté streaming/caching du CDN et de les implémenter. CERI M1 RISM 17

20 ORGANISATION DU PROJET Organisation du projet Ressources utilisées Google Calendar : Nous avons utilisé l outil Google Calendar, pour fixer chaque rendez-vous. Cet outil nous a permis de visualiser rapidement et clairement les disponibilités de chacun d entre nous afin de trouver les dates qui conviennent à tous les membres du groupe. Google Drive : Nous avons employé l outil Google Drive présent sur l ENT de l Université, qui nous a permis de disposer d un espace de gestion de fichiers, dans lequel nous avons pu partager différents documents : les documents qui contiennent les informations pertinentes pour le projet, les rapports de chaque réunion, les besoins attendus ou encore les illustrations explicatives. Nous avons également communiqué par mails via les adresses mail de chaque membre du groupe. Creatly : Nous avons utilisé l'application «Creatly» pour créer des schémas explicatifs vu que c'est un outil de création graphique collaborative ce qui nous a permis de partager les url des créations entre les membres du groupe. Le site du projet : Le site du projet que nous avons à disposition nous a permis de déposer les comptes rendus de chaque réunion et permettra également d y déposer le présent cahier des charges ainsi que le rapport final du second semestre. Nous continuerons évidemment à le mettre à jour régulièrement au cours du deuxième semestre. CERI M1 RISM 18

21 ORGANISATION DU PROJET Rencontres et réunions Cadence des réunions : Les réunions se sont déroulées à une fréquence d une par mois. Cependant, nous avons eu quelques soucis dans notre organisation, en raison d un grand problème au niveau de la communication. Nous espérons donc pouvoir améliorer celle-ci pour le second semestre. Les aspects évoqués : Le déroulement des réunions ont suivi un même schéma, au début généralement nous commençons par un bref rappel de ce qui a été fait antérieurement. Nous présentons sur quoi nous avons avancé depuis la réunion précédente puis nous discutons de ce qu il serait intéressant de grader, d ajouter ou de modifier puis nous terminons en faisant un dernier point sur les travaux à réaliser pour la réunion suivante. Planning et programmation des tâches Planning du premier semestre : Notre travail a consisté à définir les besoins du projet. Alors nous avons rencontré notre tuteur à quatre reprises pour bien cerner ces besoins. Cela nous a permis de comprendre et de s'interroger sur le fond du projet et de son intérêt général, ainsi que son architecture technique et méthodologique. Dès que les besoins sont définis nous avons pu commencer à rédiger le cahier des charges. CERI M1 RISM 19

22 ORGANISATION DU PROJET Planning du deuxième semestre Au cours du deuxième semestre, nous allons commencer par travailler sur la partie architecture du réseau afin de déployer un serveur de streaming libre. Ce travail qui devrait nous prendre une ou deux semaines nous permettra de découvrir la partie pratique de l'implémentation d'un serveur de streaming. À la fin de la partie architecture réseau, nous pourrons alors nous consacrer aux grandes parties du travail qui sont la partie les plus techniques et pratiques en terme de travail. Dans un premier temps il va nous falloir des résultats concrets de la solution envisagée puis faire les modifications appropriées et afin de l'optimiser dans l'optique que nous avons adoptée depuis le début du projet. CERI M1 RISM 20

23 CONCLUSION Conclusion L informatique tend aujourd hui vers le distribué et le partage surtout dans le domaine du multimédia, ce qui fait du domaine du streaming des données un vrai champ d application prometteur. Le volume de données gigantesques et les conditions d exécution en temps réel sont des contraintes qui font le socle des recherches pour des solutions de streaming libre aujourd hui aussi la contrainte du coût reste un grand indicateur de la réussite des solutions de streaming d aujourd hui. Dans ce document, nous avons proposé notre vision pour une solution de streaming vidéo libre dont la validation sera reconnue au passage au niveau pratique pendant le deuxième semestre. Jusqu a présent nous avons essayé de dédramatiser le fonctionnement d une telle technologie et de voir de près les problématiques qui sont liées à ce domaine plus particulièrement la partie sur laquelle nous aurons plus d apport sera l efficacité de la mise en cache des ressources avec un système d ordonnancement efficace pour augmenter la disponibilité des ressources et créer un équilibrage de charge vu que c est l objectif prioritaire d un système de streaming distribué. Pour conclure, la première partie de notre projet s est avéré très intéressante, Nous avons pu vivre l expérience du travail de groupe tout au long du semestre en gardant dans l esprit la continuité du travail pour le deuxième semestre. Pour nous les membres du groupe, ce fut une découverte d une nouvelle dimension de l informatique qui nous à permis de voir une nouvelle compétence s ajouter à notre savoir-faire. CERI M1 RISM 21

24 CONCLUSION Webographie - Content delivery network : - CDN Akamai: - CDN networks : - Peer to peer structure : - Peer to peer : - Peer-to-Peer Architecture Case Study: Gnutella Network: - Structuring Unstructured Peer-to-Peer Networks : - A definition of peer to peer : - An Analysis of the Skype Peer-to-Peer Internet Telephony Protocol: - STREAMING MEDIA CACHING : - Collaborative Caching for Video Streaming among Selfish Wireless Service Providers: - A Priority Selected Cache Algorithm for Video Relay in Streaming Applications: - Streaming Vs. Progressive Download Vs. Adaptive Streaming: - A Chunk-based Caching Algorithm for Streaming Video: CERI M1 RISM 22