Streaming multimedia I

Transcription

1 Streaming multimedia I Protection contre les erreurs, resilience et récupération Alain Mérigot Université Paris sud A. Mérigot (alain.merigot@u-psud.fr) Streaming multimedia I 1 / 40

2 Applications Multimedia Le multimedia est different des applications habituelles La transmission multimedia (audio, video) est temps réel Très sensible au retard des paquets Un paquet en retard est généralement perdu Les variations de delai sont aussi critiques Quelques erreurs de transmission peuvent être tolérées A. Mérigot Streaming multimedia I 2 / 40

3 Applications Multimedia Les grandes classes d application mltimedia Distribution de vidéo ou d audio préenregistrée Audio et Video en direct streaming Audio et Video intéractive Telephonie internet, vidéoconférence, etc. A. Mérigot (alain.merigot@u-psud.fr) Streaming multimedia I 3 / 40

4 Applications Multimedia Distribution de vidéo ou d audio préenregistrée (youtube, flickr, dailymotion,...) Du contenu multimedia a été préenregistré et stocké sur un serveur. Possibilité de pause, rewind, fast-forward, etc Un delai de quelques secondes entre la requête et le début est acceptable MAIS : dès que l affichage a commencé, il doit être continu A. Mérigot (alain.merigot@u-psud.fr) Streaming multimedia I 4 / 40

5 Applications Multimedia Streamin audio et video en direct (CNN, BBC, TF1, etc) Similaire à la television/radio traditionnelle avec un transport Internet Non-interactif, pas de pause, rewind, etc Fréquemment combiné avec du multicast Un delai de quelques secondes entre la requête et le début acceptable Même constraintes que le streaming préenregistré A. Mérigot Streaming multimedia I 5 / 40

6 Applications Multimedia Audio et Video intéractive (MSN, skype, VoIP, etc) Appels téléphoniques/videoconference Le delai entre la requête initiale et le début doit être faible ( 1 seconde) Une fois la session commencée, visualisation continue Une faible latence est nécessaire à cause de l interactivité A. Mérigot (alain.merigot@u-psud.fr) Streaming multimedia I 6 / 40

7 Problèmes TCP/UDP/IP ne fournissent qu un service best-effort, sans garantie de delai ou de ses variations Deterioration du débit en cas de congestion du réseau Le routage est généralement premier arrivé-premier servi Aucune garantie sur la bande passante Variations de delai (jitter ou gigue) Le taux d essurs de transmission (BER bit error rate) Ces informations sont inconnues et dynamiques. A. Mérigot (alain.merigot@u-psud.fr) Streaming multimedia I 7 / 40

8 Solutions potentielles à ces problèmes Débit limité Solution : Compression Variation du délai (Packet Jitter) Solution: Utiliser un delai variable pour la restitution des données Pertes de paquets Solution: redondance, entrelacement, retransmission A. Mérigot (alain.merigot@u-psud.fr) Streaming multimedia I 8 / 40

9 Bande passante La bande passante peut être ajustée lors de la compression Problèmes : Estimation de la nade passante Utilisation de mesures ou de modèles Adaptation du flux vidéo à la bande passante Peut être fait quand la vidéo est comprimée enligne (videoconference) Plus complexe avec de la video enregistrèe. Nécessite recodage vidéo video scalable Impossible pour de la vidéo en direct A. Mérigot (alain.merigot@u-psud.fr) Streaming multimedia I 9 / 40

10 Variation de delai Variations de Délai (Jitter) Solutions : Ajouter un numéro de sequence à chaque paquet Ajouter un marquage temporel à chaque paquet Retarder la restitution A. Mérigot (alain.merigot@u-psud.fr) Streaming multimedia I 10 / 40

11 Variation de delai La solution est de retarder la restitution de p à p > p délai de restitution fixe délai de restitution variable On modélise lineairement le délai et le jitter On adapt en conséquence l instant de restitution A. Mérigot (alain.merigot@u-psud.fr) Streaming multimedia I 11 / 40

12 Perte de paquets et resilience aux erreurs Perte est très general: le paquet peut ne pas arriver ou arriver trop tard Utilisation de redondance entrelacement predictions par le recepteur La retransmission n est pas en general possible pour les applications tremps-réel, mais elle peut être considérée dans certaines situations. A. Mérigot (alain.merigot@u-psud.fr) Streaming multimedia I 12 / 40

13 Perte de paquets et resilience aux erreurs Redondance (Forward Erreur Correction) Envoi de paquets redondats Chaque K paquets de données envoyer N-K paquets redondants. Tant que K paquets sont reçus, on peut récupérer les données. Peut compenser N-K perte de paquets Cout Additionel N/K exemple simple : Chaque M paquets envoyer le XOR de ces M paquets (correction de parité). Il existe des techniques de codage plus sophistiquées (codes de Hamming, Reed-Solomon, etc). Inconvénients : délai, coût A. Mérigot (alain.merigot@u-psud.fr) Streaming multimedia I 13 / 40

14 Perte de paquets et resilience aux erreurs Entrelacement Temporel Entrelacement Temporel : les échantillons d une période de tempssont envoyés dans des paquets differents. 20 msec d audio enregistrée sont regorupés en tranches de 5 msec qui sont entrelacées En cas de perte de données, meilleure correction A. Mérigot (alain.merigot@u-psud.fr) Streaming multimedia I 14 / 40

15 Retransmission Suppose un channel de retour (point à point). Le récepteur indique à l émeteur quels paquets ont étét perdus Avantages : la bande passante n est utilisée que pour les paquets perdus (!= redondance). peut être adapté aux variations du réseau Inconvénients : Latence Nécessite un canal de retour A. Mérigot (alain.merigot@u-psud.fr) Streaming multimedia I 15 / 40

16 Perte de paquets et resilience aux erreurs Strategies de retransmission La retransmission systematique (TCP) ajouterai un délai. Des strategies de retransmission intellignets peuvent être considerées : Constrainte par le délai: ne renvoyer que les paquetsqui peuvent arriver à temps Contrainte par la priorité : renvoyer en premier les paquets importants (vecteurs, images I, etc). A. Mérigot (alain.merigot@u-psud.fr) Streaming multimedia I 16 / 40

17 Codage joint source canal En codage vidéo, des données sont plus importantes que d autres Utiliser des informations sur l importance des données comme un guide pour le codage canal Exemples: Importance differente suivnat le types de trame I très important, P important, B peu importance importance differente suivant la couche (vidéo scalable) La couche de base est très importante, les couches d amélioration moins A. Mérigot (alain.merigot@u-psud.fr) Streaming multimedia I 17 / 40

18 Codage joint source canal Pour cela, differentes méthodes de protection contre les erreurs peuvent être utilisées Exemples : FEC : suivant la redondance, la protection peut être plus ou moins efficace. Utiliser une forte redondance pour les données importantes, ne pas utiliser de FEC si les données ne sont pas importantes Retransmission : renvoyer en premier les données importantes, ignorer les autres Technique prometteuse, mais le codeur vidéo doit fournir des informations qui seront utilisées par l application réseau A. Mérigot (alain.merigot@u-psud.fr) Streaming multimedia I 18 / 40

19 techniques specifique à la vidéo Récupération d erreur: Utiliser les caracteristiques de la vidéo pour recupérer une image (dégradée) Généralement basé sur la duplication des données ou une interpolation Codage vidéo résistant aux erreurs : Prise en compte des erreurs potentielles dans le processus de codage A. Mérigot (alain.merigot@u-psud.fr) Streaming multimedia I 19 / 40

20 Récupération d erreurs vidéo Buts : estimer une approximation de l information perdue en cas de perte de données Réalisé au niveau du décodeur Utilise la redondance de la vidéo Principe de base : réaliser une interpolation spatiale ou temporelle à partir de données valides A. Mérigot (alain.merigot@u-psud.fr) Streaming multimedia I 20 / 40

21 Récupération d erreurs vidéo Principes de récupération Exemple : un MB 16x16 est perdu Interpolation spatiale : on estime le MB à partir desblocs voisins Interpolation temporelle: on estime le MB à partir du même bloc de l image précédente interpolation temporelle avec compensation de mouvement : identique, en utilisant des informations sur le mouvement A. Mérigot (alain.merigot@u-psud.fr) Streaming multimedia I 21 / 40

22 Récupération d erreurs vidéo Interpolation Spatiale On estimate les pixels manquant par une interpolation douce avec les pixels voisins En general problem difficile. Mais une estimation correcte du niveau DC est déjà très utile. H.264 includes the flexible MB ordering méthode. Neighboring MB may belong to different slices. This way, if a slice is lost, neighbouring MB belong to another slice and we have enough information to perform spatial interpolation. En H.264, si on possède l entête des MB intras, on connait un mode de A. Mérigot prédiction (alain.merigot@u-psud.fr) à partir du voisinage. Streaming multimedia Peut être I utilisé pour avoir une 22 / 40

23 Récupération d erreurs vidéo Interpolation temporelle On copie juste les pixels du même bloc de l image précédente Très efficace avec un mouvement faible Problematique si le mouvement est important A. Mérigot (alain.merigot@u-psud.fr) Streaming multimedia I 23 / 40

24 Récupération d erreurs vidéo Interpolation temporelle avec compensation de mouvement Similaire à la méthode précédente, mais utilise aussi l information sur le mouvement du bloc. Nécessite l integrité des vecteurs mouvement Il est aussi possible d estimer les vecteurs mouvement au moyen des vecteurs voisins Possibilité d inclure des vecteurs mouvement pour le masquage d erreur concealment motion vectors dans des MB intra. Ces vecteurs seront utilisés pour estimer le MB juste en dessous dans le cas où les données pour ce MB sont perdues. A. Mérigot (alain.merigot@u-psud.fr) Streaming multimedia I 24 / 40

25 Récupération d erreurs vidéo Problèmes: On perd fréquemment plus d un MB... : rangée(s) de MB, image. On peut théoriquement résoudre ce problème par une combination d interpolations spatiales et temporelles Nombreux algorithmes sophistiqués. On exprime le problème comme un problème inverse : on cherche un champ de pixels qui minimise un critère de similarité et de regularité. Réalisé uniquement du coté du décodeur. Peut êtreappliqué à n importe quel codage vidéo standard. A. Mérigot (alain.merigot@u-psud.fr) Streaming multimedia I 25 / 40

26 Vidéo codage resilient aux erreurs Deux types de problèmes peuvent arriver suite à une erreur : Synchronisation du flot de bits Avec un code à longueur variable, une erreur d un seul bit peut complètement interdire la récupération des données! Etat incorrect du décodeur Erreur de prédiction pour la compensation de mouvement ou la prédiction DC/intra A. Mérigot (alain.merigot@u-psud.fr) Streaming multimedia I 26 / 40

27 Synchronisation du flot de bits Differentes approches: Utiliser des marqueurs de resynchronisation Codes reversible Partitionnement des données A. Mérigot Streaming multimedia I 27 / 40

28 Synchronisation du flot de bits marqueurs de resynchronisation Le marqueur doit correspondre à une sequence unique. Il doit être distinct de chaque code, concatenation de codes et même de legères perturbationautour des codes En cas d erreur, on cherche le marqueur suivant. Les informations importantes pour le decodage vidéo doivent être placées immédiatement après un marqueur (niveau de Q, etc). A. Mérigot (alain.merigot@u-psud.fr) Streaming multimedia I 28 / 40

29 Synchronisation du flot de bits Où placer un marqueur? A une positions strategique (début de sequence, d images,...) [MPEG1/2, H.261/3] On resynchronises chaque N blocks, quel que soit le nombre de bits Possibilité de corruption de zones importantes Periodiquement tous les n bits [MPEG-4] quel que soit le nombre blocs La recherche des marqueurs est plus simple Bien adapté à la paquetisation du réseau Paquets sont generés tous les n bits. marqueur resynch. numéro MB QP Données des macroblocs. A. Mérigot (alain.merigot@u-psud.fr) Streaming multimedia I 29 / 40

30 Synchronisation du flot de bits On peut aussi essayer de concevoir les paquets pour minimiser les effects dus aux pertes. (codage joint source-canal) Si le codeur vidéo connait la taille des paquets, il peut determiner les places où des pertes de données ont de bonnes chances d arriver. Il suffit que le codeur ajoute des marqueurs en début de paquet On peut protéger ainsi les informations importantes (mouvement en vidéo par exemple) A. Mérigot (alain.merigot@u-psud.fr) Streaming multimedia I 30 / 40

31 Synchronisation du flot de bits Codes Reversibles (RVLC) Les codes à longueur variable reversibles peuvent être aussibine lus de gauche à droite que de droite à gauche En cas d erreurs, cherche le marqueur suivant rétrobalayer les données à partir de la position du marqueur suivant Utilisé dans MPEG4 A. Mérigot (alain.merigot@u-psud.fr) Streaming multimedia I 31 / 40

32 Synchronisation du flot de bits Partition de données Les bits juste après un marqueur ont une meilleure protection. Ilspeuvent toujous être récupérés si une erreur est presente avant dans le blot de bits. La partition de données consiste à separer les données sensibles (entête, mouvements, formes, DC) de celles qui sont moins importantes, pour mettre les données sensibles juste après un marqueur. Utilisés dans MPEG4 (2 partitions) et dans H264 (3 partitions) A. Mérigot Streaming multimedia I 32 / 40

33 Duplication des données importantes Les données vitales peuvent être envoyées de manière redondante MPEG4 utilise les header extension code Un bit est inclus dans les paquets de données. S il est mis à un, il est suivant par une duplication de l entête du VOP. H.264 utilise les redondant parmater sets Les NALUs décrivant des Sequence parameter sets ou des Picture parameter sets peuvent être envoyés de manière redondante dans un flot de bits H.264. Possibilité également d envoyer des approximations d informations manquantes. H.264 peut envoyer des redondant slices. Ces slices peuvent être une version A. Mérigot (alain.merigot@u-psud.fr) dégradée (avec un QPStreaming élevé) multimedia d une I slice importante. Si la slice 33 / 40

34 Problèmes d état du décodeur Un état incorrect du décodeur est un problème en codage predictif Les erreurs se propage de trame en trame Differentes solutions: regeneration periodique d état Utilisation d un canal de retour codage vidéo scalable vidéo codage à descriptions multiples A. Mérigot (alain.merigot@u-psud.fr) Streaming multimedia I 34 / 40

35 Problèmes d état du décodeur regénération d état: Ne pas utiliser de prediction. On n utilise que des images I ( général trop cher!) Rafraichir l état périodiquement. Envoir régulier d images I (GOP MPEG) Coder quelques MB intra par images codage Intra periodique de MB. Avec un ordre predefini, on peut assurer que toute l image est rafraichie à un taux régulier. Evite le coût en débit et en délai d une image I. Frequemment utilisé en vidéoconférence On peut aussi estimer la vulnerabilité aux erreurs des différents blocs. Par exemple, les macroblocs loin d un marqueur sont susceptibles d être corrompus. On les code en intra dans la trame suivante. A. Mérigot (alain.merigot@u-psud.fr) Streaming multimedia I 35 / 40

36 Problèmes d état du décodeur Utiliser un canal de retour Avec un canal de retour, le décodeur indiquer les problèmes Si une image est incorrecte, le codeur peut utiliser une autre image de référence Les normes récentes incluent la possibilité de changer d image de référence (NEWPRED dans MPEG-4, images de référence multiple dans H.264). Deux versions approche ACK : le décodeur doit indiquer quand une image est correctement reçue approche NACK : le décodeur indique les images incorrectes A. Mérigot (alain.merigot@u-psud.fr) Streaming multimedia I 36 / 40

37 Problèmes d état du décodeur ACK: l encodeur n utilise QUE des images validées (ACK) comme référence. Moins de propagation d erreur, mais des trames anciennes peuvent être utilisées. Compression moins efficace NACK: par défaut l encodeur utilise l image précédente. Meilleure compression, mais des erreurs peuvent se propager. NB: Tout ceci nécessite une communication point to point avec un faible délai de retour Ne peut être utilisé pour broadcasting, multicast, vidéo préenregistrée, etc. A. Mérigot (alain.merigot@u-psud.fr) Streaming multimedia I 37 / 40

38 Problèmes d état du décodeur Codage vidéo scalable Utilisation simultanée de différents niveaux de détail (spatial, temporel ou SNR) Couche de base et couches d amélioration Protection specifique de la couche de base Les détails des couches d améliorations peuvent être approximées en cas d erreur Approximation de l état du décodeur Present dans MPEG4, H.264/SVC Intéressant pour des réseaux qui utilisent le concept de qualité de service (QoS). A. Mérigot (alain.merigot@u-psud.fr) Streaming multimedia I 38 / 40

39 Problèmes d état du décodeur Vidéo à description multiple On code une vidéo en plusieurs flux indépendants (!= scalable). Utiliser un flot uniquedonne une qualité correcte. L utulisation simultanée des differentsflux fournit la qualité optimale. Exemples: Un flux pour les trames paires, un autre pour les trames impaires. Mettre les pixels de numéro pair dans un flux et ceux de numéro impair dans un autre another. A. Mérigot (alain.merigot@u-psud.fr) Streaming multimedia I 39 / 40

40 Problèmes d état du décodeur Advantages: En case d erreurs sur un flux, l autre peut être utilisé seul (avec une qualité dégradée) L autre flux peut être utilisé pour améliorer l estimation d état du décodeur. Inconvénients: Compression moins efficace et débit accru A. Mérigot (alain.merigot@u-psud.fr) Streaming multimedia I 40 / 40