Université de Bretagne Occidentale

Transcription

1 Université de Bretagne Occidentale Master 2 Rechercher en Informatique Rapport d étude bibliographie : Mise en œuvre d'un modèle de corrélation QoS-QoE Auteur : Lahouari Benyettou [email protected] Encadrant : Sami Souihi [email protected] Directeur de stage : Abdelhamid Mellouk [email protected] Laboratoire LISSI U-PEC

2 Table des métiers 1 Introduction La Qualité d Expériences Utilisateur Evaluation de la qualité d expérience Méthodes subjectives Métriques objectives Méthodes d'évaluation Vidéo Méthodes d'évaluation Voix Evaluation de la qualité audiovisuelle Corrélation entre QoS et QoE Prediction de la QoE Conclusions References... Erreur! Signet non défini. Table des figures Figure 1 - Mesures de qualité sans référence [10]... 5 Figure 2 Classification des critères objectifs de la qualité visuelle [13]... 6 Figure 3 Transmission vidéo sur le réseau [20]... 7 Figure 4 Relations entre les paramètres de QoS et la qualité perçue [21]... 8 Figure 5 Métriques pour la prévision de la qualité vidéo [27] Figure 6 Diagramme conceptuel pour illustrer la prédiction de la qualité vidéo [28] Figure 7 Schéma conceptuel de la QoE pour l'adaptation vidéo [29]

3 1 Introduction Les nouveaux services sur les réseaux sont en pleine expansion du fait de la valeur ajoutée qu'ils apportent aux utilisateurs, telle que le contenu multimédia, la transmission des données, la mobilité et le coût réduit des appels longs distance. Par ailleurs, la qualité de service (QoS, Quality of Service) de ces nouveaux services est généralement non garantie. Les opérateurs de télécommunications doivent satisfaire leurs clients en offrant la meilleure QoS possible. Donc, évaluer et contrôler constamment la qualité perçue par leurs utilisateurs de services. Les méthodes subjectives, nécessitant l appel à des participants humains pour tester un système, sont le meilleur moyen d'atteindre le jugement des usagers. Bien que ces méthodes subjectives restent la meilleure option pour évaluer la qualité perçue par les utilisateurs, le recours à de telles méthodes n est pas rentable pour les fournisseurs de services et opérateurs de télécommunications, du fait des contraintes temporelles sollicitées. Raisons pour lesquelles, des méthodes objectives ont été développées dans le but d évaluer la qualité des signaux au niveau des applications et ainsi représentent un moyen de substitution aux mesures subjectives. Les études effectuées par [1], [2], [3] ont énormément contribué aux concepts centrés utilisateur, où des modèles de corrélation QoS-QoE ont été proposées. En effet, en possédant des informations concrètes sur la manière dont la QoE varie en fonction des changements des paramètres de la QoS, les fournisseurs de services et opérateurs de télécommunications peuvent maintenir la meilleure qualité d'expérience en temps réel. La QoS opérateur désigne quatre métriques (gigue, delai, bande passante, taux de pertes). Une corrélation qui prend en compte que la QoS opérateur est insuffisante à notre sens. Dans le cadre de ce stage, nous nous intéressons en particulier à un modèle prédictif de la qualité d expérience utilisateur. Le modèle qu on est amené à produire est une fonction évolutive qui prend en entrée un ensemble de connaissances (acquises ou apprises): QoS opérateur, QoS Applicatif (par exemple rapidité d'un navigateur à interprété du java-script), ou autres, et qui nous fournis en sortie une certaine estimation de la perception de l'usager. Dans un premier temps, nous serons amène à étudier un problème inverse: connaissant le résultat (un retour QoE pour une application donnée, par exemple vidéo), nous souhaitant connaître quelles sont les paramètres à prendre en compte pour prédire les prochaines occurrences de QoE spécifique à une application et un utilisateur. Ensuite, nous devrons étudier les mécanismes d apprentissage afin de produire un modèle de QoE évolutif dans le temps et spécifique à l utilisateur et l application données.enfin, le modèle prédictif devra être implémenté et testé dans une plate-forme du laboratoire. Cette étude bibliographique est organisée comme suit : Nous présentons le concept de la Qualité d Expériences Utilisateur, Ensuite les méthodes d évaluation de la QoE. La section 4 présente alors les différents modèles de corrélation QoS QoE. Ensuite nous présontons les travaux sur la prédiction de la QoE dans la section 5. Enfin, nous terminons pars une conclusion. 2

4 2 La Qualité d Expériences Utilisateur La notion de l'expérience utilisateur a été introduite pour la première fois par le Dr Donald Norman, évoquant l'importance de la conception d un service centré utilisateur [4]. Récemment, cette théorie est réapparue dans le domaine des réseaux sous le nom de Qualité d Expérience Utilisateurs (Quality of Experience, QoE) ou la Qualité Perçue par les Utilisateurs (User Perceived Quality, UPQ). L Union Internationale des Télécommunications (UIT-T) définit la QoE comme étant la qualité de perception des utilisateurs au vue d une application ou d un service. Gulliver et Ghinea [5] décomposent la QoE en trois composantes : l assimilation, le jugement et la satisfaction. La qualité d assimilation est une mesure de la clarté du contenu d un point de vue informatif. Le jugement de qualité reflète la qualité de présentation. La satisfaction indique le degré d appréciation globale de l utilisateur. La Qualité de l Expérience (QoE) est présentée comme une approche globale de la qualité sur le cycle de vie du service. Elle consiste à mesurer la satisfaction sur l ensemble d une prestation auprès de l utilisateur, ainsi que la performance d utilisation d un service. 3 Evaluation de la qualité d expérience Il est possible de mesurer la QoE à l aide de deux indicateurs : les tests subjectifs ou les métriques objectives. L évaluation de la qualité par les tests subjectifs consiste à demander à un groupe de personnes d attribuer une note de qualité au service qu ils utilisent selon leur degré de satisfaction. D autre part, le processus d évaluation est automatisé par des algorithmes dans les mesures dites objectives. Les performances des métriques objectives sont mesurées par rapport aux résultats des tests subjectifs. 3.1 Méthodes subjectives La meilleure manière d'évaluer la qualité est de faire appel à des utilisateurs et de les interroger, sous forme de sondages ou de tests en laboratoire. Lors de test d un service multimédia par exemple, les conditions telles que : l isolation des échos, l illumination de la salle, la distance entre l observateur et l écran et les caractéristiques de ce dernier doivent être conformes aux normes. Les normes de l ITU-T [6] et [7] spécifient respectivement les méthodologies d évaluation de la qualité des signaux audio et vidéo d un service de visioconférence sur des réseaux à commutation de paquets. Les participants aux tests subjectifs attribuent des notes de qualité, selon une échelle de valeurs de nature numérique ou sémantique, discrète ou continue, comparative ou absolue. Cette échelle est proposée au début du test. Une échelle de nature sémantique contient des adjectifs indiquant l appréciation comme excellente, bonne ou mauvaise. Une échelle continue couvre un intervalle et le sujet peut choisir n importe quelle valeur entière appartenant à cet intervalle. Une échelle comparative sert à comparer deux versions d un même contenu ayant subi différents traitements. Des adjectifs comme légèrement meilleure, identique et moins bonne sont utilisés sur de telles échelles. 3

5 Le score moyen d opinion (Mean Opinion Score, MOS) est l une des méthodologies basée sur des tests subjectifs dans lesquels la qualité est notée par des expérimentateurs. Les valeurs assignées en fonction de la qualité perçue de la connexion, sont les suivantes : Excellent 5; Bien 4; Acceptable 3; Pauvre 2; Mauvais 1. (1) Définit en 1996 par l UIT-T pour déterminer le degré de satisfaction concernant une ligne téléphonique. Le score moyen d opinion (MOS) peut s appliquer à d autres formes possibles de dégradation : distorsions de circuit, perte de paquets, distorsions environnementales, erreurs de transmission, distorsions de codage, écho etc. Les tests subjectifs nécessitent la mobilisation de moyens humains, temporels et financiers. Un test multimédia par exemple, nécessite au minimum 15 personnes ayant une bonne acuité visuelle pour chaque série de contenus multimédias évaluée [7]. Les méthodes objectives permettant d'automatiser l'évaluation de la qualité perçue par l utilisateur, se présentent comme une alternative aux méthodes subjectives. Cependant, elles doivent présenter une forte corrélation avec les résultats des tests subjectifs, qui représentent le jugement des utilisateurs. 3.2 Métriques objectives Les métriques objectives, appelées aussi critères objectifs de qualité, sont utilisées dans le but d évaluer la qualité des signaux ayant subi un traitement particulier sans avoir besoin de recourir aux tests subjectifs. Les traitements peuvent être de nature dégradante comme par exemple la compression et la transmission ou améliorante tels les post-traitements d affichage qui ont lieu après le décodage. La validation des performances d un critère objectif de qualité se fait par comparaison de ses notes à celles recueillies lors de tests subjectifs. Cette comparaison est principalement établie à l aide du coefficient de corrélation entre les notes objectives et les notes subjectives [8]. Les métriques objectives, peuvent être classées en deux méthodes de mesure, «intrusives» ou «non intrusives» Les méthodes de mesure «intrusives», utilisées dans les modèles avec référence, et qui consistent à faire une communication test avec le système étudié, en envoyant un signal de référence et en recueillant le signal dégradé à la sortie du système testé, Les méthodes de mesure «non intrusives», utilisées dans les modèles sans référence, ces méthodes n'ont besoin que d un signal dégradé et utilisent les signaux échangés dans les réseaux réels sans perturber les communications Méthodes d'évaluation Vidéo L'évaluation objective de la qualité vidéo s'est tout d'abord effectuée avec des outils simples de traitement du signal tels que l'erreur quadratique moyenne (Mean square error, MSE) et le rapport signal maximal sur bruit (peak signal-to-noise ratio, PSNR). Ces mesures objectives sont limitées et ne se corrèlent pas bien avec le score moyen d opinion (MOS). Le recours à des méthodes objectives plus élaborées a donc été nécessaire. Des standards de la qualité vidéo ont été développé tels que Référence Complète (Full Reference, FR), Référence Réduite (Reduced Reference, RR) et Sans Référence (No Reference, NR). 4

6 Référence Complète: Sont basés sur la comparaison. Un signal connu (référence) est envoyé à travers le système à tester, le signal est intercepté en sortie du système (signal dégradé), en fin les deux signaux sont comparés pour déduire une note objective de qualité. Sans Référence : Sont basés sur l estimation et peuvent être utilisés dans le trafic réel. La qualité est estimée à partir du signal dégradé sans comparaison avec le signal original. Ces modèles fournissant des performances honorables pour prédire la qualité, mais restent faibles par rapport aux méthodes "Référence Complète ". Référence réduit: est une combinaison entre les deux types précédents. Sur la base des travaux réalisés par VQEG [9], l'uit-t a recommandé l utilisation des mesures de qualité de référence complète pour les applications TV. Figure 1 - Mesures de qualité sans référence [10] Parmi les modèles sans référence, le modèle V-Factor développé à l origine par QoSmetrics [11], ensuite acquis par Symmetricom [12]. V-Factor évalue l'impact perceptuel d'artefacts de la qualité vidéo, introduits par transmission vidéo sur le réseau. L Evaluation Perceptuelle de la Qualité Vidéo (Perceptual Evaluation Video Quality, PEVQ) est une méthode de norme référence complète. PEVQ fournit des estimations du score moyen d opinion (MOS) de la dégradation de la qualité vidéo. Les critères de qualité de vidéos, peuvent être classifiés selon la méthode adoptée par Stéphane Péchard [13] qui consiste à classifier les modèles objectifs selon l exploitation ou non des propriétés du Système Visuel Humain (SVH). La figure1 illustre une classification pour les critères de qualité vidéo. On distingue deux approches, les approches signal qui prennent en compte seulement les données brutes de la vidéo, et les approches perceptuelles qui modélisent les mécanismes du SVH à différents degrés. Les approches perceptuelles regroupent quatre modèles. Les modèles basés sur les mécanismes bas niveau du SVH, simulent la réponse du SVH aux stimuli ou sa sensibilité au contraste par exemple. Les modèles structurels, mesurent les dégradations de l information structurelle extraite par le SVH à partir d une image. 5

7 Les modèles avec connaissance du système dégradant, sont basés sur une mesure des dégradations les plus communes d un système donné. Figure 2 Classification des critères objectifs de la qualité visuelle [13] Les modèles basés sur des principes perceptuels, combinent les mécanismes bas niveau du SVH avec l extraction de traits caractéristiques de l image Méthodes d'évaluation Voix Le modèle E (E-model) normalisé en 1998 par l'uit-t dans [14] est un modèle d appréciation de la qualité de transmission largement utilisé pour les services de la parole, y compris la téléphonie IP. En pratique, il est utilisé pour répartir les éléments de qualité sur toute la chaîne de transmission afin d'atteindre une qualité de bout en bout. La qualité de transmission est exprimée en sortie du modèle E par une échelle comprise entre 0 et 100 notée R, qui varie avec la qualité globale. L Evaluation perceptive de la qualité vocale PESQ (Perceptual Evaluation of Speech Quality, PESQ), normalisé par l'uit-t [15] est une méthode de prédiction de la qualité subjective pour la téléphonie avec bande passante réduite. PESQ transforme les signaux de parole originale et dégradé en une représentation psychologique qui se rapproche de la perception humaine, calcule la distance de perception et l inscrit en un score objectif conforme au MOS. 3SQM "Single Sided Speech Quality Measure", et est un nouvel algorithme basé sur la nouvelle recommandation UIT-T [16], développé pour tester la qualité de la voix non intrusive, il est basé sur la mesure des paramètres du signal de la parole. 3SQM prend en charge les effets de dégradation au niveau du paquet tels que les dépréciations de perte, la gigue et au niveau du signal tels que le bruit, l'écrêtage et des distorsions causées par des processus de codage. Les modèles objectifs de la qualité vocale, qui peuvent être classés selon : Qu'ils se focalisent sur des signaux ou sur des mesures physiques du système (paramétriques) Qu'ils ont besoin d'avoir accès aux informations des deux côtés du système (bout en bout ou avec référence) ou d'un seul côté seulement (mono-extrémité ou sans référence) Qu ils fonctionnent dans un contexte d écoute, de locution ou conversation. 6

8 3.2.1 Evaluation de la qualité audiovisuelle Dans [17,18,19], les auteurs ont étudié la qualité des contenus multimédias à des débits très faibles (24-48 kb /s pour la vidéo et de 8-32 kb /s pour l'audio). Ils se sont focalisés dans leurs travaux sur l évaluation de la qualité subjective de l'audiovisuel en utilisant la méthode Notation de Catégorie Absolue (Absolute Category Rating, ACR), le MPEG-4 AVC (H.264) comme codec vidéo et le Codage Audio Evolué (Advanced Audio Coding, AAC) pour le codage de la voix. Les auteurs ont constaté que la qualité audio (Audio Quality, AQ) et la qualité vidéo (Video Quality, VQ) contribuent considérablement à la qualité audiovisuelle perçue. Un modèle basé sur la combinaison linéaire des AQ et VQ a été proposé. La garantie d une qualité audiovisuelle de bout-à-bout se concrétise au niveau de la couche réseau (Network-layer QoS), de la couche Application (Application-layer QoS) et au niveau de l'utilisateur final (End-user QoS). La QoS au niveau de la couche réseau se préoccupe de la livraison rapide et fiable des données multimédia. La QoS au niveau de la couche application, se préoccupe de la qualité de l'encodage multimédia, la livraison, l'adaptation, le décodage sur le périphérique client. La QoS au niveau de l'utilisateur final s'occupe de l'expérience en termes de la qualité audio visuelle. Figure 3 Transmission vidéo sur le réseau [20] La qualité audiovisuelle perçue est affectée par des facteurs au niveau réseau et d autres au niveau de l'application (Figure 3). Les facteurs liés à application sont les distorsions de codage, retard, perte de tampon, Cadence, la qualité visuelle, bande passante, le volume sonore, écho, etc Les facteurs liés au réseau sont la perte de paquets, le délai, la gigue, le débit, etc... Les relations entre les paramètres de la QoS, la couche application et la couche réseau sont résumés dans la Figure. 4 [21]. 7

9 Figure 4 Relations entre les paramètres de QoS et la qualité perçue [21] 4 Corrélation entre QoS et QoE Les services proposés par les opérateurs ont leurs propres caractéristiques et demandes au niveau du réseau, qui se reflètent différemment au niveau des utilisateurs finaux. Par exemple, pour la téléphonie par Internet l effet des paramètres QoS se traduit par une variation de la qualité sonore de la communication, cette qualité sonore sera donc la mesure la plus adéquate pour la QoE dans ce cas. De même que pour l émission d un flux vidéo ayant une résolution HD sur un réseau avec une bande passante à 2 Mbit/s résultera en une Qualité utilisateur médiocre. C est pourquoi il est vital de regarder les applications du point de vue de leur interaction avec le réseau et de corréler les paramètres QoS du réseau avec la qualité perçue par les utilisateurs, La QoE [22]. Plusieurs travaux de recherche ont été réalisés dans le but d étudier la répercussion des paramètres de la QoS sur la qualité perçue par l utilisateur. Un modèle de corrélation entre les paramètres de la QoS et la QoE d un service VoIP est proposé dans Falun Y. et al [23]. Ce modèle intègre les cinq facteurs suivants : l'intégralité, la continuité, la disponibilité, l utilisabilité et l'instantanéité. La QoE est mesurée par la formule suivante: Où: QoE = ½ sin(λ) (ab+bc+cd+de+ea) (2) λ représente un angle de 72 degrés entre deux faces dans le modèle pentagramme de la QoE. a : l Intégralité du service (délai, gigue, et le taux de perte de paquets) b : la continuité du service (taux d'interruption de service) c : disponibilité du service (Le taux de réussite du service d'accès utilisateur) d : l utilisabilité du service (facilité d'utilisation des services) e : l instantanéité du service (Le temps de réponse (s) d'établissement et d'accès aux services) Ce modèle a facilité la mesure QoE lors du processus d utilisation du service. Le but des auteurs est d'améliorer et de représenter de nouvelles façons d'évaluer et de mesurer la perception des services VoIP. 8

10 H. Kim et al. [24] ont proposé une autre approche utilisant les paramètres de la QoS pour la mesure de la QoE. Dans ce travail, les auteurs ont décrit un modèle de corrélation de QoS- QoE en utilisant plusieurs méthodes pour la mesure de la QoE tels que: Le score moyen d opinion (MOS) basé sur la satisfaction client, la mesure de la qualité perceptuelle vocale (Perceptual Speech Quality Measure, PSQM), l evaluation perceptuelle de la qualité vocale (Perceptual Evaluation of Speech Quality, PESQ) et le E-Model. Ce modèle intègre les paramètres QoS suivants : le délai, la gigue et la perte de paquets. Où: QoS = F(D, J, L, E, B, S) (3) α est la classe de qualité QoS au niveau réseau. β est déterminé selon la classe de service. K est le coefficient de satisfaction du service utilisé. (4) Afin de produire une meilleur QoE d un système multimédia adaptatif, un équilibrage entre les contraintes imposées par les restrictions de QoS et les exigences du débit et d'apprentissage a été réalisé par S. Moebs[25]. L auteur à présenté un système e-learning multimédia adaptatif basé sur une architecture regroupant trois modèles : un modèle d'utilisateur, un modèle de domaine et un modèle d'adaptation Le modèle utilisateur représente les caractéristiques générales de l'utilisateur tel que l'emplacement, les préférences des périphériques, les connaissances antérieures, l'état des connaissances ou les objectifs d'apprentissage. Le modèle du domaine représente la notion de domaine objet et il décrit généralement des structures de concept comme les cartes conceptuelles, les réseaux sémantiques ou les graphes conceptuels. Le modèle d'adaptation relie les deux modèles précédemment décrits, en utilisant des règles d'adaptation. La qualité d expérience est représentée par l'équation: QoE=f (QoL(QoS),QoF(QoS)) (5) La QoS est basée sur le délai, la perte de paquets et la gigue dans un contexte d application vidéo, audio et données. La QoL est basé sur : un modèle utilisateur d aspect rétroactif, un ensemble d'objectifs apprentissage bien défini, l'interaction, l'équilibre entre les compétences et les défis d'apprentissage, les styles d'apprentissage, l'évaluation des connaissances antérieures et le modèle du domaine. La QoF est basée sur la rétroaction, un ensemble d'objectifs bien défini pour l'utilisation du siteweb, l'interaction, l'équilibre entre les compétences et les défis, incluant l'utilisation de la technologie et des émotions. 9

11 Hamam A. et al. [26] ont proposé une taxonomie pour mesurer la QoE des applications avec interface utilisateur tactile. Cette taxonomie est calculée en utilisant un modèle mathématique où la QoE est le résultat de la combinaison linéaire pondérée de la QoS et l'expérience utilisateur d une interface tactile personnalisée: QoE = ζ QoS + (1- ζ) UE (6) Si les facteurs de qualité sont compris dans un intervalle de 0 et 1, alors la qualité d'expérience générale aura une valeur entre 0 et 1. La somme des coefficients constants doit donc être égale à 1. 6 Prédiction de la QoE Les travaux effectués par [27,28, 29] ont énormément contribué aux concepts de prédiction de la QoE, où la prédiction des prochaines occurrences de QoE est calculée en fonction des paramètres de la QoS, du contenue vidéo, etc.. Dans [27], les auteurs ont proposé une approche basé sur la classification du contenue vidéo pour la prédiction de la qualité vidéo MPEG4 en streaming. Ils ont présenté un module de classification des séquences vidéo selon le type des contenus. La classification du contenu est basé sur l'extraction des caractéristiques temporelles (mouvement) et spatiales (bords, de la luminosité) en utilisant l'analyse typologique. Figure 5 Métriques pour la prévision de la qualité vidéo [27] MOS = f (SBR, FR, type de contenu, PER) (7) En fonction du type de contenu, des paramètres au niveau du réseau (taux d'erreur paquet) et au niveau de l'application (envoi bitrate, fréquence d'images), la qualité vidéo est prédite en termes de score moyen d opinion (MOS) en utilisant l'analyse en Composantes Principales (ACP). Partant de leur modèle sur la classification du contenue vidéo, Asiya Khan et al [28] ont développé une architecture pour la prédiction de la qualité vidéo objective dans les systèmes de télécommunications mobiles universelle (UMTS). La prédiction de la qualité se base sur un modèle d'apprentissage basé sur les systèmes adaptatifs neuronal d'inférence floue 10

12 (Adaptive Neural Fuzzy Inference System, ANFIS) et l'analyse de régression non linéaire. La prédiction de la qualité est évaluée en termes de score moyen d opinion (MOS) Figure 6 Diagramme conceptuel pour illustrer la prédiction de la qualité vidéo [28] A travers les résultats qu ils ont obtenus, les auteurs concluent qu'il est possible de prédire la qualité de la vidéo si les paramètres appropriés sont bien choisis. Leurs résultats confirment que les modèles ANFIS et la régression basée sur le modèle d'apprentissage sont des méthodes appropriés pour la prédiction de la qualité vidéo pour le contenu vidéo. La mise en commun des avantages des techniques utilisées dans leurs travaux antérieurs dont ceux cités dans [27,28], Asiya Khan et al [29] ont proposé un schéma d'adaptation basé sur la QoE, afin d optimiser la fourniture du contenu et l'utilisation des ressources réseau pour les applications vidéo dans les réseaux sans fil. La fourniture du contenu est optimisée en adaptant le SBR (Bitrate Video Sender) en fonction de la des exigences de la qualité d'expérience utilisateur (QoE). La QoE est mesurée en termes de score moyen d opinion (MOS). Figure 7 Schéma conceptuel de la QoE pour l'adaptation vidéo [29] 11

13 Le schéma proposé permet aux fournisseurs de contenu d atteindre le streaming optimal (avec un bitrate expéditeur approprié) adaptée pour le réseau et le type de contenu pour une QoE demandée. 7 Conclusions Dans cette étude bibliographique nous avons présenté la nécessité d'évaluer la qualité perçue par l utilisateur. Les méthodes subjectives, bien qu'étant le seul moyen d'atteindre le jugement humain de la qualité perçue, sont coûteuses à mettre en œuvre. Des méthodes objectives ont donc été développées comme alternative, accessible au plus grand nombre, aux méthodes subjectives d'évaluation de la qualité audiovisuelle. L'état de l'art des modèles de corrélation QoS-QoE a présenté les différentes approches utilisées et l'étendue des modèles de corrélation existants. En s appuyant sur les travaux effectués par Asiya Khan et al [27,28,29], nous allons concevoir un modèle pour la prédiction de la qualité d expérience utilisateur. Ce modelé de QoE devra, au fur et à mesure, évoluer pour devenir spécifique à l'utilisateur et l'application. D un modèle générique vers n x m modèles, pour n utilisateurs et m applications. Références [1] T. Hoßfeld, P. Tran-Gia, and M. Fiedler, Quantification of quality of experience for edge-based applications, in Proceedings of the 20th international teletraffic conference on Managing traffic performance in converged networks. Springer-Verlag, 2007, pp [2] J. Shaikh, M. Fiedler, and D. Collange, Quality of Experience from user and network perspectives, Annals of Telecommunications, vol. 65, no. 1, pp , [3] S. Khirman and P. Henriksen, Relationship Between Quality-of-Service and Quality-of-Experience for Public Internet Service, in Proc. of the 3rd Workshop on Passive and Active Measurement. [4] D. Norman and S. Draper, User centered system design: New perspectives on human-computer interaction. L. Erlbaum Associates, 1986 [5] S. R. Gulliver and G. Ghinea. The Perceptual and Attentive Impact of Delay and Jitter in Multimedia Delivery. IEEE Transactions on Broadcasting, 53(2) :pp , juin [6] ITU-T Recommendation P.800, Methods for subjective determination of transmission quality. International Telecommunication Union-Standardization Sector, août [7] ITU-T Recommendation P.910, Subjective video quality assessment methods for multimedia applications. International Telecommunication Union-Standardization Sector, septembre [8] F. Boulos. Transmission d'images et de vidéos sur réseaux à pertes de paquets : mécanismes de protection et optimisation de la qualité perçue. Thèse de Doctorat, de l Université de Nantes, février 2010 [9] Video quality experts group, multimedia group test plan, Dec 2005, Draft version 1.8, [10] Q. Huynh-Thu, Psytechnics Ltd, [email protected] Recent developments in objective voice and video quality assessment 12

14 models ITU-T Workshop on End-to-End QoE/QoS Geneva, June [11] Y. Cognet, QoSmetrics, Marcoussis, QoE versus QoS 30th March 2006, ITEA Project March Yves Cognet. [12] [13] S. Péchard. Qualité d usage en télévision haute définition : évaluations subjectives et métriques objectives. Thèse de doctorat, Université de Nantes, octobre [14] ITU-T Recommendation G.107, The E-model, a computational model for use in transmission planning, UIT-T, mai [15] ITU-T Recommendation P.862, Perceptual evaluation of speech quality (PESQ), an objective method for end-to-end speech quality assessment of narrow-band telephone networks and codecs, UIT-T, février [16] ITU-T Recommendation 563 single-ended method for objective speech quality assessment in narrowband telephony applications, May [17] S. Winkler and C. Faller Perceived audiovisual quality of low-bitrate multimedia content IEEE Trans. Multimedia VOL. 8, Issue 5, Oct [18] S. Winkler and C. Faller Audiovisual quality evaluation of low-bitrate video Proc.SPIE/IS&T Human Vision and Electronic Imaging, p , [19] S. Winkler and F. Dufaux Video quality evaluation for mobile applications SPIE proc. Visual Communication and Image Processing, Vol.5150, Lugano Switzerland, July [20] Asiya Khan, Zhuoqun Li, Lingfen Sun and Emmanuel Ifeachor, Audiovisual Quality Assessment for 3G Networks in Support of E-Healthcare in Proceedings of the 3rd International Conference on Computational Intelligence in Medicine and Healthcare(CIMED 2007), July 25-27, Plymouth, UK, [21] J. Monfort, Basic requirement to quality of service(ip centric), Workshop on standardization in E-health Geneva, May [22] Razvan Beuran, Mesure de la qualité dans les réseaux informatiques, Thèse de doctorat,université «POLITEHNICA» Bucuresti, Université «Jean Monnet» St. Etienne,juillet 2004 [23] Yan Goong, Fangchun Yang, Lin Huang, Sen Su, Model-Based Approach to Measuring Quality of Experience, in First International Conference on Emerging Network Intelligence, [24] Hyun Jong Kim, Dong Hyeon Lee, Jong Min Lee, Kyoung Hee Lee, Won Lyu, Seong Gon Choi, "The QoE Evaluation Method through the QoS-QoE Correlation Model", in Fourth International Conference on Networked Computing and Advanced Information Management, [25] Sabine Moebs, A Learner, is a Learner, is a User, is a Customer - QoS-based Experience-aware Adaptation, in 16th ACM International Conference on Multimedia, [26] Abdelwahab Hamam, Mahamad Eid, Abdulmotaleb El Saddik, Nicolas D. Georganas, A quality of experience model for haptic user interfaces, in Ambi-Sys Workshop on haptic user interfaces in ambient media systems, [27] Networks Asiya Khan, Lingfen Sun and Emmanuel Ifeachor, Content Clustering-based Video Quality Prediction Model for MPEG4 Video Streaming over Wireless in IEEE International Conference on communications, June, 2009, Dresden, Germany 13

15 [28] Asiya Khan, Lingfen Sun, Jose Oscar Fajardo, Fidel Liberal and Emmanuel Ifeachor,Video Quality Prediction Model for H.264 Video over UMTS Networks and their Application in Mobile Video Streaming in IEEE ICC, 2010, Cape Town, South Africa, May 2010 [29] Asiya Khan, Lingfen Sun, Emmanuel Jammeh and Emmanuel Ifeachor, QoE-driven Adaptation Scheme for Video Applications over Wireless Networks in IET Communications Special Issue on "Video communications over wireless networks", Vol. 4, No.2, July,