Benchmark Accès Internet

Transcription

1 Benchmark Accès Internet Préambule La qualité mesurée des performances des fournisseurs d'accès haut débit réalisée par Witbe ne vaut naturellement que pour la période de temps concernée et ne présage en aucune façon de la qualité permanente des fournisseurs d'accès testés. La nature même des réseaux ne permet pas d'extrapoler une qualité nationale à partir des résultats issus des 3 points de mesure mis en œuvre. L'objectif de l'étude est de donner des indications sur les tendances générales en termes de qualité de service. Principes généraux Les robots Witbe testent le service de bout en bout L'étude est réalisée au moyen de robots Witbe dual play Data/VoIP, connectés derrière les box des FAI. Le benchmark Witbe "Accès Internet" vise à évaluer la qualité du service tel qu'il est délivré sur 3 grandes villes de France par les principaux FAI. Une évaluation multi-critères : o La disponibilité de la connexion o Le confort de navigation et l'accessibilité Internet sont mesurés sur un panel de 10 sites Web de renom chargés avec le cache vide o La tenue du débit au travers du téléchargement d'un fichier sur un serveur de référence également accessible de tous les acteurs Scoring L'étude apporte pour chacun des critères un indice de performance ainsi qu'un avis général à trois niveaux (bon, moyen, peut mieux faire). Le consommateur pourra ainsi comparer les acteurs suivants les critères qui comptent le plus pour lui. Points d observation : Les tests sont réalisés depuis trois points d'observation : - en ADSL : Courbevoie (92), Lyon et Marseille. - En Cable : Issy les Moulineaux, Lyon et Marseille. L'indice France est une moyenne des mesures de ces trois villes Maintenance quotidienne Les tests sont interrompus deux heures par jour afin de permettre aux opérateurs de réaliser leurs opérations de maintenances et afin de procéder aux éventuelles mises à jour des équipements des boxes. Les équipements sont rebootés électriquement avant de reprendre les tests.

2 Critères pris en compte et principes d'évaluation 1. Disponibilité de la connexion : Compte tenu du mode de connexion permanent, le test de disponibilité de la connexion consiste à s'assurer de la capacité à sortir du réseau du FAI. Ce test est réalisé toutes les 15 minutes. Résultats Note Witbe Illustration graphique Taux > 99,9 % *** Vert Taux entre 98,5 et 99,9 % ** Jaune Taux < 98,5 % * Rouge 2. Qualité du websufing :» Le test : Méthode : chargement consécutif des pages d'accueil de 10 sites Web de renom en prenant soin de vider le cache du navigateur au début de chaque session (toutes les 15minutes). Sites testés : la liste de sites est régulièrement mises à jour en fonction des résultats d'audience mesurés par des instituts reconnus. Les sites portails des FAI sont exclus de notre panel.» Les indicateurs : Confort de navigation (indice / 100) : indice de rapidité du websurfing, plus il est proche de 100, plus le FAI est rapide en comparaison aux autres acteurs. Il est calculé en comparant le temps du FAI au meilleur temps et à la moyenne du panel. Résultats Note Witbe Illustration graphique Indice > 95 *** Vert Indice entre 85 et 95 ** Jaune Indice < 85 * Rouge Accessibilité Internet (indice / 100) : indice mesurant la capacité du FAI à joindre à tout moment les sites testés, exclusion faite des périodes d'inaccessibilité générale des cibles. Résultats Note Witbe Illustration graphique Indice > 99 *** Vert Indice entre 97 et 99 ** Jaune Indice < 97 * Rouge

3 3. Tenue du débit :» Le test : Méthode : téléchargement (toutes les 15minutes) d'un fichier hébergé sur un serveur de référence également accessible de tous les opérateurs. Objectif : Contrôler qu'aux heures de pointes (17h - 23h), nous disposons d'un débit stable et suffisant.» Les indicateurs : Disponibilité du débit (indice / 100) : indique le pourcentage de fois où, entre 17h et 23h, nous avons pu télécharger le fichier suivant la vitesse minimale cible fixée (7,7 Mbit/s). Résultats Note Witbe Illustration graphique Indice > 95 *** Vert Indice entre 85 et 95 ** Jaune Indice < 85 * Rouge

4 Benchmark Services VoIP residentiels Préambule La qualité mesurée des performances des fournisseurs de téléphonie IP (via ADSL ou câble) réalisée par Witbe ne vaut naturellement que pour la période de temps concernée et ne présage en aucune façon de la qualité permanente des fournisseurs d'accès testés. La qualité mesurée des performances des fournisseurs de téléphonie réalisée par Witbe ne vaut naturellement que pour la période de temps concernée et ne présage en aucune façon de la qualité permanente des fournisseurs d'accès testés. La nature même des réseaux ne permet pas d'extrapoler une qualité nationale à partir des résultats issus des 3 points de mesure mis en œuvre Principes généraux Les robots Witbe testent le service de bout en bout L'étude est réalisée au moyen de robots Witbe dual play Data/VoIP, connectés derrière les box des FAI. Le benchmark Witbe "Téléphonie" vise à évaluer la qualité du service tel qu'il est délivré sur 3 grandes villes de France par les principaux FAI. Une évaluation multicritères La qualité du service "Téléphonie sur ADSL" est évaluée selon 4 critères principaux : - la disponibilité du service - le temps d acheminement des appels - la qualité d'écoute lors de la conversation (indice PESQ-MOS, ITU-T P862-1) - la stabilité de la qualité d'écoute sur la durée de la conversation. Scoring : L'étude apporte pour chacun des critères un indice de performance ainsi qu'un avis général à trois niveaux (bon, moyen, peut mieux faire). Le consommateur pourra ainsi comparer les acteurs suivants les critères qui comptent le plus pour lui. Points d observation : Les tests sont réalisés depuis trois points d'observation : o en ADSL : Courbevoie (92), Lyon et Marseille. o En Cable : Issy les Moulineaux, Lyon et Marseille. L'indice France est une moyenne des mesures de ces trois villes Principe du test VoIP L objectif est de tester la capacité à joindre un correspondant France Télécom fixe et converser durant 3 minutes : o Le robot Witbe réalise un appel téléphonique au travers du service de téléphonie du FAI, vers un robot répondeur connecté au RTC France Télécom en local.

5 o Le robot enregistre le message du répondeur et le compare à un fichier de référence normalisé (d'une durée de 14 secondes). o Afin de pouvoir apprécier les dégradations de qualité, la conversation type dure trois minutes environ. Au sein d'une communication, le test complet consiste donc à écouter plusieurs fois le fichier de référence. Ce test est exécuté 22h/24, toutes les 15 minutes, soit 88 appels par jour. Maintenance quotidienne Les tests sont interrompus 2 heures par jour afin de permettre l'éventuelle mise à jour des box FAI. A l'issue de la période de maintenance, les équipements sont rebootés électriquement avant de reprendre les tests. Critères pris en compte et principes d'évaluation 1. Disponibilité du service : La disponibilité du service est déterminée par le taux de réussite des tests. Un test est considéré comme réussi lorsque le robot appelant a pu joindre le robot répondeur et que la qualité d écoute (PESQ-LQ) durant la conversation était «acceptable» (MOS > 2,5). L'avis concernant la disponibilité du service repose sur la nomenclature suivante : - Plus de 99,9 % : * * * - de 98,5 % à 99,9 % : * * - Moins de 98,5 % : * 2. Délai d acheminement des appels (Post Dialing Delay - PDD) : Le PDD est le délai compris entre la fin de la numérotation et la réception du premier train de sonnerie. Le délai d'obtention de la tonalité est apprécié de la manière suivante : - PDD < 2 secondes : * * * - PDD compris entre 2 et 3 secondes : * * - PDD > 3 secondes : * 3. Qualité perceptuelle de la voix : L'analyse des dégradations de la voix est réalisée au moyen des algorithmes PESQ qui comparent le message délivré par le répondeur et enregistré par le robot VoIP avec un message de référence normalisé (1). La qualité perçue de la voix est restituée sous forme d'une note PESQ (2) (Perceptual Evaluation of Speech Quality) de type MOS "Mean Opinion Score" (de 1 à 5, avec 5 = qualité parfaite). La qualité de la voix est appréciée de la manière suivante : - PESQ compris entre 4 et 5 : * * * - PESQ compris entre 3 et 4 : * *

6 - PESQ inférieur à 3 : * 4. Stabilité de la Qualité sur la durée de la conversation : Afin d'apporter un éclairage complémentaire à la valeur moyenne du PESQ-MOS sur la conversation, Witbe calcule un indice de stabilité de la qualité durant la conversation. De cet indice de stabilité, Witbe décline un indicateur PMS (part de mesures parfaitement stables). Il est évaluée de la manière suivante : - PMS compris entre 95 % et 100 % : * * * - PMS compris entre 90 % et 95 % : * * - PMS inférieur à 90 % : * Notes : (1) Le message audio utilisé pour le calcul du PESQ est conçu conformément aux spécifications ITU-T P.862. La durée du fichier utilisé par Witbe est de 14 secondes. Afin de réaliser les tests longs, le robot évalue 10 écoutes successives de ce fichier de référence. (2) PESQ (Perceptual Evaluation of Speech Quality - évaluation perceptuelle de qualité de la parole) est un indice défini par l'union Internationale des Télécommunications (ITU) pour évaluer la qualité perçue de la voix (ITU-T P.862/P.862.1). Le PESQ est capable de déterminer la qualité subjective de la voix et d'identifier l'origine des dégradations : coupures, atténuations, bruits, etc. La valeur du PESQ est indiquée sous la forme d'une note de type MOS "Mean Opinion Score" comprise entre 1 et 5, avec : 5 : excellent 4 : bon 3 : correcte 2 : pauvre 1 : mauvais

7 Benchmark Services de Télévision Préambule La qualité mesurée des performances des fournisseurs de services Télévision (via ADSL ou câble) réalisée par Witbe ne vaut naturellement que pour la période de temps concernée et ne présage en aucune façon de la qualité permanente des fournisseurs d'accès testés. La qualité mesurée des performances des fournisseurs de téléphonie réalisée par Witbe ne vaut naturellement que pour la période de temps concernée et ne présage en aucune façon de la qualité permanente des fournisseurs d'accès testés. La nature même des réseaux ne permet pas d'extrapoler une qualité nationale à partir des résultats issus du point de mesure mis en œuvre. Principes généraux Les robots Witbe testent le service de bout en bout L'étude est réalisée au moyen de robots TV Witbe, connectés derrière les décodeurs (STB) des FAI. Ces robots zappent sur les chaînes prédéfinies, mesurent le temps nécessaire au changement effectif de chaîne, détectent les éventuels messages d'erreur ou écrans noirs et mesurent la qualité réelle de la vidéo suivant 3 principaux critères perceptuels (pixellisation, saccade et flou) synthétisés dans un indicateur subjectif : le Mean Opinion Score (MOS), sur une échelle de 1 à 5 (avec 5 = qualité parfaite). Une évaluation du service sur le bouquet de base des opérateurs La Qualité d'expérience (QoE) est évaluée au travers du bouquet de base proposés par les FAI : - Zapping sur 7 chaînes communes à tous les bouquets : toutes les 10 minutes, chaque robot zappe sur France 2, France 3, Arte, Direct8, NRJ 12, LCP, TF1 et M6 en restant une minute sur chaque chaîne. - Le zapping est réalisé en mode P+ - Métriques collectées par chaînes et agrégées : temps de zapping, disponibilité, Witbe VideoMOS Les tests sont réalisés 22h/24 Scoring : L'étude apporte pour chacun des critères un indice de performance ainsi qu'un avis général à trois niveaux (bon, moyen, peut mieux faire). Le consommateur pourra ainsi comparer les acteurs suivants les critères qui comptent le plus pour lui.

8 Point d observation : Les tests sont réalisés depuis un point d'observation : La Défense (92) pour les FAI ADSL et Issy les Moulineaux (92) pour le câble. Maintenance quotidienne : Les tests sont interrompus deux heures par jour afin de permettre les éventuelles mises à jour des décodeurs et boxes triple play. A l'issue de la période de maintenance, les équipements sont rebootés électriquement avant de reprendre les tests. Critères pris en compte et principes d'évaluation Disponibilité du service : Elle est évaluée au travers de la séquence de zapping multi chaînes. Lors de chaque séquence de test, la disponibilité de chacune des chaînes est évaluée par 3 conditions : temps d'accès limité (zapping < 9 secondes), absence de message d'erreur, flux animé d'une qualité suffisante (Witbe VideoMOS >= 2). L'avis concernant la disponibilité du service repose sur la nomenclature suivante : - 99 % à 100 % : * * * - 98 % à 99 % : * * - Moins de 98 % : * Qualité Vidéo : 1. Qualité multi chaînes : MOS vidéo moyen constaté sur les chaînes testées lors de la séquence multi chaine. L'avis concernant la qualité du service repose sur la nomenclature suivante : - MOS Vidéo > 3,5 : * * * - 2,5 < MOS Vidéo < 3,5 : * * - MOS Vidéo < 2,5 : * Temps de zapping : Le temps de zapping correspond au nécessaire au changement effectif de chaîne. La séquence de test repose sur des zapping en mode P+/P-. Le temps de zapping moyen (exprimé en secondes) publié est la moyenne des temps de zapping P+.. L'avis concernant le temps de zapping repose sur la nomenclature suivante : - Temps < 1 secondes : * * * - 1< Temps < 2,5 secondes : * * - Temps > 2,5 secondes : *

9 Benchmark des chaînes TV Préambule La qualité mesurée des chaînes de télévision (via l ADSL ou câble) réalisée par Witbe ne vaut naturellement que pour la période de temps concernée, le réseau emprunté et l accès IP utilisé. Elle ne présage en aucune façon de la qualité permanente des chaînes. La nature même des réseaux ne permet pas d'extrapoler une qualité nationale à partir des résultats issus du point de mesure mis en œuvre. Principes généraux Les robots Witbe testent le service de bout en bout L'étude est réalisée au moyen de robots TV Witbe, connectés derrière les décodeurs (STB) des principaux FAI ADSL et câble. Ces robots zappent sur les chaînes prédéfinies, mesurent le temps nécessaire au changement effectif de chaîne, détectent les éventuels messages d'erreur ou écrans noirs et mesurent la qualité réelle de la vidéo suivant 3 principaux critères perceptuels (pixellisation, saccade et flou) synthétisés dans un indicateur subjectif : le Mean Opinion Score (MOS), sur une échelle de 1 à 5 (avec 5 = qualité parfaite). Une évaluation du service sur le bouquet de base des opérateurs La Qualité d'expérience (QoE) (disponibilité, qualité d image) des différentes chaînes est évaluée au travers du bouquet de base proposé par les FAI. Pour ce faire, les robots Witbe, exécutent toutes les 10 minutes, une séquence de zapping sur les chaînes (France 2, France 3, Arte, Direct8, NRJ 12, LCP, TF1 et M6) en restant une minute sur chaque canal. A chaque passage sur la chaîne, ils évaluent la disponibilité de la chaîne et la qualité de l image évaluée au moyen des algorithmes Witbe VideoMOS. Scoring : L'étude apporte pour chacun des critères un indice de performance ainsi qu'un avis général à trois niveaux (bon, moyen, peut mieux faire). Le consommateur pourra ainsi comparer les acteurs suivants les critères qui comptent le plus pour lui.

10 Point d observation : Les tests sont réalisés depuis un point d'observation : La Défense (92) pour les FAI ADSL et Issy les Moulineaux (92) pour le câble. Maintenance quotidienne : Les tests sont interrompus deux heures par jour afin de permettre les éventuelles mises à jour des décodeurs et boxes triple play. A l'issue de la période de maintenance, les équipements sont rebootés électriquement avant de reprendre les tests. Critères pris en compte et principes d'évaluation Disponibilité de la chaîne TV : Lors de chaque séquence de test, la disponibilité de chacune des chaînes est évaluée par 3 conditions : absence d écran noir longue durée (>9s), absence de message d'erreur, flux animé d'une qualité suffisante (Witbe VideoMOS >= 2). L'avis concernant la disponibilité du service repose sur la nomenclature suivante : - 99 % à 100 % : * * * - 98 % à 99 % : * * - Moins de 98 % : * Pour chacune des chaînes, le tableau indique via quel FAI, la disponibilité est la meilleure. Qualité de l image La qualité de l image est le Video MOS vidéo moyen constaté sur la chaîne L'avis concernant la qualité vidéo repose sur la nomenclature suivante : - MOS Vidéo > 3,5 : * * * - 2,5 < MOS Vidéo < 3,5 : * * - MOS Vidéo < 2,5 : * Pour chacune des chaînes, le tableau indique via quel FAI, la qualité d image est la meilleure.