BAROMETRE 4GMARK ER TRIMESTRE 2015 1 ER
4GMARK L APPLI DE MESURES DES RESEAUX MOBILES 1 L application 4Gmark pour smartphone est disponible gratuitement sur Google Play pour les terminaux Android depuis février 2013, sur AppStore pour iphone & ipad depuis mai 2013 et sur Windows Phone depuis août 2014. Preuve de son succès, 4Gmark totalise désormais plus de 750 000 téléchargements sur tous les stores depuis un peu moins de 2 ans. Toutes les 7s un test est réalisé à travers le monde. Toutes ces mesures alimentent donc notre service temps réel participatif et nous permettent de réaliser périodiquement une analyse plus poussée. En effectuant gratuitement leurs tests sur 4Gmark, les utilisateurs bénéficient d une information fiable et pertinente sur la qualité de leur connexion. Ils sont informés qu ils participent à un projet collaboratif permettant d alimenter une base d information pour la connaissance et l amélioration de la qualité de service. 4Gmark propose un Test Rapide, Speed Test, afin de connaitre directement la vitesse de connexion (débit) sur une courte période. Le Test Complet, Full Test, permet de connaitre le score atteint par la connexion (Smartphone, sur un réseau à un instant précis et dans des conditions propres) en effectuant un Test plus long, incluant des services supplémentaires comme la navigation sur Internet et la mesure de vidéos en streaming. Depuis septembre 2013, 4Gmark publie sur ZDNet.fr le baromètre national «4Gmonitor» des résultats cellulaires sur les 4 opérateurs techniques, qui contribue à la notoriété de l application et offre un juste retour aux utilisateurs de l application. Une approche innovante Pionnier en la matière, 4Gmark avait innové, lors de son lancement début 2013, en intégrant la navigation web à son application, via le scenario FullTest. Ce scenario permettait notamment d avoir une première vision de l expérience client des utilisateurs dans des cas d usages réels. Fort des retours positifs de cette initiative, 4Gmark a souhaité poursuivre plus loin dans l innovation, en complétant ou renforçant les nouveaux usages, toujours dans un souci de recherche de représentativité de l expérience client réelle. Pour cela, 4Gmark a fait évoluer son scenario complet, le «FullTest», en juillet 2014 en y apportant notamment 3 nouveautés majeures, décrites ci-après. Un test de streaming YouTube Le nouveau FullTest introduit un test vidéo sur la plateforme de streaming YouTube. Ce test permet notamment de mesurer le délai d initialisation nécessaire à la vidéo pour lancer la séquence de visionnage, c est-à-dire le temps avant lequel les premières images de la vidéo sont affichées. Le test mesure également les temps de lags pendant le visionnage.
Un panel de portails web internationaux Le panel de portails web a été enrichi, passant de 3 pages (Google, Wikipédia et YouTube) à plus de 20 pages dont les séquences sont alternées pour que l utilisateur ne tombe pas systématiquement sur les mêmes URL de test. Ce nouveau panel de tests est complété de portails web internationaux parmi les plus représentatifs de l usage des internautes : Twitter, Instagram, MSN, Alibaba, Amazon, Apple, Ask, Baidu, Bing, Ebay, Paypal, Facebook, Paypal, etc Un test de débit sur différents types de fichiers Ce nouveau système détermine quel type de fichiers sera récupéré (vidéo, audio, document, programme, archive ) lors des étapes de téléchargement des scenarios SPEEDTEST et FULLTEST de son application publique. Sur l ancien FullTest, un seul type de fichiers était téléchargeable, un fichier data avec pour extension.file. Depuis le 8 juillet, c est 20 types de fichiers qui le sont : ipa iso exe apk 3gp file xyz avi zip mov png jpg txt ppt mpg pdf doc xls mp4 mp3 aac VIDEO AUDIO DOCUMENT IMAGE PROGRAMME ARCHIVE AUTRE L extension.xyz ne correspond à aucun fichier connu et permet ainsi d établir le comportement «par défaut» du réseau cellulaire. Le fichier.file est l extension historique. La méthodologie du test de téléchargement reste inchangée, on requête un très gros fichier (250 Mo), et on constate l absence ou non d échec sec de téléchargement et le débit moyen sur 10s de transfert descendant. Contribution Vous aussi, participez au baromètre 4Gmark en téléchargeant dès maintenant l application gratuite sur les stores et en réalisant des tests de votre opérateur autour de chez vous : http://get.4g 4gmark.com
OBJECTIF & PERIMETRE ETUDE 2 Cette étude s inscrit dans la continuité des statistiques présentées en cycle hebdomadaire dans le 4Gmonitorde ZDNet.fr. Objectif L objectif de cette étude est d apporter la vision «Expérience Client» d un abonné/équipé 4G consommateur de data sur les réseaux cellulaires en France Métropolitaine. au Ainsi, la segmentation technologique n est plus faite entre 3G et 4G. Un opérateur cellulaire apporte son service autant en 4G dans les zones couvertes, qu en 3G pour la voix (le téléphone «redescend» en 3G) mais aussi pour la data, là où la 4G n est pas présente ou ne passe pas (la 3G ayant souvent une meilleure pénétration dans les bâtiments). C est donc les performances (sur un terminal 4G, et donc aujourd hui abonné 4G) de la sommes de tous les réseaux qui permet de mesurer l expérience-client (QoE) contrairement à l approche plus technique (QoS) du réseau 4G seul. Cette approche permet de répondre à la question qui est probablement la vôtre : «En m abonnant chez cet opérateur, quelle les s sont les performances nationales qu il propose si j ai un terminal 4G?». La segmentation géographique La 4G, réalité commerciale, ne l est pas encore partout et pour tous. Les opérateurs qui doivent tenir des engagements de couverture mais aussi proposer ce service le plus rapidement à plus de clients, équipent, en général, en priorité les zones denses. C est donc logique que les antennes émergent avant tout dans les grandes villes, où un support fournira le service rapidement au plus grand nombre. L étude apporte donc désormais une segmentation par strate géographique entre : Les 14 plus grandes agglomérations au sens de l INSEE (agglomération de plus de 400 000 habitants) dites «TOP14». Par exemple «L agglomération de Paris» correspond à un ensemble d un peu plus de 400 communes du bassin de population de l Ile de France et pas seulement à la commune de Paris. Les agglomérations entre 50 000 et 400 000 habitants dites «50-400Kh» Les agglomérations entre 10 000 et 50 000 habitants dites «10-50Kh» Les agglomérations de moins de 10 000 habitants dites «<10 Kh» Et enfin, toutes les communes hors agglomération correspondants aux zones rurales, et que l on dénommera tout naturellement «rural». Il est intéressant de noter que cette strate est loin d être négligeable puisqu elle regroupe près de 15 millions d habitants sur un peu plus de 29 000 communes (la France en compte environ 36 000) La question que cette segmentation pose est la suivante : «Les opérateurs présentent-ils les mêmes performances pour leur réseau des «villes» et celui des «champs»?»
Afin de fiabiliser les indicateurs, dans la vision nationale, chacune des strates est pondérée selon le poids de population qu elle représente, ce qui respecte la pondération appliquée par l ARCEP (Autorité de Régulation des Communications Electroniques et des Postes) en 2015. Pour explication : dans le cas où les usagers de 4Gmark d un opérateur présentent 80% des mesures sur le TOP14, cette strate pèsera toujours pour 1/3 dans l indice national et ce, même si les opérateurs présentent des périmètres différents. Périmètre de l étude Le périmètre de la présente étude est le suivant : Dates : du 1er janvier au 31 mars 2015 24h/24 Environnement : Android, iphone & Windows Phone Périmètre géographique : France Métropolitaine Réseaux : les opérateurs de réseaux cellulaires Bouygues Telecom, Free, Orange & SFR Technologie : 2G/3G/4G sur terminaux compatibles 4G Utilisateurs : SIM française uniquement pas de roaming étranger, itinérance nationale comprise Serveurs : 3 serveurs OVH dédiés avec bande passante de plus de 500 dont 2 introduits dans le courant du mois de mars
COMPOSITION & QUALIFICATION ECHANTILLON 3 L étude est réalisée sur la base de l ensemble des mesures géolocalisées en France et réalisées sur le 1 er trimestre 2015 avec des smartphones 4G. L échantillon, notamment en termes d utilisateurs, est naturellement composé de la manière suivante : Les utilisateurs 4Gmark Bouygues T. 23% 25% Free Mobile Orange 3,9 4,5 2,7 3,4 20 200 utilisateurs 33% 19% SFR Nombre moyen de tests par smartphone + de 30 tests 6 à 30 tests 3 à 5 tests Nombre de smartphones ayant réalisé x tests 2 tests 1 test Au-delà de la notion d utilisateur, le nombre de cycles de mesures (1 cycle = 1 speedtest ou 1 fulltest) est présenté sous-dessous pour chacun des opérateurs et par type de scenario. L échantillon est également réparti entre les différents systèmes d exploitation smartphone avec une parité pour les 2 OS les plus répandus, Android et iphone, suivi d une part très minoritaire des Windows Phone. 127 758 cycles de mesures 4% IPHONE 71% 74% 79% 78% 49% ANDROID WP 47% 29% 26% 21% 22% Bouygues T. Free Mobile Orange SFR
RESULTATS BENCHMARK 4 Les résultats ci-dessous sont présentés en vision national (toutes tranches/strates de population confondues) pour les abonnés/équipés 4G au 1 er trimestre 2015. Le Score du FullTest Les graphiques ci-dessous présentent la moyenne globale et l évolution des scores obtenus sur le FullTest de 4Gmark. Le Score du Full Test se veut le reflet de l'expérience utilisateur sur l'ensemble du parcours sur une échelle ouverte. Il est composé d'une partie performance (débits de téléchargement et d'envoi de fichiers) et d'une partie Qualité de Service (Youtube et Navigation Web), et est impacté par les échecs qui le pénalisent fortement. Les Débits moyens des transferts de fichiers DL/UL Le graphique ci-dessous présente la moyenne globale des débits descendants et montants obtenus sur 4Gmark. Le débit des tests mesurés par 4Gmark se veut le reflet de l'expérience utilisateur réelle dans leur pratique quotidienne (types de fichiers multiples, mono-thread, échanges des paquets validés, serveurs centralisés...) issue d'une méthodologie professionnelle.
RESULTATS BENCHMARK 4 Le graphique ci-dessous présente l évolution des débits descendants obtenus sur 4Gmark pour chacun des opérateurs, en MegaBits par seconde. La Navigation Web Le graphique ci-dessous présente la Non-Qualité (échecs et hors délais d affichage) mis en perspective du temps moyen de chargement obtenu lors du chargement des 20 portails web du FullTest sur 4Gmark. Une page est considérée hors délai si elle se charge en plus de 15s. Le Streaming Youtube Le graphique ci-dessous présente la Non-Qualité (échecs et hors délais de chargement de la vidéo) mis en perspective du temps moyen d'attente de l utilisateur (chargement de la video + rebufferisations en cours de lecture) obtenu pour les différents vidéos de la plateforme de contenus streaming YouTube du FullTest sur 4Gmark.Une vidéo de 30 secondes est considérée hors délai si elle n est pas visualisée entièrement dans un délai de 45 secondes.
RESULTATS BENCHMARK 4
RESULTATS DETAILLES BOUYGUES T. Indice 4G Proportion de 4G perçue en moyenne par les utilisateurs 17 304 points -316 Score moyen 4Gmark des utilisateurs Bouygues Débits DL moyens DL 22,4 Débits UL moyens UL 8,9 +0,5 +0,1 5 3,05 secondes Indice de performance web 93,0% vidéos vues en totalité Indice de perf streaming TOP14 Agglos 50-400K Agglos 10-50K Agglos 0-10K communes rurales UL 5,9 UL 5,3 UL 13,7 DL 21,2 UL 9,5 DL 14,9 DL 13,2 DL 10,8 UL 4,5 DL 37,2 2G/3G 5,2 4G seule 27,7 0 5 10 15 20 25 30 35 Débits moyens DL/UL par strate géographique des abonnés Bouygues mesurés avec 4Gmark au 1er trim. 2015 INDOOR 20,8 DYNAMIC 27,1 OUTDOOR 32,4 Débits DL mmoyens par type d usage (A l intérieur/exterieur des bâtimens, et en situation de mobilitié) P ages internet % Non-Qualité performance http://www.google.com 1,0% 2,1 s http://en.m.wikipedia.org 1,0% 2,3 s http://m.facebook.com 0,2% 2,0 s https://mobile.twitter.com 0,2% 1,6 s http://instagram.com 1,1% 2,2 s http://t.msn.com 2,1% 3,0 s http://m.youtube.com 1,3% 1,6 s http://www.amazon.com 4,2% 3,0 s http://m.9gag.com 5,3% 2,6 s http://stackoverflow.com 0,9% 1,9 s http://www.4gmark.com 0,8% 1,9 s http://www.alibaba.com 0,5% 2,3 s http://www.apple.com 2,9% 3,1 s http://www.ask.com 4,2% 2,0 s http://www.baidu.com 2,7% 2,7 s http://www.ebay.com 5,9% 4,1 s http://www.paypal.com 2,1% 5,9 s http://www.pinterest.com 12,0% 6,3 s http://www.tumblr.com 1,5% 3,6 s http://www.yandex.ru 3,6% 3,0 s Non-Qualité et performance des 20 pages web du FullTest
RESULTATS DETAILLES 6 FREE MOBILE Débits DL moyens +536 9 565 points Indice 4G p Proportion de 4G perçue en moyenne par les utilisateurs Score moyen 4Gmark des utilisateurs Free DL 13, 13,8 +0,4 +0,4 5,1 secondes Indice de performance web Débits UL moyens UL 3,93 3,93 +0,6 +0,6 73,5% vidéos vues en totalité Indice de perf streaming 4G seule 24,5 2G/3 2G/3G 3,0 INDOOR OUTDOOR 12, 12,9 16, 16,9 DYNAMIC 15, 15,4 Débits DL mmoyens par type d usage (A l intérieur/exterieur des bâtimens, et en situation de mobilitié) Non-Qualité et performance des 20 pages web du FullTest
RESULTATS DETAILLES 7 ORANGE Débits DL moyens +1111 16 150 points Indice 4G p Proportion de 4G perçue en moyenne par les utilisateurs Score moyen 4Gmark des utilisateurs Orange DL 22,8 22,8 +0,3 +0,3 8,6 8,6 secondes Indice de performance web Débits UL moyens UL 3,43 3,43 +0,8 +0,8 92,1% vidéos vues en totalité Indice de perf streaming 4G seule 28,9 2G/3G 2G/3G 6,6 INDOOR OUTDOOR 2 2,4 25, 25,9 DYNAMIC 2 3,0 Débits DL mmoyens par type d usage (A l intérieur/exterieur des bâtimens, et en situation de mobilitié) Non-Qualité et performance des 20 pages web du FullTest
RESULTATS DETAILLES 8 SFR Débits DL moyens +340 7 379 points Indice 4G p Proportion de 4G perçue en moyenne par les utilisateurs Score moyen 4Gmark des utilisateurs SFR DL 11, 11,0 +0,4 +0,4 4,9 secondes Indice de performance web Débits UL moyens UL 3,90 3,90 +0,4 +0,4 87, 87,8% vidéos vues en totalité Indice de perf streaming 4G seule 15, 15,8 2G/3G 2G/3G 5,3 P ages i nternet INDOOR OUTDOOR 10,8 12,1 2,1 DYNAMIC 11, 11,3 Débits DL mmoyens par type d usage (A l intérieur/exterieur des bâtimens, et en situation de mobilitié) http://www.google.com http://en.m.wikipedia.org http://m.facebook.com https://mobile.twitter.com http://instagram.com http://t.msn.com http://m.youtube.com http://www.amazon.com http://m.9gag.com http://stackoverflow.com http://www.4gmark.com http://www.alibaba.com http://www.apple.com http://www.ask.com http://www.baidu.com http://www.ebay.com http://www.paypal.com http://www.pinterest.com http://www.tumblr.com http://www.yandex.ru % Non-Q ual i té perf ormanc e 3,5% 4,5% 2,0% 0,1% 3,0% 4,0% 5,8% 9,1% 6,8% 0,2% 1,3% 0,0% 7,4% 3,2% 8,0% 13,1% 4,1% 21,2% 3,4% 7,7% 2,4 s 2,9 s 2,5 s 1,8 s 3,1 s 3,6 s 2,2 s 4,0 s 3,6 s 1,9 s 1,6 s 2,3 s 4,2 s 4,4 s 3,9 s 4,4 s 6,9 s 7,2 s 4,3 s 3,4 s Non-Qualité et performance des 20 pages web du FullTest