Observatoire GESTE/CEDEXIS de la Qualité de Service Internet Edition de septembre 2014 Source des données : Cedexis Auteurs du rapport : Fabien BARON (fabien@cedexis.com) Camille CHARAUDEAU (camille@cedexis.com), Julien COULON (julien@cedexis.com) Cyril DUPRAT (cyril@cedexis.com) Rapport édité le 20 octobre 2014 1
Table des matières Introduction... 3 Panel... 3 Résumé du contenu de ce rapport... 4 Méthodologie Cedexis et Représentativité du Panel... 5 Le fonctionnement du tag Cedexis... 6 Confidentialité des données... 8 Mesure du temps de chargement des pages... 8 Temps de chargement des pages en France métropolitaine... 9 Différence de performances entre internautes... 9 Comparaison entre réseaux métropolitains... 10 Temps de chargement des pages en DROM/COM... 12 Différence de performances entre internautes... 12 Comparaison entre DROM/COM... 13 Temps de chargement des pages depuis des réseaux européens ou de pays francophones... 15 Panel des navigateurs web supportant la mesure de la performance web... 19 Performance des réseaux de diffusion de contenus (CDN)... 20 2
Introduction Le présent rapport a pour objectif de fournir au GESTE, sur une base mensuelle, les éléments nécessaires à la mesure de la qualité de service internet de chacun des internautes se connectant aux services en ligne proposés par les membres du GESTE. Panel Les données agrégées par la société Cedexis ont été collectées depuis les internautes qui exécutent la sonde Cedexis Radar embarquée sur un panel de sites et/ou applications mobiles de membres du GESTE et qui ont accepté de mettre en commun leurs mesures. Le panel pour l édition de Juillet du rapport du GESTE regroupe les 15 éditeurs de contenu suivants: 3
Résumé du contenu de ce rapport L édition du mois de septembre du rapport regroupe environ 5,7 milliards de mesures de performances utilisateur. Du fait de l amplitude de l échantillon, les mesures réalisées sont statistiquement significatives. Ces mesures proviennent majoritairement de France, mais également des 29 autres pays depuis lesquels les sites des membres du GESTE sont les plus consultés. Les éditions précédentes de l Observatoire avaient mis en évidence une augmentation des temps de chargement durant l été. La fin de la coupe du monde et de la période estivale n a pas eu d effet mélioratif sur la qualité de service, les mesures du mois de septembre montrent en effet que les performances d affichage des sites mesurées se stabilisent. Comme pour les 11 éditions précédentes, ces temps de chargement des pages des sites participants à l Observatoire restent élevés et il existe toujours de fortes disparités entre les internautes les mieux servis et les moins bien servis, de l ordre d une trentaine de secondes en France. En effet, le temps de chargement médian des pages des sites mesurés stagne à 6,9s, la valeur la plus élevée jamais mesurée depuis le début de l étude. Le temps de chargement des utilisateurs les mieux desservis garde également la même valeur de 2,1s tandis que les utilisateurs les moins bien desservis chargent les pages en 37,4s. Des évolutions similaires sont observées dans les DROM-COM avec une légère amélioration des performances pour les utilisateurs les moins rapides qui continuent néanmoins d enregistrer des temps de chargement presque 20 fois supérieurs à celui des utilisateurs les mieux desservis. L observatoire met également en avant le rôle important que les Fournisseurs d Accès à Internet (FAI) ont à jouer pour l amélioration de la qualité service. En effet, en France, d un FAI à l autre, le temps de chargement médian des pages des sites participant à l Observatoire peut varier de presque 4 secondes. Les mesures montrent par ailleurs que le temps de chargement des pages de ces sites, bien qu hébergés en France, est meilleur depuis 15 autres pays d Europe. Sont également abordées dans ce rapport les performances des infrastructures permettant d acheminer le contenu aux utilisateurs finaux. Les conclusions de cette section mettent en exergue que les performances vers ces prestataires varient toujours du simple en triple suivant les pays d observation. 4
Méthodologie Cedexis et Représentativité du Panel Cedexis Radar a été créé afin de permettre de connaître, à tout moment, le ressenti utilisateur et, en toute transparence, les temps de chargement des sites web et mobile, ainsi que la performance et la disponibilité des principales infrastructures d hébergement et de diffusion, du Cloud aux réseaux de distribution (CDN) en passant par les data-centres. Le présent rapport a été construit sur la base des données de 15 éditeurs de contenus ayant accepté d y participer. Ensemble, ces 15 éditeurs de contenu ont généré, par le biais de leur audience, plus de 5,7 milliards de mesures actives sur une période d un mois, et ce mois après mois. Pour bien mettre en évidence l ensemble de cette base de mesures, Cedexis n a pas souhaité présenter des résultats moyennés, et s est au contraire attaché à faire ressortir la distribution statistique des mesures. Ainsi seront toujours présentés le 10 ème centile, la médiane et le 95 ème centile. En statistique, les centiles d'une variable sont les valeurs-seuils de cette variable qui, lorsque l'on ordonne la population selon les valeurs de la variable, la partitionnent en 100 sous-populations de taille égale. A titre d exemple, si le temps de chargement des pages au 10 ème centile est de 2 secondes, 10% des utilisateurs auront affiché ces pages en moins de 2 secondes, alors que 90% des utilisateurs auront affiché ces mêmes pages en plus de 2 secondes. 5
Le fonctionnement du tag Cedexis Par l intégration du tag Radar, Cedexis utilise le navigateur pour mesurer les temps de chargement des pages et pour télécharger un ensemble d objets de référence afin de comparer, du point de vue de l utilisateur final, les performances des CDN et des plateformes Cloud publiques et privées. Radar effectue ses mesures de façon asynchrone et est intégré de manière invisible dans les pages des sites du panel du GESTE. Ce script remonte pour chaque page web affichée le temps de chargement des pages visitées tel quel perçu par l internaute. La consolidation et l'analyse de l'ensemble de ces mesures permettent le classement des meilleurs prestataires en fonction du comportement des internautes, pays par pays, FAI par FAI. Ci-dessous, le tag Cedexis tel que déployé par les membres du GESTE ayant accepté de figurer dans le panel de ce rapport de performance. <script type="text/javascript"> (function(w, d) { var a = function() { var b = d.createelement('script'); b.type = 'text/javascript'; if (undefined!== b.setattribute) { b.setattribute('async', 'async'); } b.src = '//' + ((w.location.protocol === 'https:')? 's3.amazonaws.com/cdx- radar/' : 'radar.cedexis.com/') + '01- xxxxx- radar10.min.js'; d.body.appendchild(b); }; if (w.addeventlistener) { w.addeventlistener('load', a, false); } else if (w.attachevent) { w.attachevent('onload', a); } }(window, document)); </script> Afin de mesurer les performances des CDN et des Clouds, Radar effectue des mesures actives 2 secondes après le chargement complet de la page (event onload()), ceci afin d être complètement invisible pour l internaute et ne pas perturber sa navigation. Radar télécharge un premier objet (de 50 octets) situé sur les plateformes de Cloud et de CDN pour mesurer le temps de connexion, puis un second objet identique une fois la connexion TCP ouverte, qui permet de mesurer le temps de réponse HTTP. Pour tester la disponibilité, Radar mesure le succès ou non du téléchargement de ce premier objet. Radar télécharge ensuite un autre objet plus volumineux (100 ko) pour mesurer le débit sur les CDN. La méthodologie complète de Cedexis Radar peut être consultée à l adresse suivante : cedexis.com/fr/radar/methodology.html. 6
Figure 1: les différentes étapes des mesures de performances réalisées par le tag Cedexis Radar 7
Confidentialité des données Les données présentes dans ce rapport sont des valeurs agrégées des différents membres du GESTE et ne sont donc aucunement identifiables à un membre en particulier. L ensemble des mesures de performances réalisées par Cedexis est absolument anonyme. Cedexis ne relève que le fournisseur d accès internet de l utilisateur et sa localisation géographique. En aucun cas des données personnelles (adresse IP du client par exemple) ne sont stockées dans le cadre de ces mesures. Mesure du temps de chargement des pages Cedexis Radar collecte le temps de chargement complet (jusqu à l event onload()) des pages web sur lesquelles le tag est déployé. Cedexis permet d afficher en détails ces temps de chargement, en les décomposant par type d événements: Load Event, DNS Lookup, HTTP Connect, HTTP Redirect, HTTP Send, HTTP Receive, HTTP DOM et HTTP Total Page Load. Les données affichées dans ce document sont les temps de chargement des pages totaux, une fois tous les éléments chargés, y compris les modules externes et autres publicités. Le graphique ci-dessous présente les différents éléments de l API de Navigation Timing qui sont mesurés par Radar. 8
Temps de chargement des pages en France métropolitaine Période des mesures : 1 au 30 septembre 2014 Périmètre : Le périmètre des mesures est restreint à un groupe d éditeurs de contenus et aux seuls réseaux d accès français, et aux cinq fournisseurs d accès internet ayant remonté le plus de données. Différence de performances entre internautes Le temps de chargement médian des pages des sites membres de l Observatoire Geste en France est de 6,9 secondes, mesuré sur les principaux fournisseurs d accès internet français 1. 35,3 secondes séparent les utilisateurs les mieux servis des moins bien servis. Différence des performances entre internautes français, tous FAI confondus Temps de chargement total des pages (en secondes) 45,0 40,0 35,0 30,0 25,0 20,0 15,0 10,0 5,0 0,0 35,8 35,3 40,6 36,7 37,2 37,4 34,0 34,7 35,3 35,6 33,9 34,3 6,9 6,3 6,5 6,4 6,4 6,4 6,4 6,5 6,3 6,8 6,9 6,9 2,0 2,2 2,0 2,2 2,3 2,0 2,0 2,0 2,0 2,1 2,1 2,1 oct-13 nov-13 déc-13 jan-14 fév-14 mar-14 avr-14 mai-14 jui-14 jui-14 aoû-14 sep-14 10% les plus rapides 5% les plus lents Médiane mensuelle 1 Les cinq principaux fournisseurs d accès internet retenus dans cette section étant Orange, Free, SFR, Bouygues Telecom et Numéricable. Ce sont ceux qui remontent le plus de données des utilisateurs en France métropolitaine. 9
Comparaison entre réseaux métropolitains Nom du réseau (ASN) Temps de chargement (secondes) 10% les mieux servis Médiane 5% les moins bien servis Différence 95 e 10 e Bouygues Telecom (ASN5410) 2,5 7,5 35,5 33,0 Free (ASN 12322) 2,3 6,9 45,0 42,7 Numericable (ASN 21502) 1,7 5,3 28,1 26,3 Orange (ASN 3215) 2,4 7,4 33,2 30,8 SFR (AS15557) 2,6 8,2 38,0 35,5 SFR (ASN 8228) 3,0 9,0 39,5 36,5 Temps de chargement des pages (valeur médiane, en secondes) Numericable (ASN 21502) Free (ASN 12322) TEMPS DE CHARGEMENT DES PAGES (SECONDES) 10,0 9,0 8,0 7,0 6,0 5,0 4,0 Bouygues Telecom (ASN 5410) Orange (ASN 3215) SFR (ASN 15557) SFR (ASN 8228) 10
Temps de chargement des pages (10% les mieux servis, en secondes) TEMPS DE CHARGEMENT DES PAGES (SECONDES) 3,5 3,0 2,5 2,0 1,5 1,0 Numericable (ASN 21502) Free (ASN 12322) Bouygues Telecom (ASN 5410) Orange (ASN 3215) SFR (ASN 15557) SFR (ASN 8228) Temps de chargement des pages (5% les moins bien servis, en secondes) TEMPS DE CHARGEMENT DES PAGES (SECONDES) 55,0 50,0 45,0 40,0 35,0 30,0 25,0 Numericable (ASN 21502) Free (ASN 12322) Bouygues Telecom (ASN 5410) Orange (ASN 3215) SFR (ASN 15557) SFR (ASN 8228) 11
Temps de chargement des pages en DROM/COM Période des mesures : 1 au 30 septembre 2014 Périmètre : Le périmètre des mesures est restreint à un groupe d éditeurs de contenus et aux seuls réseaux d accès français outre-marins. Différence de performances entre internautes Le temps de chargement médian des pages des sites membres de l Observatoire Geste en DROM/COM est de 13,5 secondes, tous fournisseurs d accès internet confondus. 89,1 secondes séparent les utilisateurs les mieux servis des moins bien servis. 140,0 Différence des performances entre internautes français, tous FAI confondus Temps de chargement total des pages (en secondes) 120,0 100,0 80,0 60,0 40,0 20,0 0,0 116,8 105,3 93,7 94,1 86,5 88,5 89,2 82,1 79,5 67,5 65,8 64,6 12,2 12,7 12,9 12,3 12,2 12,3 12,7 13,0 13,1 13,8 13,6 13,5 4,6 5,0 4,5 4,7 4,8 4,5 4,5 4,7 4,7 4,9 4,9 4,9 10% les mieux servis 5% les moins bien servis Médiane 12
Comparaison entre DROM/COM DROM/COM Temps de chargement (secondes) 10% les mieux servis Médiane 5% les moins bien servis Différence 95 e 10 e Guadeloupe 4,8 13,6 91,5 86,7 Guyane française 5,3 13,4 51,4 46,1 La Réunion 5,4 13,1 51,9 46,5 Martinique 4,5 12,1 53,9 49,4 Mayotte 5,2 12,3 44,9 39,6 Nouvelle Calédonie 5,4 16,4 198,0 192,6 Polynésie française 5,9 17,7 219,6 213,7 Saint Pierre et Miquelon 3,1 9,4 41,5 38,4 Temps de chargement des pages (valeur médiane en secondes) Saint Pierre et Miquelon Guadeloupe Martinique TEMPS DE CHARGEMENT DES PAGES (SECONDES) 20,0 18,0 16,0 14,0 12,0 10,0 8,0 6,0 La Réunion Mayotte Guyane française Polynésie Française Nouvelle Calédonie 13
Temps de chargement des pages (10% les mieux servis, en secondes) TEMPS DE CHARGEMENT DES PAGES (SECONDES) 7,0 6,0 5,0 4,0 3,0 2,0 Saint Pierre et Miquelon Guadeloupe Martinique La Réunion Mayotte Polynésie Française Guyane française Nouvelle Calédonie oct-13 nov-13 déc-13 jan-14 fév-14 mar-14 avr-14 mai-14 jui-14 jui-14 aoû-14 sep-14 Temps de chargement des pages (5% les moins bien servis, en secondes) TEMPS DE CHARGEMENT DES PAGES (SECONDES) 300,0 250,0 200,0 150,0 100,0 50,0 0,0 Saint Pierre et Miquelon Mayotte Martinique La Réunion Guyane française Guadeloupe Polynésie Française Nouvelle Calédonie oct-13 nov-13 déc-13 jan-14 fév-14 mar-14 avr-14 mai-14 jui-14 jui-14 aoû-14 sep-14 14
Temps de chargement des pages depuis des réseaux européens ou de pays francophones Période des mesures : 1 au 30 septembre 2014 Périmètre : Le périmètre des mesures est restreint à un groupe d éditeurs de contenus membres de l Observatoire Geste et aux seuls réseaux d accès des pays limitrophes au territoire français métropolitain / des pays francophones sélectionnés. Les valeurs de cette section comprennent les mesures provenant de l intégralité des fournisseurs d accès internet de chaque pays. Temps de chargement des pages en Europe (valeurs médianes) Suisse Pays-Bas Belgique Norvège Luxembourg Grande-Bretagne Danemark Finlande Suède Irlande Allemagne Estonie Autriche Slovaquie Lettonie France Ukraine République Tchèque Polande Roumanie Bulgarie Russie Portugal Croatie Italie Espagne Grèce Maroc Tunisie Algérie 4,84 5,16 5,27 5,50 5,67 6,02 6,03 6,15 6,16 6,29 6,33 6,39 6,67 6,69 6,78 6,88 6,96 7,00 7,17 7,32 7,62 7,93 8,07 8,29 8,33 8,40 9,34 12,06 12,76 14,82 0,00 2,00 4,00 6,00 8,00 10,00 12,00 14,00 16,00 Temps de chargement total des pages (en secondes) 15
La représentation graphique ci-dessous est plus parlante pour visualiser les variations de performance d affichage à travers les pays sélectionnés : Temps de chargement total < 5,5 secondes 5,5 6 secondes 6 6,5 secondes 6,5 7 secondes 7 8 secondes 8 10 secondes >10 secondes Légende colorée 16
Temps de chargement des pages en Europe (10e centile) Pays-Bas Norvège Suède Grande-Bretagne Danemark Suisse Finlande Luxembourg Belgique Estonie Irlande Autriche Slovaquie Allemagne République Tchèque Ukraine France Lettonie Italie Polande Bulgarie Croatie Espagne Roumanie Russie Portugal Grèce Maroc Tunisie Algérie 1,57 1,64 1,67 1,71 1,73 1,74 1,78 1,78 1,78 1,79 1,79 1,80 1,84 1,87 1,90 1,97 2,08 2,14 2,21 2,33 2,34 2,36 2,44 2,44 2,49 2,65 2,83 3,86 3,90 4,24 0,00 0,50 1,00 1,50 2,00 2,50 3,00 3,50 4,00 4,50 Temps de chargement total des pages (en secondes) 17
Temps de chargement total < 2 secondes 2,0 2,25 secondes 2,25 2,5 secondes 2,5 2,75 secondes 2,75 3,0 secondes 3,0 3,5 secondes > 3,5 secondes Légende colorée 18
Panel des navigateurs web supportant la mesure de la performance web Cette section vise à mettre en exergue la proportion des navigateurs internet pour chacun des principaux fournisseurs d accès internet français. Ces navigateurs sont ceux qui supportent l API «Navigation Timing» et qui permettent à Cedexis de récupérer les informations de temps de chargement des pages. Ces navigateurs sont les suivants : Mozilla Firefox dès la version 7.0 Google Chrome dès la version 6.0 Internet Explorer dès la version 9.0 Apple Safari dès la version 8.0 (encore en béta) Autres (Opéra dès la version 15.0, navigateurs mobiles utilisés depuis des connexions fixes, par exemple une tablette reliée par WiFi à une box). Le 25 juillet 2014, Apple annonce que Safari 8 supporte désormais le standard «Navigation Timing». Safari était jusque-là le seul navigateur web récent à ne pas être compatible avec ce standard. Les données du mois d août incluent donc les temps de chargement depuis les navigateurs Safari. Période des mesures : 1 au 30 septembre 2014 Niveau d'utilisation de chaque navigateur remontant des informations de temps de chargement des pages, en France Google Chrome Mozilla Firefox Internet Explorer Apple Safari Others Numericable (ASN 21502) 45,9% 22,1% 6,7% 5,0% 20,3% Bouygues Telecom (ASN 5410) 48,8% 19,5% 6,1% 5,8% 19,8% SFR (ASN 8228) 47,2% 20,3% 6,7% 5,4% 20,5% SFR (ASN 15557) 45,4% 21,3% 7,3% 5,7% 20,3% Free (ASN 12322) 46,0% 25,1% 5,6% 6,2% 17,2% Orange (ASN 3215) 41,5% 23,4% 7,4% 3,6% 24,2% 0,0% 20,0% 40,0% 60,0% 80,0% 100,0% 19
Performance des réseaux de diffusion de contenus (CDN) Période des mesures : 1 au 30 septembre 2014 Périmètre : Le périmètre des mesures est restreint à un groupe d éditeurs de contenus sur une sélection de pays. Note : La mesure représente les temps de réponse, disponibilité et débit de téléchargement de plusieurs objets référents téléchargés sur les serveurs Edge d un CDN lors d une navigation sur l un des sites membres du panel. Panel de CDN : Un panel de 20 CDN internationaux a été comparé dans chacun des pays de l étude. Les CDN n ayant qu une présence nationale dans un des pays de l étude ont été retirés, ceci afin de comparer de manière objective l ensemble des pays sélectionnés. Les performances des CDN suivants sont ainsi mesurées : Akamai Azure CDN CacheFly CDN.NET CDN77 CDNetworks CDNify CloudFlare Cloudfront Edgecast Fastly Fastweb Highwinds Level3 Limelight MaxCDN OnApp Pacnet SwiftServe Tata Communications 20
Temps de réponse médian (en millisecondes) d'un panel de 20 CDN dans les 30 ays de l'étude Le]onie Maroc Autriche Suède Danemark Slovaquie Ukraine France CroaYe Norvège Roumanie Finlande Italie Allemagne Espagne Estonie Grèce Belgique Tunisie Portugal Pays- Bas Polande Bulgarie Russie République Tchèque Irlande Grande- Bretagne Algérie Luxembourg Suisse 42 44 44 46 46 47 52 54 54 55 57 58 59 59 2544 62 63 64 67 67 69 70 72 84 84 93 106 124 133 145 0 20 40 60 80 100 120 140 160 Débit (kbps) 21
Débit médian (en kbps) d'un panel de 20 CDN dans les 30 pays de l'étude Pays- Bas Luxembourg Belgique Suède Danemark Suisse Grande- Bretagne Allemagne République Tchèque Norvège Le]onie Finlande Autriche Ukraine Roumanie Irlande Bulgarie Slovaquie France Estonie Portugal Polande Russie Espagne CroaYe Italie Grèce Maroc Tunisie Algérie 4793 4439 4270 4077 3981 3935 3917 3642 3600 2544 3591 3556 3504 3497 3436 3370 3241 2806 2623 2524 2119 1827 1433 1053 863 6083 5588 5414 5399 5382 0 1000 2000 3000 4000 5000 6000 7000 Débit (kbps) 22
Disponibilité (en %) d'un panel de 20 CDN dans les 30 pays de l'étude Danemark Polande Norvège Belgique Portugal République Tchèque Estonie Finlande Slovaquie Suède Espagne Grèce Bulgarie Le]onie Irlande France Roumanie Allemagne Suisse CroaYe Italie Pays- Bas Autriche Grande- Bretagne Luxembourg Ukraine Russie Algérie Maroc Tunisie 98,05% 98,26% 99,66% 99,60% 99,58% 99,56% 99,55% 99,53% 99,49% 99,47% 99,47% 99,46% 99,45% 99,39% 99,38% 99,36% 99,34% 99,33% 99,33% 99,31% 99,28% 99,26% 99,21% 99,19% 99,17% 99,14% 98,99% 98,90% 98,84% 98,67% 97,00% 97,50% 98,00% 98,50% 99,00% 99,50% 100,00% Disponibilité (%) 23