Veille technologique sur l observatoire de l internet Simon Charneau 24 Janvier 2012
Plan Introduction Sonder la périphérie d Internet Les sondes logicielles Les sondes matérielles Les infrastructures pour la métrologie PlanetLab Measurement-Lab EmuLab Les projets dédiés à la métrologie - 2
Introduction Observatoire de l internet Collecter & stocker des données pour la recherche : Au sein des réseaux des *FAI, des *NREN Au plus près du cœur d Internet En périphérie d Internet La métrologie des réseaux va nous y aider Déploiement de sonde sur le réseau : Active : émet Passive : écoute Logicielle Matérielle Une 1 ère étape : l étude de la périphérie d Internet *NREN : National Research And Education Network *FAI : Fournisseur d Accès à Internet - 3
Sonder la périphérie d internet 1 test donne une idée X tests amènent une réflexion Deux types de sonde : Logicielle Homenet Profiler (LIP6) HostView (LIP6) Dimes (OneLab) Grenouille (Grenouille) Matérielle Atlas (RIPE) Bismark (Georgia Tech) Samknows (Samknows) Util 1 Serveur Speed-test M-Lab 1 1 DNS www.google.com * * * Util 2 Une vue à instant t Une vue à plusieurs instant t - 4
Les sondes logicielles - 5
Les sondes logicielles : Homenet Profiler Laboratoire LIP6 CNRS & UPMC Sorbonne Universités «Notre objectif à long terme est d'améliorer l'expérience utilisateur des internautes connectés dans un réseau domestique» *CCM : Collecte des données de configuration de la machine et du réseau (wifi ou câblé) Evalue la sécurité et les performances Internet avec Netalyzr (International Computer Science Institute (ICSI) à Berkeley) Exécution : applet java Test unique (enregistre un identifiant sur la machine en vue d une réutilisation du test) Lien web disponible pointant vers l historique complet des rapports-tests effectués *CCM : Comment Ca Marche - 6
Les sondes logicielles : HostView Laboratoire LIP6 CNRS & UPMC Sorbonne Universités «HostView est un outil de collecte de données dont le but est de comprendre la corrélation entre les performances d'un ordinateur et le ressenti utilisateur.» CCM : Collecte des données de type : configuration réseau, catégorie de réseau (travail, aéroport, café, etc ) échanges DNS content-type from HTTP packet responses (whether the http content is audio, video, image or text) packet headers with anonymyzed local IPs surveille les applications ouvertes consommant de la bande passante *MOS via des questionnaires durant la journée et via un bouton de ressenti de performance Exécution : installation sous Linux & Mac Os X (X11) Test en continu sur une période d un mois minimum (souhaité) Consomme 100 kb/s pour l envoi d infos vers un serveur LIP6 *MOS : Mean Opinion Score - 7
Les sondes logicielles : DIMES Onelab Consortium entre l INRIA & UPMC «Etudier la structure et la topologie d Internet» CCM : Le client DIMES reçoit un script d un serveur contenant des @IP à joindre. Le client effectue ensuite des traceroute (UDP) et ping vers ces @IP en continue. Exécution : Toutes plateformes (JAVA) excepté Windows 7 (en cours) Répartition des clients actuels : principalement en Europe et USA *INRIA : Institut National de Recherche en Informatique et en Automatique - 8
Les sondes logicielles : Grenouille «Fournir aux utilisateurs une météo du net de leurs accès Internet par FAI. Possible en évaluant la bande passante offerte à l utilisateur par le FAI aux différents instants de la journée» CCM : Download : télécharge un fichier en FTP depuis un serveur Grenouille Envoie de données pour une estimation de l upload & ping pour la connectivité Système d invalidation si la BP pour le test n est pas suffisante pour évaluer correctement le débit (ex : transfert FTP en parallèle occupant la BP ) Exécution : Linux, Mac Os X, Windows En cours : Réécriture complète du client vers une nouvelle architecture de type noyau/module en ocaml. Le nouveau client couvrira beaucoup plus de mesure (dns, http, perf FAI ). Les modules pourront être des sources binaires externes (autres langages ) - 9
Les sondes matérielles - 10
Les sondes matérielles : Atlas RIPE Network Coordination Center Sonde : boitier alimenté en USB et relié en RJ45 au routeur du FAI + de 1024 probes actives Effectue des mesures actives : Configuration réseau de la sonde Infos uptime.. RTT et traceroute jusqu à 2 sauts max après la sonde RTT configurable vers d autres sondes/sites/serveurs RIPE gère les sondes, les expériences et stock les données (No OpenData/Open Source) Prochaine étape pour ATLAS : UMD (User Defined Measurement) L utilisateur peut réaliser un nombre X définis de mesures Il obtient un résumé des résultats mais ne peut obtenir le.raw de la mesure - 11
Les sondes matérielles : bismark Georgia Tech and the University of Napoli Federico II La sonde : un routeur (Netgear WNDR3700v2) Firmware OpenWRT (distribution linux minimaliste pour matériel embarqué) avec un portail de gestion et de monitoring (métrologie passive par BISMARK) Test en C inclus dans le firmware 2 configurations réseaux possibles : la sonde remplace la box du FAI la box du FAI fait office seulement de gateway et la sonde devient le routeur/modem Objectifs : Informer les utilisateurs en effectuant des tests de performances (tester son FAI) et en analysant leurs utilisation du réseau pour en améliorer les performances et la sécurité Dvlpt en cours : portail web pour visualiser les résultats des tests Campagne : 100 sondes déployées par Bismark. Et possibilité de créer sa propre sonde (achat du routeur et flashage du firmware OpenSource) - 12
Source : vidéo de présentation à l @ : http://projectbismark.net/ /proc/net/dev : sur une machine Linux, le trafic sur la (les) carte(s) réseau est constamment mesuré et est additionné dans /proc/net/dev Outil D-ITG (Universita' degli Studi di Napoli ''Federico II'' (Italy)) : Distributed Internet Traffic Generator - 13
Les sondes matérielles : SamKnows Même démarche que Bismark pour la conception de la sonde Un routeur TP-Link Firmware OpenWRT Test en C++ Configuration réseau : En Europe, le routeur SamKnows est vu comme un pont entre les machines utilisateurs et la box du FAI. Il surveille le trafic câblé ou wifi pour vérifier que l utilisation personnelle ne soit pas trop élevée et fausse les résultats. Objectifs : fournir une vue complète des performances fournit par le FAI à son client (tests très intrusif) => (application : neutralité du NET) Affichage des résultats via un portail web Campagne de déploiement en cours au niveau de l Europe (10000 sondes). - 14
Source : technical paper à l @ : http://www.samknows.com/broadband/methodology - 15
La sonde vue par l INRIA? Une sonde active? => Samknows, Bismark, Atlas ou Grenouille Une sonde passive? Entre la box et le DSLAM(ADSL) ou NRO(Fibre) Sniffer l ADSL/2/2+ => NIVA ADSL de chez wavetel? Et la fibre? différentes techniques P2P(Point to Point) - fibre GPON - fibre AE(Active Ethernet) - fibre LA(Last Amplifier) fibre + coaxial 1. P2P : IEEE.802.3ae -> ETHERNET -> 100 Mb/s à 1 Gb/s en Download/Upload http://lafibre.info/ftth-la-fibre-optique-gpon-ou-p2p/comprendre-les-differences-entre-la-fibre-gpon-p2p-active-ethernet-fttla/ - 16
La sonde vue par l INRIA? 2. GPON : ITU-T G.984.x -> GPON Encapsulation Method (Ethernet/ATM) -> 2,4 Gb/s Download - 1,2 Gb/s Upload pour 32/64 utilisateurs max - 17
La sonde vue par l INRIA? 3. AE : identique au GPON avec au point de mutualisation, un switch ethernet actif (pas de limite d utilisateurs) et plus d ONT mais alimentation électrique nécessaire - 18
La sonde vue par l INRIA? 4. LA : remplace les réseaux câblés pour ne garder que les derniers mètres en coax (DOCSIS) - 19
Les infrastructures pour la métrologie Planetlab (Consortium) Réseau de serveurs distribués dans le monde entier dédié à la recherche 1103 noeuds dans 537 sites. CCM : Allocation de N nœuds Planetlab pour une expérience conduit à la création d une machine virtuelle sur chaque N nœuds du réseau. ONELAB (Consortium INRIA/CNRS) - Antenne PlanetLab Europe : 300 noeuds Exemples d expériences : Codeen : utilisation des nœuds planetlab comme proxy web (tjrs en cours et ouverte au public) Radar : utilisait les nœuds planetlab pour lancer des traceroute en continue et étudier les modifications actives du routage autour de ces nœuds (finis) M-Lab (Measurement Lab) : est une plateforme ouverte, de serveurs distribués pour les chercheurs afin de déployer des outils de mesure d'internet. 45 serveurs dans 15 locations 5 outils actuellement hébergés (perf FAI, traffic shapping ) EMULAB Des réseaux dédies à la simulation pour la recherche ou l enseignement (multiples configurations ou matériels réseaux à dispositions, ex : générateur de trafic) Possibilités de relier ces réseaux à internet via PlanetLab - 20
Les infrastructure dédiées à la métrologie Internet 2 : Dvlpt d outils (OWAMP (IPPM), BWCTL ) & PerfSonar Perf toolkit GEANT : PerfSonar MDM (Multi-domain monitoring) Source : PerfSonar Performance toolkit à l @ http://psps.perfsonar.net/ - 21
Les infrastructure dédiées à la métrologie PINGER project (IEPM group at SLAC) : projet pérenne (15 ans) cherchant à atteindre d un point de multiples points et en évaluer au cours du temps l évolution des performances par rapport à des critères techniques (RTT, débit), humaine (HDI) ou économique http://www-iepm.slac.stanford.edu/pinger/pinger-metrics-motion-chart.html - 22
Les infrastructure dédiées à la métrologie RIPE : TTM (IPPM) ancêtre d ATLAS, RIS (collects and stores Internet routing data from several locations around the globe) CAIDA : Métroscope avec ++ expérience, ++ infrastructure, ++ resultat et ++ de réputation Alexa : Classement des sites les plus visités via un add-on sur le navigateur web Etomic (OneLab) : high time resolution network (OWD, paris traceroute, ntpgps ) HADES (DFN Labord) : équivalent à Etomic DNSWitness (AFNIC) : sonde DNS active et passive WebPageTest (AOL puis Google Code) : infrastructure distribuée pour évaluer les performances des sites web dans de multiples configurations Et encore RouteView, BGPmon, Predict, TeamCymru et pleins d autres Le wiki du groupe de travail gt-metro regroupent d autres informations intéressantes sur cette exposé et sur la métrologie en général - 23