Gestion de réseaux IP basée sur les technologies Web

Transcription

1 Gestion de réseaux IP basée sur les technologies Web IMAG, Grenoble, France 11 février 1999 Jean-Philippe Martin-Flatin Institut pour les Communications

2 Plan Plateformes de gestion de réseaux pré-web Problèmes Gestion de réseaux IP basée sur les technologies Web Modèle pull Modèle push Recherche actuelle et future Q&R J.P. Martin-Flatin Gestion de réseaux IP basée sur les technologies Web 2

3 Plateformes de gestion de réseaux pré-web Télécoms : IP : ITU-T Rec. X.700 : 5 domaines de gestion de systèmes (FCAPS) 3 fonctions principales (obligatoires) : monitoring du réseau collecte de données traitement des notifications autres fonctions (optionnelles) : inventaire, configuration, contrôle d accès, facturation... 3 cadres (frameworks) de gestion SNMP : SNMPv1, SNMPv2c et SNMPv3 Exemples de PGR : HP OpenView, Cabletron Spectrum, IBM Netview, Sun Solstice... J.P. Martin-Flatin Gestion de réseaux IP basée sur les technologies Web 3

4 PGR : 3 fonctions principales Monitoring (court terme) : détecter les fautes survenant dans les équipements et liens réseaux : réactif par rapport aux fautes préventif par rapport aux plaintes des utilisateurs ou s Collecte de données (long terme) : rassembler des données statistiques pour constituer les rapports d utilisation quotidiens, hebdomadaires et mensuels : préventif par rapport aux pannes à long terme Traitement des notifications (très court terme) : réactif par rapport aux fautes réagir à des évènements générés par les agents (notifications SNMP) réagir à des évènements générés par le gestionnaire (corrélateur d évènements) J.P. Martin-Flatin Gestion de réseaux IP basée sur les technologies Web 4

5 Gestion régulière Monitoring et collecte de données Mode continu, sans interruption Automatisation = 2 modes : avec présence humaine : opérateurs devant des interfaces graphiques 24h/24 (syndrome de l icône rouge) sans présence humaine : déclenchement automatique d alarmes (pager, bip, courrier électronique, téléphone, sirène...) Types de réseaux: grands ou moyens J.P. Martin-Flatin Gestion de réseaux IP basée sur les technologies Web 5

6 Gestion ad hoc Réparation ou configuration Mode manuel Présence humaine nécessaire : administrateur ou opérateur Types de réseaux: grands, moyens ou petits Petits réseaux : la gestion ad hoc remplace la gestion régulière pas de gestion préventive J.P. Martin-Flatin Gestion de réseaux IP basée sur les technologies Web 6

7 PGR pré-web: cadre de gestion SNMP Paradigme gestionnaire/agent Polling pour le monitoring et la collecte de données Push non sollicité pour l envoi des notifications Protocole de communication SNMP MIB génériques (par ex. MIB-II) MIB propriétaires (par ex. Cisco) SMIv2 (dérivé de ASN.1) Encodage BER... J.P. Martin-Flatin Gestion de réseaux IP basée sur les technologies Web 7

8 PGR pré-web : Évolution du marché Il était une fois les systèmes ouverts... : équipements réseaux génériques gestion générique Segmentation du marché [JPMF SSC/1998/021] MIB génériques --> MIB propriétaires Interfaces graphiques de gestion génériques --> propriétaires (add-ons, par ex. CiscoWorks) Pour les s, le caractère ouvert de la gestion dans le monde IP n est plus garanti que par : le cadre de gestion SNMP le protocole de communication SNMP J.P. Martin-Flatin Gestion de réseaux IP basée sur les technologies Web 8

9 Modèle simple de PGR pré-web NMP-specific management software add-on add-on MIB add-on Data repository SNMP SNMP trap SNMP request SNMP reply SNMP notification SNMP SNMP trap pull push NMS device J.P. Martin-Flatin Gestion de réseaux IP basée sur les technologies Web 9

10 Clients : Problèmes avec les PGR pré-web (1/2) les PGR coûtent trop cher (matériel et logiciel) : matériel dédié à la gestion de réseaux le support de BD relationnelles tierce-parties est trop limité le dépend d accords bilatéraux entre vendeurs de PGR et de BD rel. besoin d expertise Unix pour la maintenance des PGR existants : coût de migration vers Windows trop élevé Vendeurs de matériel : coûts de développement des add-ons propriétaires trop élevés : nombreux équipements nombreux PGR nombreux systèmes d exploitation J.P. Martin-Flatin Gestion de réseaux IP basée sur les technologies Web 10

11 Problèmes avec les PGR pré-web (2/2) Clients et vendeurs de matériel : temps de mise sur marché des add-ons trop long : plusieurs mois après la mise en vente du matériel si le vendeur a une part de marché importante jamais si le vendeur a une faible part de marché : - les startups ont besoin d un PGR séparé gestion de versions multiples d une MIB : clash entre la version supportée par l add-on du PGR et celles supportées par les différents agents ; on doit : - soit mettre à jour le PGR manuellement, agent par agent - soit ne pas utiliser les nouvelles fonctionnalités de la MIB tant que tous les agents n ont pas été mis à jour J.P. Martin-Flatin Gestion de réseaux IP basée sur les technologies Web 11

12 Problèmes d ingénierie avec la gestion de réseaux pré-web (1/4) Efficacité du protocole : inefficacité de l encodage BER [Mitra 1994] [Neufeld and Vuong 1992] : amélioré par l encodage PER dans le modèle OSI SMIv1 et SMIv2 : BER obligatoire pour tous les cadres de gestion SNMP inefficacité de SNMP : pas de moyen efficace de récupérer une table entière : - nombreux échanges de messages - effet négatif sur la latence et le network overhead dans une varbind list, la description des OID prend beaucoup plus de place que les valeurs de ces OID J.P. Martin-Flatin Gestion de réseaux IP basée sur les technologies Web 12

13 Problèmes d ingénierie avec la gestion de réseaux pré-web (2/4) Sécurité : pas d opération get ou set sécurisée dans SNMPv1 et SNMPv2c SNMPv3 : récent n a pas encore fait ses preuves en industrie gestion à distance d une filiale (VPN) : matériel coûteux pour coder/décoder de façon transparente aux frontières du réseau firewalls : relais UDP non triviaux à configurer et à maintenir [Chapman and Zwicky 1995] problème pour les PME J.P. Martin-Flatin Gestion de réseaux IP basée sur les technologies Web 13

14 Problèmes d ingénierie avec la gestion de réseaux pré-web (3/4) Protocole de transport : en théorie : SNMP accepte TCP comme UDP en pratique : seul UDP est utilisé pas d accusé de réception : perte de notifications SNMP importantes pour des raisons futiles, par ex. débordement d une file d attente dans un routeur IP (buffer overflow) résolu dans SNMPv3 avec inform certaines données de gestion sont plus critiques que des données utiles utilisateurs J.P. Martin-Flatin Gestion de réseaux IP basée sur les technologies Web 14

15 Problèmes d ingénierie avec la gestion de réseaux pré-web (4/4) Sémantique : modèle conceptuel de l application de gestion de réseaux limité par une sémantique de bas niveau : variables de MIB opérations get, getnext, set... J.P. Martin-Flatin Gestion de réseaux IP basée sur les technologies Web 15

16 Gestion basée sur les technologies Web: définition Réponse marketing = WBEM Réponse technique = utilisation des technologies du Web pour faciliter la gestion intégrée des réseaux, des systèmes et des services : formulaires HTML applettes, servelettes ou applications Java JDBC Java RMI sérialisation d objets Java Java IDL (CORBA)... J.P. Martin-Flatin Gestion de réseaux IP basée sur les technologies Web 16

17 Gestion basée sur les technologies Web: distribution Communication au sein d une application distribuée : En général : sockets (TCP ou UDP) Java RMI Java IDL (CORBA) --> télécoms entre applette et servelette Java : ou sockets entre applette et application Java : sockets ou Java RMI J.P. Martin-Flatin Gestion de réseaux IP basée sur les technologies Web 17

18 Que peuvent apporter les technologies Web? Hier : HTML Aujourd hui : modèle pull Demain : modèle push Après-demain: code mobile (tâches de gestion déléguées aux agents) J.P. Martin-Flatin Gestion de réseaux IP basée sur les technologies Web 18

19 Tâches secondaires: Pages HTML automatisation et standardisation de la remontée et de la saisie des problèmes réseaux (helpdesk) mise en ligne des rapports d utilisation du réseau (politique du bureau sans papier ) aide en ligne pour la réparation des réseaux (troubleshooting) : les administrateurs écrivent des pages HTML de type symptôme-action pour les opérateurs, avec des hyperliens vers les documentations en ligne des vendeurs accès simple aux scripts (Perl, Tcl/Tk) et aux programmes (ping, traceroute, netstat) de gestion de réseaux J.P. Martin-Flatin Gestion de réseaux IP basée sur les technologies Web 19

20 Interface de commandes HTML Correspondance simple entre URL et interface de commandes : par ex. sur les routeurs Cisco [Bruins 1996] : show interface ethernet0 URL générées dynamiquement depuis des formulaires HTML URL insérées comme hyperliens dans des pages HTML de type symptôme-action J.P. Martin-Flatin Gestion de réseaux IP basée sur les technologies Web 20

21 Métaphore du journal : Les modèles pull et push soit on l achète tous les jours chez le marchand de journaux (pull) soit on le reçoit tous les jours par la poste (push) Modèle pull : paradigme requête-réponse transfert de données initié par le gestionnaire ex. : polling dans les PGR pré-web (monitoring et collecte de données) Modèle push : paradigme publication/souscription transferts de données parallèles et indépendants initiés par les agents ex. : notifications SNMP dans les PGR pré-web J.P. Martin-Flatin Gestion de réseaux IP basée sur les technologies Web 21

22 Gestion ad hoc : Modèle pull interfaces graphiques propriétaires codées sous forme d applettes en plus de SNMP [Bruins 1996] au lieu de SNMP [Wellens and Auerbach 1996] interfaces graphiques génériques codées sous forme d applettes Gestion régulière : toutes les interfaces graphiques sont codées sous forme d applettes polling basé sur J.P. Martin-Flatin Gestion de réseaux IP basée sur les technologies Web 22

23 Pull ad hoc : en plus de SNMP (1/2) NMS (manager) TCP//URL TCP//applet UDP/SNMP/SNMP get UDP/SNMP/SNMP data device (agent) Web browser Applet 3,4 SNMP 3,4 SNMP 3,4 MIB 3,4 Vendor-specific GUI 2 Vendor-specific GUI (applet) Administrator or Operator 1 map GUI 1 1,2 1,2 Any machine device J.P. Martin-Flatin Gestion de réseaux IP basée sur les technologies Web 23

24 Pull ad hoc : en plus de SNMP (2/2) NMS (manager) TCP//URL TCP//applet UDP/SNMP/SNMP get UDP/SNMP/SNMP data device (agent) Web browser Applet 3,4 SNMP 3,4 SNMP proxy 3,4 SNMP 3,4 Vendor-specific GUI 2 Vendor-specific GUI (applet) 3,4 Administrator or Operator 1 map GUI 1 1,2 1,2 MIB device Any machine Proxy J.P. Martin-Flatin Gestion de réseaux IP basée sur les technologies Web 24

25 Pull ad hoc : au lieu de SNMP (1/2) NMS (manager) TCP//URL TCP//applet TCP//SNMP get TCP//SNMP data device (agent) Web browser 3,4 Vendor-specific GUI (applet) 2 Vendor-specific GUI (applet) MIB 1 3,4 1,2 3,4 Administrator or Operator map GUI 1 1,2 3,4 3,4 /SNMP gateway Any machine device J.P. Martin-Flatin Gestion de réseaux IP basée sur les technologies Web 25

26 Pull ad hoc : au lieu de SNMP (2/2) NMS (manager) TCP//URL TCP//applet TCP//SNMP get TCP//SNMP data device (agent) Web browser 3,4 Vendor-specific GUI (applet) 2 Vendor-specific GUI (applet) 1 3,4 1,2 Administrator or Operator map GUI 1 1,2 3,4 MIB Any machine 3,4 3,4 /SNMP gateway 3,4 SNMP Proxy device J.P. Martin-Flatin Gestion de réseaux IP basée sur les technologies Web 26

27 Pull ad hoc : interfaces graphiques génériques codées sous forme d applettes Web browser Firewall Vendor-specific GUI (applet) Vendor-specific GUI (applet) MIB map GUI /SNMP gateway Administrator or Operator Generic GUI (applet) device Any machine Generic GUI (applet) proxy WWW J.P. Martin-Flatin Gestion de réseaux IP basée sur les technologies Web 27

28 Gestion ad hoc : Modèle pull interfaces graphiques propriétaires codées sous forme d applettes en plus de SNMP [Bruins 1996] au lieu de SNMP [Wellens and Auerbach 1996] interfaces graphiques génériques codées sous forme d applettes Gestion régulière : toutes les interfaces graphiques sont codées sous forme d applettes polling basé sur J.P. Martin-Flatin Gestion de réseaux IP basée sur les technologies Web 28

29 Toutes les interfaces graphiques codées sous forme d applettes Administrator or Operator General purpose data repository Data Operator Vendor-specific GUIs (applets) Generic GUIs (applets) map GUI #1 Polling definition GUI Polling scheduler GUI Report definition GUI Report scheduler GUI Web browser Any machine JDBC glue DBMS proxy topology discovery map GUI #2 Polling engine Polling data interpreter Event correlator NMS Management software repository WWW Vendor-specific GUI (applet) SNMP SNMP SNMP Event handling device proxy MIB /SNMP gateway SNMP trap SNMP J.P. Martin-Flatin Gestion de réseaux IP basée sur les technologies Web 29

30 Polling basé sur Administrator or Operator servlet Data JDBC Report generator socket Vendor-specific GUIs (applets) Generic GUIs (applets) servlet map GUI (applet) Polling definition GUI (applet) Polling scheduler GUI (applet) Report definition GUI (applet) Report scheduler GUI (applet) Web browser Any machine General purpose data repository Scheduler Polling data interpreter map registry WWW JDBC JDBC JDBC Polling engine Event correlator Event handler glue Management software repository WWW Vendor-specific GUI (applet) device socket proxy MIB SNMP trap Firewall /SNMP gateway SNMP Event handling Event handler glue NMS J.P. Martin-Flatin Gestion de réseaux IP basée sur les technologies Web 30

31 Le modèle push Gestion régulière 3 phases : publication souscription distribution J.P. Martin-Flatin Gestion de réseaux IP basée sur les technologies Web 31

32 Phases publication et souscription map GUI (applet) Web browser Firewall map GUI (applet) proxy Administrator or Operator MIB data subscription GUI (applet) Notification subscription GUI (applet) JDBC Push scheduler servlet WWW Push definitions and schedules repository Any machine Push definition servlet General purpose data repository Data JDBC MIB data subscription GUI (applet) device Notification subscription GUI (applet) J.P. Martin-Flatin Gestion de réseaux IP basée sur les technologies Web 32

33 Phase distribution pour le monitoring et la collecte de données General purpose data repository Data Administrator servlet JDBC Event handler JDBC data collection Administrator or Operator Pager Telephone map registry Event correlator Pushed data filter WWW Siren network monitoring Web browser map GUI (applet) Any machine Pushed data interpreter Pushed data collector How? Firewall Push definitions and schedules repository Push scheduler MIB data dispatcher device MIB J.P. Martin-Flatin Gestion de réseaux IP basée sur les technologies Web 33

34 Phase distribution pour les notifications Web browser Firewall General purpose data repository Data JDBC Administrator or Operator map GUI (applet) Any machine servlet map registry Health monitor JDBC Event correlator Notification generator Event handler Notification filter WWW Notification collector How? Notification dispatcher device Pager Telephone Siren Administrator J.P. Martin-Flatin Gestion de réseaux IP basée sur les technologies Web 34

35 Problèmes Positions du et du serveur inversées : transfert des données de gestion initié par l agent côté de la connexion persistante toujours du côté du gestionnaire (sécurité) on a besoin d initier une communication de type -serveur depuis le serveur : problème! Firewalls :, sockets ou RMI? Timeout d une connexion persistante J.P. Martin-Flatin Gestion de réseaux IP basée sur les technologies Web 35

36 Socket Firewall servlet Collector socket dispatcher Avantages : association bidirectionnelle simple à implémenter Inconvénients : WWW device instable si timeout de la connexion TCP persistante < période de push robustesse : l envoi des notifications par l agent dépend de la disponibilité d une connexion TCP persistante créée par une autre entité (le gestionnaire) le firewall nécessite une configuration spéciale (UDP ou TCP) J.P. Martin-Flatin Gestion de réseaux IP basée sur les technologies Web 36

37 Java RMI (1/2) Firewall Health monitor servlet Java appl. Notification generator Notification collector RMI RMI Notification dispatcher socket WWW device Distribution via Java RMI pour les notifications Firewall MIB Push definitions and schedules repository servlet Java appl. Pushed data collector RMI RMI MIB data dispatcher Push scheduler WWW device Distribution via Java RMI pour le monitoring et la collecte de données J.P. Martin-Flatin Gestion de réseaux IP basée sur les technologies Web 37

38 Avantages : Java RMI (2/2) association bidirectionnelle (car RMI utilise des sockets) conception élégante (gestion entièrement orientée objets) Inconvénients : nécessite une JVM complète dans les agents (irréaliste pour de nombreux équipements) l exécution de code Java est lente, ce qui pose un problème d échelle (scalability) firewalls : comment contrôler les ports utilisés par les s RMI (ils sont supposés être transparents pour l application)? J.P. Martin-Flatin Gestion de réseaux IP basée sur les technologies Web 38

39 (1/1) Firewall servlet Collector Dispatcher servlet Message MIME (Multipurpose Internet Mail Extensions) comportant un nombre infini de parties [Netscape 1995] Avantages : simple à implémenter firewalls : aucun ou peu de changements (si déjà accès Web) Inconvénients : WWW device il faut pouvoir contrôler le timeout du serveur (Apache = OK) il faut envoyer des keepalives pour détecter des pannes réseau J.P. Martin-Flatin Gestion de réseaux IP basée sur les technologies Web 39

40 (2/2) Firewall servlet Collector Dispatcher Avantages : modèle conceptuel simple : le comme le serveur sont du bon côté robustesse : l agent peut se reconnecter aussitôt en cas de timeout, sans avoir à compter sur le gestionnaire firewalls : aucun ou peu de changements (si déjà accès Web) Inconvénients : WWW device connexion créée par une entité externe (usurpation d identité...) J.P. Martin-Flatin Gestion de réseaux IP basée sur les technologies Web 40

41 Push : vue d ensemble Administrator or Operator servlet Notification collector Notification filter Administrator map GUI (applet) MIB data subscription GUI (applet) Notification subscription GUI (applet) General purpose data repository Web browser Any machine Data JDBC JDBC JDBC servlet map registry JDBC Pager Telephone Event handler Siren Firewall Event correlator Push scheduler servlet Notification dispatcher MIB data dispatcher servlet map GUI (applet) WWW device JDBC WWW Push definitions and schedules repository Push definition servlet MIB data subscription GUI (applet) Notification subscription GUI (applet) Pushed data collector Pushed data interpreter Pushed data filter J.P. Martin-Flatin Gestion de réseaux IP basée sur les technologies Web 41

42 Clients : Problèmes résolus (1/5) les PGR coûtent trop cher (matériel et logiciel) : plus besoin de matériel dédié à la gestion de réseaux logiciel moins cher (applettes et servelettes Java, plus quelques scripts) meilleure utilisation des investissements précédents (pas besoin de racheter une BD relationnelle ou de payer le portage pour un PGR donné) le support de BD relationnelles tierce-parties est trop limité avec JDBC, plus besoin de compter sur des accords bilatéraux entre vendeurs de PGR et de BD relationnelles besoin d expertise Unix pour la maintenance des PGR existants : migration aisée d une plateforme (PC, Unix, Mac) à une autre : Java et butineur Web indépendants de la plateforme J.P. Martin-Flatin Gestion de réseaux IP basée sur les technologies Web 42

43 Vendeurs de matériel : Problèmes résolus (2/5) coûts de développement des add-ons trop élevés : une seule applette Clients et vendeurs de matériel : temps de mise sur marché des add-ons trop long : réduit à zéro compétition loyale entre tous les vendeurs, quelle que soit leur part de marché gestion de versions multiples d une MIB : les MIB et les applettes sont mises à jour simultanément, agent après agent on peut utiliser les nouvelles fonctionnalités d une MIB aussitôt J.P. Martin-Flatin Gestion de réseaux IP basée sur les technologies Web 43

44 Efficacité du protocole : Problèmes résolus (3/5) inefficacité de l encodage BER : plus utilisé inefficacité de SNMP : le protocole de communication SNMP est remplacé par réduction de l impact des données sur la BP du réseau (network overhead) : les données de gestion peuvent être compressées de façon transparente (SNMPv3 le permet aussi, mais pas SNMPv1 ni SNMPv2c) overhead des entêtes de messages plus faible : - nombreuses données par message (une seule varbind list avec SNMPv1, SNMPv2c et SNMPv3) J.P. Martin-Flatin Gestion de réseaux IP basée sur les technologies Web 44

45 Sécurité : Problèmes résolus (4/5) gestion d une filiale à distance (VPN) : sécurité de faible niveau de sécurité mieux que community string de SNMPv1 et SNMPv2c firewalls : plus simple que SNMP (plus de relais UDP) Protocole de transport : utilise TCP protocole de transport fiable toujours pas de garantie d arrivée à destination J.P. Martin-Flatin Gestion de réseaux IP basée sur les technologies Web 45

46 Sémantique : XML : Problèmes résolus (5/5) bien plus d opérations possibles qu avec SNMP des structures de données plus complexes sont possibles Java RMI : niveau d abstraction plus élevé entièrement orienté objets --> API de haut niveau J.P. Martin-Flatin Gestion de réseaux IP basée sur les technologies Web 46

47 Bonus Des gestionnaires redondants sont simples à supporter avec le modèle push : multicast IP redondance transparente pour l agent plusieurs souscripteurs redondance explicite une étape vers la tolérance de pannes J.P. Martin-Flatin Gestion de réseaux IP basée sur les technologies Web 47

48 Vendeurs de PGR : Nouveaux problèmes perte de revenus (notamment marché des PME) nouvelles niches de marché : tolérance de pannes grands réseaux où les effets d échelle sont critiques réseaux temps réel où le temps de réaction et la BP sont primordiaux Clients et vendeurs de matériel : problèmes connus : synchronisation des horloges besoin de contrôler le timeout d une connexion persistante problème à investiguer : la vitesse d exécution du code Java est lente (même avec JIT) : - quel impact sur la latence et la scalability? J.P. Martin-Flatin Gestion de réseaux IP basée sur les technologies Web 48

49 Recherche actuelle Implémenter les modèles pull et push décrits auparavant Démontrer la faisabilité et le potentiel de la gestion de réseaux basée sur les technologies Web On utilise pour ça : On étudie : AdventNet s SNMP package Apache et Jigsaw Sun s JMAPI Sun s Java DMK (M-beans) Sun s EmbeddedJava J.P. Martin-Flatin Gestion de réseaux IP basée sur les technologies Web 49

50 Recherche future Comparer les performances relatives des modèles pull et push Étudier les problèmes d échelle et de performance Prototype : routeurs IP de Lightning J.P. Martin-Flatin Gestion de réseaux IP basée sur les technologies Web 50

51 Pour en savoir plus J.P. Martin-Flatin. The Push Model in Web-Based Management. Rapport technique SSC/1998/023, version 3, SSC, EPFL, Lausanne, Suisse, novembre Soumis à ACM Computer Communication Review, décembre J.P. Martin-Flatin. Push vs. Pull in Web-Based Management. Rapport technique SSC/1998/022, version 3, SSC, EPFL, Lausanne, Suisse, novembre À paraître dans Proc. 6th IFIP/IEEE International Symposium on Integrated Management (IM 99), Boston, MA, USA, mai J.P. Martin-Flatin. IP Management Platforms Before the Web. Rapport technique SSC/1998/021, version 2, SSC, EPFL, Lausanne, Suisse, décembre Ces transparents sont disponibles depuis: J.P. Martin-Flatin Gestion de réseaux IP basée sur les technologies Web 51