Collecteur Netflow «IPFlow»

Transcription

1 Collecteur Netflow «IPFlow»

2 Plan Principes de Netflow Netflow v9 Présentation générale d IPFlow IPFlow Netflow Simulator IPFlow sur le RRTP Service Informatique - Université de Technologie de Compiègne Gt-metro Réunion du 24/05/2005 2

3 Qu est-ce qu un flux principes de Netflow (1/2) La technologie Netflow de Cisco s appuie sur la notion de flux, un flux étant défini par les critères suivants: Adresses source et destination, Protocole (TCP, UDP, ICMP, ), ToS (Type of Service), Ports applicatifs, Interfaces d entrée et de sortie du routeur. Un routeur utilisant Netflow maintient en mémoire une table des flux actifs à un instant donné, et compte le nombre de paquets et d octets reçus pour chaque flux. Cette table est appelée «cache Netflow». A chaque paquet reçu, le routeur met à jour ce cache, soit en créant une nouvelle entrée, soit en incrémentant les compteurs d une entrée déjà existante. Service Informatique - Université de Technologie de Compiègne Gt-metro Réunion du 24/05/2005 3

4 Qu est-ce qu un flux principes de Netflow (2/2) Un flux est expiré du cache par le routeur lorsque : Il a été inactif pendant un certain temps (par défaut 15 sec) Il a été actif depuis trop longtemps (par défaut 30 min) Il s agit d un flux TCP et les flags FIN ou RST ont été détectés par le routeur. Lorsqu un flux a expiré et est supprimé du cache, il peut être exporté vers une machine de collecte qui reçoit ainsi des trames Netflow suivant un protocole défini par Cisco (il en existe plusieurs versions). Pour des raisons d efficacité et d économie en bande passante, le routeur groupe plusieurs flux dans le même paquet. Service Informatique - Université de Technologie de Compiègne Gt-metro Réunion du 24/05/2005 4

5 Rappels sur Netflow v1 à v8 De nombreuses versions de Netflow existent: 1, 5, 6, 7, 8 La version 5 est la plus couramment utilisée, et permet d exporter er une grande quantité d information vers un collecteur. La version 7 sert pour les switches Catalyst et diffère peu de la version 5. La version 8 introduit les schémas d agrégation (environ une quinzaine actuellement). => Chaque version apporte son lot de changements et demande une modification des collecteurs. => Pas de support d IPv4 Multicast,, IPv6, MPLS, Service Informatique - Université de Technologie de Compiègne Gt-metro Réunion du 24/05/2005 5

6 Netflow v9 : Principes Netflow v9 règle les problèmes des versions précédentes en introduisant la notion de template. Une template définit la liste des champs qui seront utilisés dans les records Netflow associés. La template donne donc la structure binaire d un record Netflow. Les templates sont identifiées au moyen d un identifiant sur 16 bits fixé par le routeur. Les «Option Templates» sont des templates particulières fournissant des informations spécifiques (par ex. process Netflow) Service Informatique - Université de Technologie de Compiègne Gt-metro Réunion du 24/05/2005 6

7 Netflow v9 : Format des trames (1/2) Une trame v9 est composée d une entête de taille fixe, et de «Template FlowSets» et/ou «Data FlowSets». Un Template Flowset contient une succession de Template Records (chaque record définit une template). Un Data Flowset contient une succession de Data Records attachés à une template particulière. Pour pouvoir décoder un Data Record, il est nécessaire d avoir préalablement reçu la template associée. Service Informatique - Université de Technologie de Compiègne Gt-metro Réunion du 24/05/2005 7

8 Netflow v9 : Format des trames (2/2) Une trame v9 se présente donc sous cette forme: Packet header Template FlowSet Template FlowSet Data FlowSet Template FlowSet Data FlowSet Le routeur peut placer les Template FlowSets et Data FlowSets de manière complètement libre dans le paquet. Chaque FlowSet contient un Template ID (0 si c est un Template FlowSet) ) et sa longueur pour pouvoir délimiter les FlowSets. Service Informatique - Université de Technologie de Compiègne Gt-metro Réunion du 24/05/2005 8

9 Netflow v9: Format des templates Organisation d un Template FlowSet : FlowSet Header Template Record 1 Template Record 2 Template Record N FlowSet ID = 0 FlowSet Length FlowSet Header Template ID Field Count Field 1 Type Field 1 Length Template Record Field N Type Field N Length [ ] Service Informatique - Université de Technologie de Compiègne Gt-metro Réunion du 24/05/2005 9

10 Netflow v9: Champs Chaque type de champ est identifié par un entier 16-bits. La liste exhaustive des champs est donnée sur le site de Cisco et dans le draft Netflow-v9 (auteur B.Claise). Il existe déjà une liste de champs suffisamment complète reprenant nt ce qui existait avec les versions précédentes de Netflow (plus quelques nouveautés): IPV4_SRC_ADDR, IPV4_DST_ADDR, PROT, TCP_FLAGS, Au niveau IPv6, les champs suivants ont été définis: IPV6_SRC_ADDR, IPV6_DST_ADDR, FLOW_LABEL, IPV6_SRC_MASK, IPV6_DST_MASK, IPV6_OPTIONS_HEADERS, IPV6_NEXTHOP, IPV6_BGP_NEXTHOP, Actuellement, les implémentations «officielles» Netflow-v9 d IOS supportent IPv4 Unicast,, IPv4 Multicast et MPLS. Netflow-IPv6 est dispo en 12.3(8)T. Service Informatique - Université de Technologie de Compiègne Gt-metro Réunion du 24/05/

11 Netflow v9: Avantages et Inconvénients Avantages: Les templates permettent de définir des data records de manière complètement libre, Possibilité de définir de nouveaux schémas d agrégation plus facilement, La définition de nouveaux champs est simple (peu de modifications à réaliser sur les collecteurs), V9 permet une gestion simultanée de IPv4 et IPv6. V9 supporte MPLS. Inconvénients: Le format des trames plus complexe induit une plus grande charge pour les routeurs et les collecteurs, Les collecteurs doivent mémoriser les templates et pouvoir analyser rapidement les data records en fonction des champs qu ils contiennent. Service Informatique - Université de Technologie de Compiègne Gt-metro Réunion du 24/05/

12 Collecteur IPFlow (1/2) Collecteur Netflow développé à l UTC,, et utilisé entre autres pour la gestion du Réseau Régional de Télécommunications de Picardie. Conçu essentiellement pour aider à la résolution de problèmes comme la congestion de liens, l analyse de trafic «parasite», A l origine, développé pour des besoins internes, mais disponible gratuitement pour les personnes intéressées. Site WEB: ipflow.utc.fr Service Informatique - Université de Technologie de Compiègne Gt-metro Réunion du 24/05/

13 Collecteur IPFlow (2/2) Fonctionne sur plusieurs architectures: x86, Alpha, Sparc, portage possible sur PowerPC. Versions disponibles pour les OS suivants: Linux (x86, Alpha) Solaris (Sparc, x86) FreeBSD, OpenBSD (x86). Tru64 Unix (Alpha) Développement réalisé sur plateforme Linux/x86 (Debian( Debian) Service Informatique - Université de Technologie de Compiègne Gt-metro Réunion du 24/05/

14 IPFlow: : Fonctionnalités (1/2) Le but d IPFlow est de fournir le maximum de possibilités de traitement dès la collecte: Gestion de «sites» (liste de préfixes IPv4/IPv6) Matrices de trafic de sites ACL pour identification précise du trafic Agrégation (suivant n importe quels critères) Détection de scans de ports (temps réel) + trackers Sortie dans fichiers textes ou binaires Remplissage de bases RRDTool «à la volée» «Colorisation» de flux à l écran pour analyse temps réel Gestion des versions 1, 5, 6, 7, 8 et 9 de Netflow Service Informatique - Université de Technologie de Compiègne Gt-metro Réunion du 24/05/

15 IPFlow: : Fonctionnalités (2/2) Système de «dispatching», permettant de ré-émettre les datagrammes Netflow vers d autres collecteurs (IPv4/IPv6) Fichier de configuration à la BIND 9 (avec support des «includes») Rotation des fichiers de logs Après collecte, il est possible d exploiter les fichiers binaires avec ces utilitaires: «Grep» : Recherche multi-critères (adresses, ports, etc.) «Top» : agrégation et Top-N «Sdraw» : Remplissage de bases RRDTool suivant les critères spécifiés Service Informatique - Université de Technologie de Compiègne Gt-metro Réunion du 24/05/

16 Netflow-IPv6 IPFlow supporte complètement IPv6 depuis Juin 2002: Permet de recevoir des trames Netflow émises en IPv6 Support de Netflow v9 et des champs IPv6 associés Traitements (collecte et exploitation) gèrent IPv6 (par ex. agrégation, access-lists ou détection de scans) IPFlow a servi de collecteur de test lors du développement de Netflow-IPv6 dans IOS et pour la version EFT. Netflow-IPv6 est disponible officiellement dans IOS depuis la 12.3(8)T. Pas encore disponible pour 6500/7600. Service Informatique - Université de Technologie de Compiègne Gt-metro Réunion du 24/05/

17 MPLS-Aware Netflow Fonctionnalité IOS permettant de récupérer les labels MPLS (jusqu à 10 labels) + info sur provenance du 1er label (LDP, BGP, AToM,, ) Disponibilité: 12.0(24)S pour 12000, 12.0(26)S pour 7200/ (8)T Champs Netflow-v9 gérés par IPFlow: Labels (maximum de 10) Provenance du 1er label (type et adresse) Service Informatique - Université de Technologie de Compiègne Gt-metro Réunion du 24/05/

18 Export SCTP SCTP ( (Stream Control Transmission Protocol) RFC modes de transmission: Reliable, Unreliable, Partially Reliable (PR-SCTP) Orienté messages Streams multiples Multi-Homing Version IOS EFT chez Cisco pour l export en SCTP, et testée avec IPFlow. Service Informatique - Université de Technologie de Compiègne Gt-metro Réunion du 24/05/

19 Netflow Simulator - NFSIM IPFlow est capable depuis Décembre 2003 d exporter du Netflow à partir d une machine Unix, de manière similaire à un routeur Cisco. Cette fonction est appelée «Netflow Simulator» (NFSIM). Principe: Il suffit de «mirrorer» le trafic du port d un switch vers un autre port, connecté à un serveur Unix faisant tourner le «netflow simulator» (utilisation de la librairie PCAP). Le «netflow simulator» maintient des caches Netflow en mémoire et exporte les flux vers les machines indiquées dans la configuration. Cette fonctionnalité est utile lorsque l on ne souhaite pas activer Netflow sur un routeur pour des raisons de performance ou autre. Service Informatique - Université de Technologie de Compiègne Gt-metro Réunion du 24/05/

20 NFSIM: Layer 2 Type de media supporté: Ethernet (à travers la bibliothèque «libpcap»). Gestion des encapsulations de niveau 2: Raw Ethernet ; 802.1Q (support du tunneling QinQ) ; Cisco ISL (Inter-Switch Link) ; MPLS (y compris avec une pile de labels). Service Informatique - Université de Technologie de Compiègne Gt-metro Réunion du 24/05/

21 NFSIM: Caches Netflow 3 caches Netflow principaux: IPv4, IPv6, Ethernet (accounting L2, avec gestion des VLANs). Caches d agrégation (à la Netflow-v8) librement définissables. Table de routage virtuelle permettant des agrégations par préfixes IPv4 ou IPv6. Caches complètement paramétrables (champs, active et inactive timeout ) Service Informatique - Université de Technologie de Compiègne Gt-metro Réunion du 24/05/

22 NFSIM: Export Le «netflow simulator» supporte les versions 1, 5 et 9 pour l export. Export en IPv4 et IPv6 Destinataires multiples (pas de limitation en nombre) Versions différentes de Netflow utilisables simultanément Templates Netflow v9 librement définissables Les caches d agrégations sont exportés en Netflow-v9 seulement. Le support de l export en Netflow-v8 est techniquement possible mais non demandé pour l instant. Service Informatique - Université de Technologie de Compiègne Gt-metro Réunion du 24/05/

23 NFSIM: Export avancé NFSIM permet d exporter des flux de manière conditionnelle (gestion de sites, ACL, ) Sur un gros lien de collecte partagé, cela permet par ex. d exporter du Netflow vers les collecteurs de différentes entités, en n exportant que les flux propres à chaque entité. Enregistrement direct dans des fichiers binaires IPFlow ou en texte brut. Service Informatique - Université de Technologie de Compiègne Gt-metro Réunion du 24/05/

24 NFSIM: Roadmap SNMP: mise en place de MIB + génération de traps Export en SCTP ( (Stream Control Transmission Protocol) Export en Netflow-v8 Service Informatique - Université de Technologie de Compiègne Gt-metro Réunion du 24/05/

25 IPFlow sur le RRTP (1/3) RRTP: Réseau Régional de Télécommunications de Picardie. 5 Nœuds de concentration équipés en Cisco: Amiens et Compiègne: 7606 dual Sup720-3bxl vxr NPE-G1 St-Quentin: 7507 avec dual RSP16 Soissons: 7507 avec dual RSP4 Beauvais: 7206 NPE-150 Netflow utilisé pour: Analyse sur liens congestionnés, trafic parasite, A la demande de sites ou en cas de pb sur le backbone Service Informatique - Université de Technologie de Compiègne Gt-metro Réunion du 24/05/

26 IPFlow sur le RRTP (2/3) Les 7600 exportent de 2 manières: Flux traités en hardware: Netflow v7 Flux traités en software: Netflow v9 Pas de Netflow-IPv6 sur cette plateforme actuellement. Les autres routeurs (7200/7500) sont configurés pour exporter en Netflow v9. Service Informatique - Université de Technologie de Compiègne Gt-metro Réunion du 24/05/

27 IPFlow sur le RRTP (3/3) Tous les flux circulant sur le réseau sont loggués Deux fichiers par jour pour le backbone (IPv4 et IPv6) Environ 4.5 Go de données par jour L accès Renater est connecté directement sur le 7600 de Compiègne -> > pas de Netflow-IPv6 possible sur l interface Renater. Port mirroring de l interface sur le 7600 vers une machine de collecte Linux tournant NFSIM. Service Informatique - Université de Technologie de Compiègne Gt-metro Réunion du 24/05/

28 Questions?