Métrologie et performances réseau

Transcription

1 Groupe de travail Métrologie Métrologie et performances réseau Analyse des flux 1

2 Contributions Lionel David, RAP Création : 09/05/07 Version 5 : 12/09/07 2 2

3 Agenda Problématique Outils et méthodes La standardisation IPFIX Quelques collecteurs TP 3 3

4 Agenda Problématique Outils et méthodes La standardisation IPFIX Quelques collecteurs 4 4

5 Problématique Analyser le trafic dans un réseau : Pour connaître et comprendre la vie du réseau : Qui, quoi, quand et comment le trafic circule dans un réseau Et résoudre les problématiques comme : Connaître les usages et applications du réseau Mesurer l efficacité du réseau et des ressources Détecter les incidents, les anomalies et les vulnérabilités Intervenir dans l urgence en cas de problème Anticiper l évolution du réseau, appréhender l'impact de changements Planifier l introduction de nouvelles applications Améliorer les performances pour les utilisateurs Monitorer les classes de service afin de garantir une qualité de service (SLA) 5 Connaître les usages et applications du réseau et mesurer l efficacité du réseau permet par exemple l optimisation de l'utilisation des ressources, l application d une politique de Qualité de Service (QoS) ou l amélioration de la sécurité réseau en détectant les attaques de type Déni de Service (DOS). On peut analyser l impact sur le réseau en identifiant la charge réseau de nouvelles applications telle que la VoIP. L analyse du trafic permet de diagnostiquer des problèmes de sécurité (DoS, Worms) et d agir en conséquence.. Monitorer les classes de service permet de confirmer le bon dimensionnement des paramètres des classes de service. 5

6 Analyse du trafic Analyse du trafic = Analyse des flux Qu est-ce qu un flux : «Un flux est défini comme étant un ensemble de paquets IP passant par un point d observation du réseau pendant un certain intervalle de temps. Tous les paquets appartenant à un flux en particulier ont un ensemble de propriétés en commun. Chaque propriété est définie par l une des conditions suivantes : Un ou plusieurs champ de l en-tête du paquet, de transport ou de l application en commun Une ou plusieurs caractéristiques du paquet en commun Le traitement du paquet en commun Un paquet appartient à un flux s il comporte toutes les propriétés définies pour ce flux.» 6 6

7 Agenda Problématique Outils et méthodes La standardisation IPFIX Quelques collecteurs 7 7

8 Outils d analyse Plusieurs outils (liste non exhaustive), pouvant être complémentaires, permettent d approfondir l analyse du réseau : En phase de standardisation (travaux de l IETF en cours) : WG IPFIX WG PSAMP Technologies d analyse : SFlow NetFlow Sondes dédiées Collecteurs : NTOP Stager NfSen Flowtools

9 IETF Working Group IPFIX Internet Protocol Information export, groupe IETF créé en 2001 Lien IETF : Objectifs : Définir la notion standard de flux IP Définir un standard commun d export fiable et sécurisé, via le réseau, de l information sur les flux IP par un équipement de type routeur, sonde, switch vers un collecteur (système) pour analyse du trafic. Définir un protocole flexible et extensible basé sur NetFlow v9 RFCs : Requirements for IP Flow Information Export (RFC 3917) Evaluation of Candidate Protocols for IP Flow Information Export (IPFIX) (RFC 3955) 8 drafts en cours 9 9

10 IETF Working Group PSAMP Packet SAMpling, groupe IETF créé en 2002 Lien IETF : Objectifs : Spécifier des méthodes d échantillonnage des paquets parmi les flux IP Spécifier les informations à collecter parmi les flux IP Décrire les protocoles par lesquels l'information est rapportée aux applications (collecteur ) Décrire les protocoles par lesquels la sélection des paquets et le report est configuré PSAMP préconise l usage du protocole IPFIX pour l export d information RFCs : 4 draft en cours 10 10

11 SFlow SFlow d InMon (Internet Monitoring) : Technologie d analyse et de surveillance du trafic sur les commutateurs haut-débits Le sflow est une norme utilisée par plusieurs fournisseurs, spécifiquement conçue pour fournir un contrôle continu de grands réseaux et dans les environnements commutés haut-débit. SFlow effectue un échantillonnage tous les X paquets RFCs : RFC InMon Corporation's sflow: A Method for Monitoring Traffic in Switched and Routed Networks 11 11

12 NetFlow NetFlow de Cisco Systems ( Netflow est un protocole propriétaire Cisco, qui s'appuie sur la notion de flux pour effectuer ses mesures et permettre la surveillance et l analyse du trafic Les versions 1, 5, 7, 8 sont propriétaires La version 5 est la plus répandue La version 9 devient standardisée : RFC 3954 (informational) : Cisco Systems NetFlow Services Export Version 9 Son format est extensible et flexible NetFlow v9 est utilisé comme base au standard IPFIX 12 Netflow vs sflow : - A partir de la version 9, Netflow fournit les mêmes informations que Sflow - Netflow est traité en soft alors que Sflow est traité en hardware - Sflow est basé sur l échantillonnage du trafic tandis que NetFlow (qui peut aussi échantillonner «Sampled Netflow») garde en cache tous les flux transitant (pour les interfaces sur lesquelles il est activé) : - Sflow échantillonne tous les X paquets, la majorité des paquets ne sont pas analysés, il est donc impossible d avoir une représentation de 100% du trafic - Netflow garde en cache chaque flux (possible si le routeur en a la capacité en soft), la représentation du trafic est donc plus précise - Sflow permet une recherche plus rapide en cas d incident. 12

13 NetFlow - principes Le cache : Dans un routeur, NetFlow maintient en mémoire une table des flux actifs à un instant t, appelée «Cache NetFlow» et compte le nombre de paquets et d octets reçus pour chaque flux A chaque paquet reçu, le routeur met à jour ce cache, soit en créant une nouvelle entrée, soit en incrémentatn les compteurs d une entrée déjà existante. Expiration d un flux : Un flux est expiré du cache par le routeur lorsque : Il a été inactif pendant un certains temps (par défaut 15sec.) Il est actif depuis trop longtemps (par défaut 30mn) Il s agit d un flux TCP et les flags FIN ou RST ont étét détectés par le routeur Lorsqu un flux a expiré : Il est supprimé du «Cache NetFlow» Il peut être exporté vers une machine de collecte au moyen de trames NetFlow Collecte Reception par le collecteur : Le collecteur reçoit des trames NetFlow suivant un protocole défini par Cisco Par mesure d économie de la bande passante, une trame NetFlow regroupe plusieurs flux 13 13

14 Table des flux actifs Adresse src Adresse dst flgs 0 0 (Protocol, ToS, DST port ) Time Left (sec) Active Time (mn) 5 Nb paquets 46 Nb Octets 3512 Incrémentation Expiration Suppresion FIN Nouvelle entrée CACHE COLLECTEUR Alimentation du cache Export (trames NetFlow) /24 Trafic sortant Trafic entrant /24 14 En permanence des flux sont créés, sont identifiés, génèrent une entrée dans le cache, expirent et sont exportés du cache vers un collecteur. Un flux est prêt pour l'export quand il est inactif pendant un certain temps (aucun nouveau paquet reçu pour le flux) ou s il est actif pendant une durée supérieure à la valeur d un timer particulier (exemple : long téléchargement ftp). Deux timers sont donc définis : le timer d inactivité dont la valeur par défaut est de 15 secondes et le timer d activité dont la valeur par défaut est de 30 minutes. Ces deux timers sont configurables. 14

15 NetFlow - versions Version 1 : l initiale La version 5 est la plus utilisée, elle permet déjà d exporter un grand nombre d information vers un collecteur La version 7 est disponible dans les swithcs catalyst et est très proche de la version5 La version 8 réduit la consommation des ressources du routeur et de la bande passante en incluant les schémas d agrégation. La version 9 devient flexible et extensible : Permet de définir le format des trames Netflow et les informations sur le trafic en fonction des besoins Supporte IPv6, multicast, MPLS 15 15

16 NetFlow La version 5 Version utilisée dans le TP à suivre Protocole de transport des trames NetFlow v5 : UDP Le format d export d un flux est fixe et est constitué des informations suivantes : Usage Nb de paquets Nb d octets Adresse IP source Adresse IP destination De/Vers Date Date début du flux Date fin du flux Port UDP/TCP source Port UDP/TCP destination Application Utilisation des ports QoS Interface d entrée Interface de sortie Type de service Drapeau TCP Protocole Adresse du prochain saut Numéro d AS source Numéro d AS destination Masque du préfixe de la source Masque du préfixe de la destination Routage 16 16

17 NetFlow La version 9 Le format d export devient flexible et extensible : Nouvelles technologies supportées : MPLS, IPv6, BGP next hop, multicast De nouveaux types d informations disponibles pour un gain de précision On n exporte que ce qui nécessaire : On n utilise plus de la bande passante inutilement comme cela peut être le cas avec NetFlowv5 et ses formats d export fixes. Utilisation des «templates» : Un «template» donne la structure des données sur les flux envoyés au collecteur Permet le choix du type d'information contenu dans un paquet NetFlow Collecteurs multiples Support théorique des protocoles de transport UDP, TCP et SCTP, MAIS seul UDP est utilisé. L ajout de nouvelles technologies est plus rapide : Pas besoin d une nouvelle version de NetFlow Gestion simultanée d IPv4 et IPv6 Cette version est la base de la normalisation d IPFIX et fait l objet d un RFC «informational» SCTP (Stream Control Transmission Protocol) : Les différences principales avec TCP sont le multihoming et le concept de flux (Stream) à l intérieur d une même connexion (ou plus précisément nommé association dans la terminologie SCTP). Alors que dans TCP un flux fait référence à une séquence d octets, un flux SCTP fait référence à une séquence de messages (courts ou longs). De plus, des fonctionnalités qui sont optionnelles dans TCP ont été incluses dans la spécification de base de SCTP, telles que le «Selective Acknowledgement», permettant d annoncer la réception de datagrammes erronés ou dupliqués ou encore le support de «Explicit Congestion Notification» (ECN). Les attaques simples de type «SYN attac» qui affectent TCP ne sont plus possibles avec SCTP. Ce nouveau protocole inclut aussi des mécanismes protégeant les applications contre le» head of line blocking» (HOL), par l utilisation de flux. 17

18 Agenda Problématique Outils et méthodes La standardisation IPFIX Quelques collecteurs 18 18

19 IPFIX IP Flow Inforamtion export est la standardisation IETF de Netflow avec pour base la version 9. Il se base sur les mêmes fonctionnalités flexible et extensible : L analyse du trafic se base sur la notion de flux et l utilisation de «templates» Maintient en cache d une table des flux actifs Compte le nombre de paquets et d octets reçus pour chaque flux Mise à jour du cache régulièrement (création ou incrémentation d un flux) Exportation d un flux lorsqu il a expiré vers un collecteur Analyse par le collecteur Plusieurs caches, plusieurs collecteurs configurables Se base sur PSAMP pour les méthodes d échantillonnage Et en comble ses lacunes : Supporte les protocoles de transport UDP, TCP, SCTP MAIS c est ce dernier qui est préconisé dans l usage d IPFIX dans sa version «Partially Reliable» (PR-SCTP)) Transport de l information fiable et sécurisé : Prise en compte de la congestion Anonymisation des flux 19 Comme Netflowv9, IPFIX permet de définir un environnement capable de tirer parti simultanément de multiples applications IPFIX. Par exemple, il est possible de créer des exports d enregistrements de flux IPFIX séparés et simultanés pour de l analyse de performance et pour de l analyse de sécurité. Il est aussi possible de créer simultanément un environnement d analyse temps réel et un environnement d analyse de tendances en manipulant les paramètres des différents caches IPFIX. Aussi, il permet de customiser et d adapter la collecte d informations à un besoin spécifique. En ciblant ainsi les informations spécifiques, le volume de données à prendre en compte est réduit et la quantité d informations exportée plus faible. Si par exemple l'utilisateur est intéressé par l'analyse d'une application TCP, il configure dans les champs IPFIX les informations : source, destination, port source, port destination. Seuls ces quatre champs seront pris en compte et l information permettra d identifier l émetteur et le receveur pour le trafic applicatif. Dans les versions antérieures à NetFlowv9 sur lequel IPFIX est basé, cette information est aussi disponible, mais les champs sont fixes et non configurables par l utilisateur : sept champs sont alors traités systématiquement ce qui conduit à générer un plus grand nombre de flux, un plus gros volume d export et une moins bonne capacité d agrégation au niveau de l équipement. Authentification (Authentication) : vérification de l'identité de l utilisateur Autorisation (Authorization) : droits d 'accès Comptabilité (Accounting) : informations récoltées pendant toute la durée de la session, après identification de l'utilisateur. 19

20 IPFIX Etat de la standardisation (08/07) RFCs : Requirements for IP Flow Information Export (RFC 3917) Evaluation of Candidate Protocols for IP Flow Information Export (IPFIX) (RFC 3955) Drafts : Architecture for IP Flow Information Export : RFC editor s queue Information Model for IP Flow Information Export Specification of the IPFIX Protocol for the Exchange : IESG processing IPFIX Applicability : RFC editor s queue IPFIX Implementation Guidelines : IESG processing Reducing Redundancy in IP Flow Information Export (IPFIX) and Packet Sampling (PSAMP) Reports : RFC editor s queue Bidirectional Flow Export using IPFIX : RFC editor s queue IP Flow Information export (IPFIX) Testing : Active Definitions of Managed Objects for IP Flow Information Export : Active 20 Active: draft-ietf-ipfix-mib > Active draft-ietf-ipfix-testing > Active IESG Processing: draft-ietf-ipfix-implementation-guidelines > Waiting for Writeup::Revised ID Needed draft-ietf-ipfix-protocol > In last Call RFC-Editor's Queue: draft-ietf-ipfix-architecture > RFC Ed Queue draft-ietf-ipfix-as > RFC Ed Queue draft-ietf-ipfix-biflow > RFC Ed Queue draft-ietf-ipfix-info > RFC Ed Queue draft-ietf-ipfix-reducing-redundancy > RFC Ed Queue Published: draft-ietf-ipfix-reqs > RFC

21 Terminologie Flow Key : Clé qui définit un flux : Champ(s) de l en-tête d un paquet (IP_DST ) et/ou propriété(s) d un paquet (taille du paquet ), et/ou info(s) dérivée(s) du traitement du paquet (AS number ) Flow Record / Enregistrement de flux L enregistrement d un flux contient les informations sur un flux spécifique qui a été comptabilisé à un point d observation. Observation point : Point d observation (P.O) Point du réseau où les paquets peuvent être observés ex: le port d un routeur, une carte d interface 21 Chaque paquet qui traverse un routeur ou un commutateur est examiné. Un certain nombre d attributs IP sont identifiés et constituent les champs ou clés. Les paquets ayant les mêmes clés appartiennent au même flux. Traditionnellement, un flux IP est basé sur un ensemble de sept attributs du paquet IP. Cet ensemble de clés est détecté et si l'ensemble de valeurs pour ces champs sont uniques, un nouveau Flow Record est créé dans le cache. Tous les paquets avec les mêmes adresses IP source/destination, ports de source/destination, protocole, interface d entrée et classe de service (TOS byte) sont groupés dans un Flow Record auquel on associe également le nombre de paquets et d octets. Cette méthodologie de caractérisation des flux permet de condenser une grande quantité réseau (matrice de flux) dans le cache. L'ensemble des valeurs clé sont utilisées pour déterminer si un flux est unique. IPFIX permet de choisir quels sont les champs clés utilisés pour caractériser les flux et aussi de choisir quels sont les champs non clés qu il souhaite ajouter dans le Flow Record. 21

22 Terminologie Metering process : Processus de mesure (P.M) Ce processus enregistre les flux à un point d observation Exporting Process : Processus d export (P.E) Ce processus envoie les enregistrement de flux (dans un message IPFIX) à un ou plusieurs processus de collecte. Collecting Process : Processus de collecte (P.C) Ce processus reçoit les enregistrements de flux de la part de un ou plusieurs processus d export. Observation Domain : Domaine d observation (D.O) Ensemble de points d observation pour lequel l information sur un flux peut être agrégé par le processus de mesure ex : une carte d interface 22 Metering Process : Après échantillonnage, il observe l en-tête des paquets ainsi que leur traitement. Si un Flow Key est repéré pour un paquet, son en-tête sera classifié en cache dans le flux correspondant. 22

23 Terminologie Exporter : Équipement hébergeant au moins un processus d export IPFIX Device : Équipement hébergeant au moins un processus d export, un point d observation et un processus de mesure. IPFIX Message : Message IPFIX contenant des enregistrement sur les flux envoyé par un processus d export à destination d un processus de collecte Template : Modèle qui permet de spécifier la structure et la sémantique d un ensemble d information contenu dans un message IPFIX. Permet d ajouter de nouveaux champ dans les flux sans changer la structure du format d export des flux Permet de n exporter que les champs désirés d un flux

24 Terminologie Message Header : En-tête du message IPFIX qui fournie des informations basiques comme version IPFIX, longueur du message, numéro de séquence du message Template Record : Enregistrement d un modèle. Il permet de définir la structure et l interprétation des champs dans un «Data Record» Data Record : Enregistrement de données. Il contient les valeurs des paramètres correspondant à un «Template Record» Options Template Record : C est un Template Record dont le champ d applicabilité concerne les processus d analyse de flux ex : statistiques sur les processus de mesure, d export du routeur 24 24

25 Terminologie Set : Ensemble d enregistrements qui ont une structure identique. Dans un message IPFIX, un ou plusieurs Set peuvent suivre l en-tête. Template Set : Ensemble de Template Record ayant été groupés dans un même message IPFIX Data Set : Ensemble de Data Record, du même type, regroupé dans un même message IPFIX. Options Template Set : Ensemble d Options Template Record ayant été groupés dans un même message IPFIX 25 Set : Trois différents types de Set : Template Set, Options Template Set, Data Set. Data Set : Chaque Data Record est au préalable définit par un Template Record ou un Option template Record. 25

26 Exemple de Flow Key Ex. 1 : si le Flow Key est { SRC IP, DST IP, DSCP }, voici différents flux 1. { , , 4} 2. { , , 4} 3. { , , 2} 4. { , , 4} Ex. 2 : On agrège avec un masque /26 les paquets passant par un point d observation : les flux 1 et 2 deviennent un même flux : 1. { /26, /26, 4} 2. { /26, /26, 2} 3. { /26, /26, 4} Ex. 3 : On filtre en ne gardant comme composants de flux, des paquets dont on définit les valeurs du Flow Key ici, on définit comme flux tous les paquets SRC = /26, DST = /26, DSCP = 4 : 1. { /26, /26, 4} 26 26

27 Schéma général de fonctionnement Paquet entrant dans un point d observation En-tête du paquet Processus de mesure (1) Enregistrement de flux Processus d export (2) Message IPFIX Processus de collecte (3) 27 27

28 Les domaines et points d observation Le D.O est un bloc logique dans 1 Device IPFIX qui présente une identité unique pour un groupe de P.O. Chaque {P.O, P.M} appartient à un seul D.O. Plusieurs D.O possibles dans 1 Device IPFIX Chacun ayant un identifiant unique Chaque P.O dans un Device IPFIX doit être associé à au moins 1 P.M. LineCard 0 = Domaine d observation Ex : Port GigaEthernet 0/3 = Point d observation Ports GigaEthernet 0/5-6,8 = Point d observation 28 28

29 (1) Processus de mesure 1/2 Chaque paquet entrant dans un P.O est analysé par le P.M associé à son D.O 1 ou plusieurs P.M par Device IPFIX Fonctions du P.M dans la vie d un enregistrement de flux : Maintient d un cache des flux par D.O : Création de nouveaux flux, MAJ des flux déjà existant, Calcul de statistiques sur les flux, Ajout d information sur le traitement des flux (AS number ) Maintient de statistiques sur lui-même : Nb. de flux enregistrés Nb de paquets observés Détection de l expiration d un flux : Si aucun paquet appartenant à ce flux n a été observé depuis un certain temps Par manque de ressources Flags TCP FIN, RST Transfert des flux au P.E Suppression d un flux 29 29

30 (1) Processus de mesure 2/2 Fonctions du P.M dans la sélection des paquets : En-tête de paquets capturé Marquage de la date (timestamping) + + Echantillonnage (fonction de sampling Si) Filtrage (fonction de filtrage Fi) + + Classification du paquet dans un Flux 30 En fonction des besoins, des profils de capture des flux à l aide de Flow Key sont configurés sur le routeur. Puis intervient les processus suivants : -Capture de l en-tête des paquets en transite sur le routeur (pour chaque interface ou IPFIX est activé) -Echantillonnage : Le P.M échantillonne le trafic entrant à un P.O. Cette fonction détermine quels paquets dans un flot de paquets entrant sont sélectionnés pour effectuer les mesures. Ex: 1:100 = tous les 100 paquets reçus à un P.O -Filtrage : Ensuite, le P.M applique sur les paquets échantillonnés une fonction de filtrage : Cette fonction sélectionne seulement les paquets entrant qui satisfont une fonction de sélection sur les champs d en-tête du paquet (Flow Key : Interface d entrée ou de sortie, champs de l en-tête IP, Source IP, Destination IP, Type de protocole (TCP, UDP, ICMP ), champs de l en-tête de la couche transport (port), Label MPLS, DiffServ Code Point ), ou les champs obtenus après traitement du paquet, ou propriété du paquet luimême. Ex. : { Protocole = TCP, DST Port < 1024 }. -Capture de l en-tête des paquets : si un paquet correspond à un flux, il est marqué de la date (Synchronisation de la date avec l UTC) et est classé dans le flux correspondant dans le cache maintenu par le P.M. Mais il peut aussi subir un autre échantillonnage et filtrage. Concernant l échantillonnage, IPFIX se base PSAMP. Chaque cache peut être configuré pour l échantillonnage de paquets. Un sous-ensemble aléatoire de paquets du flux est prélevé et utilisé pour caractériser le trafic. L échantillonnage de paquets est efficace pour une vue approximative du trafic réseau et est plutôt employé pour les interfaces à haut débit. C est une méthode efficace pour diminuer le volume des exports et de ce fait réduire la capacité de calcul nécessaire à leur traitement. -Autres fonctionnalités : - Fiabilité : détection, adaptation et rapport d un incident (ex: surgarge) - Distingue les flux multicast : les paquets d un flux multicast peuvent être répliqués vers plusieurs interface de sortie = plusieurs flux - Prend en compte les paquets fragmentés - Ignore le port-mirroring 30

31 (2) Processus d export Le P.E reçoit les flux du P.M Le P.E exporte les enregistrements de flux dans des messages IPFIX à un ou plusieurs P.C : Encodage des flux (Éléments d Informations) dans un message IPFIX Envoi des templates au P.C définissant les flux Puis envoi des flux au P.C Possibilité de sélectionner les flux à envoyer Préconisation pour l envoi des message IPFIX : Sécurité avec DTLS (AAA) Fiabilité avec SCTP : Établissement d associations SCTP avec le P.C 31 IPFIX permet d exporter n importe quelle information. Il emploie un Template pour décrire les données qui sont exportées. Le format d un message IPFIX se compose d'une entête de paquet suivi d'un ou plusieurs Template(s) Sets et/ou de Data Sets. Un Template Set (composé de plusieurs Template Record) fournit une description des champs qui seront présents dans les Data Sets (composés de plusieurs Data Record) qui suivront. Ces Data Sets peuvent se trouver dans le même paquet d'export ou dans les paquets suivants. Les Templates et Data Sets peuvent être mélangés dans un même paquet d'export. 31

32 (3) Processus de collecte Stocke les templates donnant la structure des données (flux) envoyés Identifie, accepte et décode les messages IPFIX Écoute sur les ports 4739 et 4740 (sécurisé) toute tentative d établissement d association SCTP de la part du P.E (Les mêmes ports en UDP et TCP). Détecte et prend en compte les paquets perdus, en désordre ou dupliqués Affichage des résultats (peut être sur une station différente)

33 Schéma d ensemble des processus IPFIX Point d Observation = PO Line card 1 paquets entrant Line card 2 PO1 PO2 PO3 PO4 PO5 PO6 PO7 PO8 PO1 PO2 PO3 PO4 PO5 PO6 PO7 PO8 Domaine d Observation 1 Processus d Export Routeur (IPFIX) Domaine d Observation 2 Processus de Mesure 1 Export vers le Collecteur Processus de Mesure

34 IPFIX Format d un message Format d un message IPFIX = En-tête + Set(s) Exemples : En-tête Template Set Data Set Options Template Set Data Set En-tête Data Set Data Set Data Set En-tête Template Set Template Set Options Template Set 34 Un message IPFIX est constitué d un en-tête et de 1 ou plusieurs Sets. 3 exemples : 1- Le message comporte des Template Record, Data Record et Option Template Record incluent dans des Template Sets, Data Sets et Option Template Sets. Si le Processus d Export est en train de préparer un message IPFIX avec des Data Sets et qu un nouveau Template Record a été créé (L ajout d un Flow Key pour rechercher un trafic spécifique engendre la création d un Template Record donnant la structure des Flow Record correspondant à ce Flow Key), il place dès qu il le peut le Template Set (Idem pour un Options Template Record) correspondant dans ce message, il peut donc être positionner en plein milieu de Data Set qui ne lui sont pas liés. 2- Le message ne comporte que des Data Record incluent dans des Data Sets. Les Templates Sets sont dans un premier temps transmis au Processus de Collecte, ainsi la majorité des messages IPFIX comportent des Data Sets. 3- Le message ne comporte que des Template Sets ou des Options Template Sets. C est le genre de message que le Processus d Export envoi lors du redémarrage du routeur ou de l ajout de plusieurs nouveaux profils de recherche sur les flux. 34

35 IPFIX Format d un message Set Template Contenu Record Data Set Data Record(s) Template Set Template Record(s) Options Template Set Options Template Record(s) 35 Un Data Set est composé de Flow Record. -Un Template Set ou un Options Template Set définit un Data Set. -Un Template Set contient seulement des Template Record -Un Options Template Set contient seulement des Options Template Records. 35

36 IPFIX En-tête du message Version Number Lenght Export Time Sequence Number Observation Domain ID Dans l ordre : Version IPFIX = 0x000a = 10 Longueur = longueur totale du message IPFIX Export Time = Date UTC, en seconde, au moment de l export du message Sequence = numéro de séquence Observation Domain ID = De quel domaine d observation le message provient, est égale à 0 si aucun domaine n est définit. 36 Un message IPFIX ne concerne d un seul Domaine d Observation. Ainsi, des Data Record provenant de 2 Points d Observation appartenant à 2 Domaine d Observation sur un même routeur ne peuvent se retrouver dans un même message IPFIX. 36

37 IPFIX Format d un Set Data Set/Template Set/Options Template Set : Set ID Length Set Header record record record record record Padding (opt.) Longueur totale du Set Identificateur du Set = Template ID : -2= Template Set -3 = Options Template Set - > 255 = Data Set record = - Template Record - Options Template Record - Data Record 37 Un Set est composé d 1 en-tête et d 1 ou plusieurs enregistrement (Data/Template/Options Template Record). Les enregistrements contenus dans 1 Set sont forcément de la même nature : Un Data Set ne peut comporter que des Data Record. 37

38 IPFIX Format d un Template Record Template ID (>255) Field Count Template Record Header Field Specifier Field Specifier Field Specifier Field Specifier Field Specifier Chaque Élément d Information (E.I) est définit par un Identifiant (ex:sourceipv4address = 8) E Information Element Ident. Field Lenght Entreprise Number Élément d information standardisé par l IETF (E=0) ou définit propriétaire (implémentation constructeur) (E=1). On spécifie un champ qui sera alors représenté dans un Data Record et qui pourra être interprété par le collecteur, ex : IP_SRC Un nouveau Template Record généré est donné avec 1 identifiant unique. Ce caractère unique est local à la session de transport et au Domaine d Observation qui l a généré. 0->255 : Réservé pour l identification des Template et Options Template Sets 256->65535 : Réservé pour les Data Sets. L identifiant donné à un Template Record permet d associé le(s) Data Sets correspondant portant le même identificateur. La structure des Data Record envoyés correspondant à un Template Record est donnée à l aide des Field Specifier. Chacun d eux renseigne sur la nature de l élément d information faisant parti d un groupe d éléments d information composant un Data Record représentant un profil d analyse des flux spécifié à l aide d un Flow Key. Cette description permet donc au Processus de Collecte de traduire et traiter les Data Record reçus après avoir stockés les informations contenus dans le Template Record correspondant. Un Élément d Information peut être standard (IETF), la valeur du bit E est 0, exemples : -Adresse source IPv4 (8), longueur de champ = 40 Octets -Adresse destination IPv4 (12), longueur du champ = 40 Octets -Adresse IPv4 du Next-Hop (15), longueur du champ = 40 Octets -Nombre de paquets dans le flux (2), longueur du champ = 40 Octets Ou bien, il peut être propriétaire, car les fabricants peuvent avoir besoin de définir et exporter des caractéristiques propres au constructeur et la valeur du bit E est 1. 38

39 IPFIX Format d un Option Template Record Option Template Record Header Field Specifier Template ID (>255) Scope Field Count Field Count Field Specifier Field Specifier Field Specifier Field Specifier E Scope X Information Element Ident. Scope X Field Lenght Scope X Entreprise Number A la différence d un Template Record, ici, l Elément d Information concerne les processus d analyse du trafic (ex : paramètres échantillonnage du P.M) en fonction d un scope (LineCard, Template, ingressinterface ) 39 Il s agit de la même chose que pour un Template Record sauf qu ici, il donne la structure de Data Sets ayant pour objet des informations/statistiques sur les processus d analyse du trafic (P.M et P.E et leurs composantes), par exemple les paramètres d échantillonnage et les fonction de filtrage utilisée par le Processus de Mesure, le nombre de paquets traités, statistiques de fiabilité des processus en fonction d un certain scope (ou champ d applicabilité) qui peut être un TemplateID, ingressinterfaceid, LineCardID, ExporterIPv4AddressID, meteringprocessid, exportingprocessid, observationdomaineid 39

40 IPFIX Format d un Data Record Data Record : Data Set : Field Value Field Value Field Value Field Value Field Value Field Value = Valeur du champ représentant un Élément d Information (IP_SRC, AS number, PORT TCP ) Set ID = Template ID Record 1 Field Value 1 Record 1 Field Value 3 Record 2 Field Value 1 Record 2 Field Value 3 Lenght Record 1 Field Value 2 Record 2 Field Value 2 Padding (optional) 40 Un Data Record est une suite de champ dont la valeur est caractérisée par un Template (Options Template) Record, ce champ est donc la valeur d un Elément d Information auparavant définit que le Processus de Collecte va pouvoir traité en fonction du Template Record correspondant. Plusieurs Data Record sont contenus dans un Data Set dont l identifiant est égal à celui du Template Record donnant la structure de ces Data Record, utile au Processus de Collecte pour décryptage et traitement. 40

41 IPFIX Exemple d un message IPFIX Message Header Template Set (1 Template) Data Set (3 Data Records) Options Template Set (1 Template) Data Set (3 Data Records) 41 41

42 IPFIX Exemple d un message IPFIX Le Template Set : Utilisation d éléments d information standardisés par l IETF (draft info) Source IPv4 : sourceipv4address (ID = 8) Destination IPv4 : destinationipv4address (ID = 12) Next-hop IPv4 : ipnexthopipv4address (ID = 15) Nombre de paquets dans le flux : inpacketdeltacount (ID = 2) Nombre d octets dans le flux : inoctetdeltacount (ID = 1) Set ID = 2 Length = 28 octets Template ID 256 Field Count = 5 IETF sourceipv4address = 8 destinationipv4address = 12 ipnexthopipv4address = 15 inpacketdeltacount = 2 inoctetdeltacount = 1 Field Length = 4 Field Length = 4 Field Length = 4 Field Length = 4 Field Length =

43 IPFIX Exemple d un message IPFIX Le Data Set : Src IP addr. Dst IP addr. Next Hop addr. Packet number Octets number Set ID = 256 Length = Record Record Record

44 IPFIX Exemple d un message IPFIX L Options Template Set : Utilisation d éléments d information standardisés par l IETF (draft info) : Par Line Card (linecardid), on rapporte les éléments suivants : Nombre total de messages IPFIX : exportedpacketcount (ID = 41) Nombre total de flux exportés : exportedflowcount Set ID = 3 Length = 24 Template ID 258 Field Count = 3 Scope Field Count = 1 0 linecardid = 141 Scope 1 Field Length = 4 0 exportedpacketcount = 41 Field Length = 2 0 exportedflowcount = 42 Field Length = 2 Padding 44 44

45 Bits Version = 0x000a Sequence Number = 0 Source ID = (D.O) Set ID = 2 (Template) Set Length = 28 Octets Template ID = 256 Fields Count = 5 Typ = sourceipv4address Field Length = 4 Octets Typ = destinationipv4address Field Length = 4 Octets Typ = ipnexthopipv4address Field Length = 8 Octets Typ = inpacketdeltacount Typ = inoctetdeltacount Set ID = 256 (Data Set using Template 256) Export Timestamp = :00:00 Record 1, Field 1 = Record 1, Field 2 = Record 1, Field 3 = Record 1, Field 4 = 5009 Record 1, Field 5 = Bits Message Length = 92 Octets Field Length = 4 Octets Field Length = 4 Octets Field Length = 64 Octets 45 45

46 IPFIX Transport de l information Le processus de collecte n est pas obligatoirement sur le même lien que le processus d export. IPFIX est indépendant du protocole de transport L utilisation de SCTP et PR-SCTP est préconisé, mais TCP et UDP possible PR-SCTP et TCP prennent en compte la congestion, pas UDP L utilisation de SCTP est préférée : Permet une meilleur gestion de l utilisation des «Template Record» Établissement d une association SCTP (Export Collecte) :» Stream zero = Template Record/Options Template Record» Reste = Data Record Optimisation dans l export des messages IPFIX vers le P.C : Fonctionnement par association SCTP :» Nouveau Template Record = nouvelle association système plus optimal Un P.E peut établir plusieurs association SCTP vers un ou plusieurs P.C. 46 Pour info : PR-SCTP (Partially Reliable Stream Control Transmission Protocol) : Cette extension de SCTP permet à l utilisateur de spécifier, par message, quelle persistance doit avoir le service de transport dans sa tentative d envoyer un message. Dans PR-SCTP, on peut envoyer dans une même association des messages de manière fiable et d autres de manière non fiable, c est le mode partiellement fiable : On considère que certaines données doivent être envoyées de manière plus fiable car plus importante. En envoyant d autres données moins importante de manière non fiable, on économise les ressources 46

47 IPFIX Sécurité TLS / DTLS : TLS = Transport Layer Security pour TCP DTLS = «Datagram TLS» pour sécuriser UDP et SCTP Authentification, Intégrité et Confidentialité sont fournies Protection contre le «deny» de service : SCTP = mécanisme d échange de cookies TCP = mécanisme «SYN cookie» DTLS = mécanisme d échange de cookies Mécanisme de log basé sur les numéros de séquence des messages IPFIX Sécurisation du système hébergeant le processus de collecte 47 Pour info : Transport Layer Security (TLS) : Anciennement nommé Secure Socket Layer (SSL), TLS est un protocole de sécurisation des échanges sur Internet, développé à l'origine par Netscape (SSL version 2 et SSL version 3). Il a été renommé en Transport Layer Security (TLS) par l'ietf suite au rachat du brevet de Netscape par l'ietf en Le groupe de travail correspondant à l'ietf a permis la création de la RFC TLS fournit quatre objectifs de sécurité : - l'authentification du serveur ; - la confidentialité des données échangées (ou session chiffrée) ; - l'intégrité des données échangées ; - de manière optionnelle, l'authentification ou l'authentification forte du client avec l'utilisation d'un certificat numérique. Datagram Transport Layer Security (DTLS) : SSL et TLS sont situés au-dessus de TCP et ne peuvent donc être utilisés par des applications basées sur UDP. Datagram Transport Layer Security (DTLS) est une adaptation de TLS destinée à fonctionner au dessus d UDP. 47

48 Agenda Problématique Outils et méthodes La standardisation IPFIX Quelques collecteurs 48 48

49 Quelques collecteurs (libres) - NTOP 49 Ntop (Network TOP) est une application qui produit des informations sur le trafic d un réseau en temps réel (comme pourrait le faire la commande top avec les processus). Il sait collecter les données NetFlow et sflow pour des flux générés par des routeurs et switch. Il capture et analyse les trames d une interface donnée, et permet d observer une majeure partie des caractéristiques du trafic (entrant et sortant) et accepte pour cela, notamment deux modes de fonctionnement: Une interface web et un mode interactif. Fonctions de ntop : - Classer le trafic en considérant de nombreux protocoles - Afficher le trafic en fonction de critères choisit par l utilisateur - Statistiques sur le trafic - Stocke sur disque les statistiques de trafic au format RRD - Identifie l OS des hôtes - Affiche la répartition par protocole du trafic IP - Analyse le trafic IP et le classe par source/destination - Affiche une matrice des relations IP par subnet (qui parle à qui?) - Reporte les usages IP par type de protocole Il s'appuie sur la bibliothèque nommée "libpcap" pour effectuer le capture des trames (bibliothèque de capture portable du domaine public pour les systèmes Unix). 49

50 Quelques collecteurs (libres) - Stager 50 Stager est outil permettant le stockage, l aggrégation, et la représentation de statistiques du réseau. Une application Web affiche les stats, et un un programme en Perl gère le stockage des données et les aggrégations. Stager collecte des données provenant de NetFlow, MPing et SNMP et présente ses résultats sous forme de tableaux et de graphes. Il peut afficher des résultats pour plusieurs routeurs et plusieurs périodes de temps en même temps -> pratique pour effectuer des comparaisons. Stager est développé par le réseau Norvégien pour la recherche : UNINETT et collecte les données NetFlow à l aide des flowtools. Concernant les données collectées avec Netflow, voici les principales (extensible) statistiques qu il donne par défaut : Destination Interface distribution IP Protocol distribution IP Type of Service distribution IP Source Address IP Destination Address IP Source/Destination Matrix Source AS Destination AS Source/Destination AS Matrix Multicast groups Multicast senders Multicast Source AS Multicast Summary Transport Layer Source Port distribution 50

51 Quelques collecteurs (libres) - NFSen tcpdump like 51 NfSen collecte les enregistrements de flux (données NetFlow ou Sflow) à l aide de l outil nfdump et en affiche des statistiques (tableaux et graphes) sur une page Web. Il est très simple d utilisation (critères de sélection dans les mesures, statistiques et l affichage identiques à ceux utilisés par tcpdump-lipcap). NfSen est développé par le réseau Suisse de la recherche SWITCH et rempli les fonctions suivantes : Affiche les données NetFlow : Fluw, paquets, Ocets en utilisant RRD Navigation simple dans les flux Isole des statistiques dans un intervalle de temps donné Créer un historique grâce à des profiles de trafic continus Configuration d alerte en fonction de diverses conditions Possibilité d écrire ses propres plugins pour analyser les enregistrements de flux de manière spécifique Versions stable: 1.2.4, bientôt la 1.3 avec de nouvelles fonctionnalités comme la configuration d alertes 51

52 Quelques collecteurs (libres) Flow-tools Les Flow-tools sont un ensemble d outils permettant de collecter et manipuler des données Netflow : Les Flow-tools sont généralement utilisés en ligne de commande Mais de nombreuses interfaces et outils existent pour les manipuler de manière graphique, dont une en python qui est incluse dans la distribution flow-tools. Outils répandus et très complets. 52 Ensemble d outils dans Flow-tools : flow-capture Collecte, compresse, stocke et gère l espace disque pour les flux flow-cat - Permet de concaténer plusieurs fichiers de flux flow-fanout Réplique les datagrammes NetFlow vers des destinations en unicast ou multicast flow-report - Permet de générer des rapports à partir de fichiers de flux. flow-tag - Permet de modifier des tags dans un fichier de flux afin de les utiliser ensuite dans des flowstats, par exemple. flow-filter - Utiliser flow-nfilter à la place flow-import - Permet d'importer des flux provenant d'un démon cflowd. flow-export - Permet d'exporter les données Netflow vers d'autres formats (comme PCAP, par ex). flow-send - Transmet un fichier de flux au format CFLOW sur le réseau. flow-gen - Génère un flux. flow-dscan - Détection de scans ou d'activité suspectes à partir d'un fichier de flux. flow-merge - Permet de mélanger plusieurs fichiers Netflow en un flux binaire écrit sur la sortie standard flow-nfilter - Permet d'appliquer des ACL à des fichiers de flux flow-xlate - Applique des translations sur les flows, pas très utile. flow-expire - Permet de récupérer de la place en effaçant les fichiers au-delà d'une certaine taille sur le DD ou d'un certain nombre. flow-split - Permet de découper un fichier Netflow en des fichiers plus petits flow-stat - Permet de faire un certain nombre de rapports statistiques à partir de fichiers de flux flow-mask - Permet de modifier les masques trouvés dans les flux flow-print - Permet d'afficher un fichier de flux dans un format lisible 52