TP Analyse des flux Contexte : Simulation d un routeur exportant des enregistrements de flux (trames netflow version 5) vers plusieurs collecteurs : L analyse des flux est réalisée avec le logiciel nfdump qui fonctionne en ligne de commande. Si le temps le permet, nfsen (outil graphique se basant sur nfdump) sera abordé. Dispositif : Le PC Intervenant utilise les flowtools afin de rejouer 3Go de données netflow (enregistrements de flux anonymisés) vers les 10 PCs stagiaires. Après l installation de nfdump, les PCs stagiaires collectent les trames netflow en écoutant sur le port 33333, les stockent dans le répertoire /tmp/netflow puis effectuent des mesures et des statistiques sur les flux. Nfdump : (Cf. Annexe et man pour les options de chacun des outils) - http://nfdump.sourceforge.net Nfdump est un ensemble d outils en ligne de commande permettant la collecte, le stockage et le traitement des enregistrements de flux, compatibles avec netflow v5, v7, v9 et sflow : nfcapd - Capture des netflow : 1
Collecte les données netflow envoyées par le(s) routeur(s) et les stocke sous forme de fichiers. Une rotation automatique sur les fichiers s effectue (par défaut toutes les 5mn.). La capture des données sflow (non traitée dans ce TP) est réalisée avec sfcapd. nfdump Traitement des enregistrements de flux Récupère les enregistrements de flux stockés par nfcapd pour effectuer des mesures/statistiques (top N par IP, ports ). La syntaxe d utilisation est similaire à celle de tcpdump («pcap like») pour appliquer des filtres (dst net 10.0.0.1/24 and proto tcp or ) et restreindre les mesures. nfprofile Création de profils de mesures A l aide d un filtrage spécifique, nfprofile crée un profil pour lequel nfdump récupère les enregistrements de flux correspondant et les stocke dans des fichiers dédiés à ce profil. nfreplay Rejoue d enregistrements de flux Export des enregistrements de flux stockés par nfcapd vers d autres collecteurs. Les enregistrements de flux collectés sont stockés, par défaut toutes les 5 mn, dans un nouveau fichier sous la forme : nfcapd.yyyymmddhhmm. Par exemple, le fichier nfcapd.200709181140 contient les données collectées le 18 sept. 2007 de 11h40 à 11h45. Pour distinguer les enregistrements de flux provenant de routeurs différents, on les réparti dans des répertoires différents. Pour le TP, un seul routeur exporte des trames netflow qui sont stockées dans le répertoire /tmp/nfdump. La collecte est effectuée par nfcpad en écoute sur le port (UDP 33333 pour le TP) à destination duquel le PC Intervenant exporte ses enregistrements de flux : nfcapd w D l /tmp/nfdump p 33333 -D : mode Daemon -w : permet de faire une rotation des fichiers de manière arrondie. Pour une valeur par défaut de l'intervalle de rotation qui est de 5mn, la rotation des fichiers s'alignera sur 0, 5,10... -l /tmp/nfdump : répertoire de stockage des données reçues sous forme de fichier nfcapd.*. -p en écoute sur le port 33333 L analyse des données netflow avec nfdump peut être faite sur un simple fichier (option r) ou sur un ensemble de fichier (option R) : nfdump r /tmp/netflow/nfcapd.yyyymmddhhmm nfdump R /tmp/netflow/nfcapd.yyyymmddhh00:nfcapd.yyyymmddhh55 Le résultat est soit affiché en texte ASCII soit stocké dans un autre fichier nfcapd.*. Dans ce cas, les fichiers résultant peuvent être retraités ultérieuement avec nfdump. Le format d affichage avec l option o peut se faire sous plusieurs formes : -o raw : Affiche la totalité des informations contenues dans un enregistrement de flux pour chaque flux sous forme de colonnes -o line : format par défaut en ligne, il affiche un flux par ligne selon le format suivant : Date flow start/duration/proto/src IP Addr:Port/Dst IP Addr:Port/Packets/Bytes/Flows -o long : format identique au line avec ajout d informations comme TCP flags, ToS -o extended : format étendu ajoutant les informations pps (packet per second) bps (bits per second), bps (bytes per packet). 2
-o fmt : format customisé, sélection des informations à afficher. Par exemple, le format long s execute par -o fmt:%ts %td %pr %sap -> %dap %pkt %byt %fl" (Cf. «man nfdump»). Pour simplifier le format d affichage, on peut agréger les flux grâce à l option a qui réunie sur une même ligne les flux ayant les mêmes caractéristiques suivantes : protocole, adresse IP source et destination, port source et destination. Il est possible de n agréger qu en fonction de certaines caractéristiques avec l option A <scheme>, par exemple n agréger les flux qu en fonction de l adresse IP src et du port destination s exécute avec l option a -A srcip,dstport. En fonction des besoins (Analyse d incident, détection de scans, pistage d une machine, métrologie par port/srcip.../tos), nfdump filtre les flux affichés à l aide d une syntaxe (Cf. Annexe) identique à celle utilisée avec tcpdump (pcap). Le filtre est à positionner à la fin de la ligne de commande entre... Par exemple, si on ne souhaite afficher que le trafic http à destination du serveur 10.0.2.3 sur une période d 1/2h : nfdump R /tmp/netflow/nfcapd.y hh00:nfcapd.y hh30 dst ip 10.0.2.3 and dst port 80. Statistiques Top N : L option -s type[/orderby] permet de faire des top N sur les enregistrements de flux (où N est configurable avec l option n num, -n 0 affiche tous les enregistrements) en fonction d une caractéristique (type : record, ip, proto, dstip, srcip, srcport ) et de manière ordonnée (orderby : décroissant par nombre de flux, nombre d octets, de paquets ). Figure 1: Schéma général de fonctionnement de nfdump Excercices : Le choix des fichiers à analyser est libre, c est la durée sur laquelle ils sont à analyser qui est fixe. Il n y a donc pas de résultats fixés, il s agit de trouver les bonnes commandes pour les recherches demandées. - Télécharger nfdump depuis le serveur FTP local et l installer dans /tmp : tar zxvf nfdump-1.5.5.tar.gz./configure 3
make make install - Créer le répertoire /tmp/nfdump - Commencer la collecte en lançant nfcapd en mode daemon, en écoute sur le port 33333. Stocker les enregistrements de flux dans /tmp/netflow avec une rotation de 5mn. nfcapd w D l /tmp/netflow p 33333 - Pour un fichier d enregistrement de flux de 5mn : listing o Afficher les statistiques par protocole. nfdump -r nfcapd.* s proto/bytes nfcapd.** o Afficher les 30 premiers flux dans le temps (option c) au format d affichage long nfdump -r nfcapd.* -c 20 o long o Afficher les flux de manière agrégée et repérer le couple srcip, dstip comportant le plus de flux nfdump -r nfcapd.* -a o Afficher les flux de manière agrégée par protocole, comparer aux résultats du 1 er point. nfdump --r nfcapd.* -a A proto - Sur une période de 10mn : filtres recherche o Afficher les flux à destination du port tcp 80 puis mesurer la quantité de trafic correspondante en utilisant un filtre et une agrégation sur le protocole nfdump -R nfcapd.*:nfcapd.*** -a A proto dst port 80 o Trouver l adresse IP des serveurs DNS, Web et NTP grâce aux options d agrégation et de filtres nfdump -R nfcapd.*:nfcapd.*** -a A dstip,dstport dst port 80 nfdump -R nfcapd.*:nfcapd.*** -a A dstip,dstport dst port 53 nfdump -R nfcapd.*:nfcapd.*** -a A dstip,dstport dst port 123 - Sur une période de 15mn : statistiques top N o Afficher le Top 20 par nombre d octets des flux udp nfdump -R nfcapd.*:nfcapd.*** -n 20 s record/bytes proto UDP o Afficher le Top 10 par nombre de flux des AS destination nfdump -R nfcapd.*:nfcapd.*** -n 10 s dstas/flows o Afficher le Top 20 des services par nombre de flux, en quelle position arrive DNS, Web, NTP et SMTP. Faire la même chose par quantité de trafic, que constate-t on quant à la taille moyenne d un flux pour ces 4 services. nfdump -R nfcapd.*:nfcapd.*** -n 20 s port/flows nfdump -R nfcapd.*:nfcapd.*** -n 20 s port/bytes Ces 4 services sont parmis ceux qui sont les plus utilisés mais le rapport entre le nombre de flux et la quantité de trafic en octet en fait de petits consommateurs de bande passante puisque la taille moyenne d un flux pour ces 4 services est faible. 4
o Afficher le Top 15 des adresses IP les plus consommatrices en débit. Donner la nature du trafic émit par la station la plus consommatrice. nfdump -R nfcapd.*:nfcapd.*** -n 20 -s ip/bps o Afficher le Top 3 des réseaux /24 échangeant le plus de trafic nfdump -R nfcapd.*:nfcapd.*** -n 3 -A srcip4/24,dstip4/24 -s record/bytes - Sur une période de 20mn : recherche de scans métrologie o Mesurer la quantité de trafic dans la classe de service Best Effort (DSCP = 0, ToS = 0). Y a-t-il du trafic Better than best Effort (DSCP 34, ToS = 136) et du trafic Premium IP (DSCP 46, ToS = 184). nfdump -R nfcapd.*:nfcapd.**** tos 0 s ip/bytes nfdump -R nfcapd.*:nfcapd.**** tos 184 s ip/bytes o Rechercher les scans (hauteur ou largeur) de port (trouver une combinaison entre les options permettant de caractériser du trafic pouvant être du scan de port). On peut par exemple reconnaître un scan si le flux : n est pas de l icmp n excède pas 100 octets comporte un nombre de bits par paquets < 100 n excède pas 5 paquets ne concerne pas les ports 80, 53, 110, 123 En hauteur : Scan effectué par 1 machine vers n machines sur un port. En largeur : Scan effectué par 1 machine vers 1 machine sur plusieurs port. nfdump -R nfcapd.*:nfcapd.**** -a -A srcip,dstport -s record/packets 'not proto icmp and bytes < 100 and bpp < 100 and packets < 5 and not port 80 and not port 53 and not port 110 and not port 123' Le premier est : 2.7.29.210 Faisons une recherche complémentaire dessus : pour cette source, afficher les flux agrégés sur l adresse ip destination et le port, si le nombre de destination est très élevé et le port toujours le même ; c est un scan en hauteur, si le nombre de destination n est pas élevé et les ports différents, c est un scan en largeur. nfdump -R nfcapd.*:nfcapd.**** -a -A dstip,dstport 'src ip 2.7.29.210' Annexes : Quelques options de nfcapd : -p portnum Specifies the port number to listen. Default port is 9995 -l base_directory Specifies the base directory to store the output files. Default is /var/tmp If a sub hierarchy is specified with -S the final directory is concatenated to base_directory/sub_hierarchy -t interval Specifies the time interval in seconds to rotate files. The default value is 300s ( 5min ). 5
-w Align file rotation with next n minute ( specified by -t ) interval. Example: If interval is 5 min, sync at 0,5,10... wall clock minutes Default: no alignment. -D Daemon mode : fork to background and detach from terminal. Nfcapd terminates on signal TERM, INT and HUP. -h Print help text to stdout with all options and exit. Syntaxe des filtres pour le traitement des enregistrements de flux avec nfdump : expr and expr, expr or expr, not expr, ( expr ). expr can be one of the following filter primitives: protocol version inet or ipv4 for IPv4 and inet6 or ipv6 for IPv6 flows only protocol TCP, UDP, ICMP, GRE, ESP, AH, RSVP or PROTO <num> where num is the protocol number. IP address [SourceDestination] IP a.b.c.d or [SourceDestination] HOST a.b.c.d with a.b.c.d as any valid IP address. SourceDestination may be omitted. SourceDestination defines the IP address to be selected and can be SRC, DST or any combination of SRC and or DST. Omitting SourceDestination is equivalent to SRC or DST. network [SourceDestination] NET a.b.c.d m.n.r.s [SourceDestination] NET a.b.c.d / num with a.b.c.d as network number, m.n.r.s as netmask or num as maskbits respectively. The network may be given as a.b, a.b.c, where a B or C- class equivalent netmask is assumed. Port [SourceDestination] PORT [comp] num with num as a valid port number. If comp is omitted, '=' is assumed. Interface [inout] IF num with num as an interface number. inout defines the interface to be selected and can be IN or OUT. Flags flags tcpflags with tcpflags as a combination of: A ACK. S SYN. F FIN. R Reset. 6
P Push. U Urgent. X All flags on. The ordering of the flags is not relevant. Flags not mentioned are treated as don't care. In order to get those flows with only the SYN flag set, use the syntax 'flags S and not flags AFRPU'. TOS Type of service: tos value with value 0..255. Packets packets [comp] num [scale] to specify the packet count in the netflow record. Bytes bytes [comp] num [scale] to specify the byte count in the netflow record. Packets per second: Calculated value. pps [comp] num [scale] to specify the pps of the flow. Duration: Calculated value duration [comp] num to specify the duration in milliseconds of the flow. Bits per second: Calculated value. bps [comp] num [scale] to specify the bps of the flow. Bytes per packet: Calculated value. bpp [comp] num [scale] to specify the bpp of the flow. AS [SourceDestination] AS num with num as a valid AS number. scale Scaling factor. Maybe k m g. Factor is 1024 comp The following comparators are supported: =, ==, >, <, EQ, LT, GT. If comp is omitted, '=' is assumed. 7