Znets 2 : La maîtrise du trafic réseau de l entreprise Thierry Descombes Laboratoire de Physique Subatomique et de Cosmologie 53 Avenue des Martyrs 38000 Grenoble Résumé Connaitre, comprendre et savoir interpréter la nature des trafics sont des enjeux cruciaux de la sécurité des réseaux d'entreprise. Je vais vous présenter znets2, un logiciel de supervision innovant, basé sur la collecte des flux, leur caractérisation fine, et leur stockage. Il permet de satisfaire aux enjeux légaux tout en améliorant le niveau en sécurité informatique de l'entreprise. La corrélation d'une part des données de métrologie avec des flux réseau, et d'autre part des alertes avec les flux réseau, se révèle à la fois simple (formulaires pré-remplis, richesse des informations fournies...) et réellement pertinente. Elle permet un niveau de compréhension inégalée du réseau local.. Mots-clefs Sécurité, métrologie réseau, interprétation flux, nids, ipfix, netflow, supervision LAN JRES 2015 - Montpellier 1/10
1 Introduction La supervision et l interprétation des flux du réseau local sont un enjeu majeur en matière de cybersécurité. Fort de ce constat, le consortium des administrateurs système et réseau des laboratoires CNRS/IN2P3, ont exprimé un besoin: un logiciel de supervision innovant, permettant de satisfaire aux enjeux légaux tout en améliorant le niveau en sécurité informatique des la-boratoires de l'in2p3. Thierry Descombes gère le projet et développe l'outil. De nom-breuses rencontres entre les participants ont permis de rédiger un cahier de charge dé-taillé. Ismael Zakari Touré a participé au projet dès ses débuts lors d'un stage profession-nel. Passionné par les technologies web, il a pris en charge le développement de l'interface graphique. L'IN2P3 a ensuite financé 6 mois de CDD pour qu'il puisse finaliser les déve-loppements web. A tous les stades du développement, les laboratoires IN2P3 ont participé aux tests et évaluations du logiciel, et nous ont permis aujourd'hui d'avoir une version 2 du logiciel à la fois pertinente et robuste, car testée sur des réseaux très hétérogènes (taille, technologie, débits...). Znets permet concrètement de mettre en place une surveillance adaptée des systèmes et des réseaux, capable de garantir une réactivité maximale en cas d incident. L intégralité des flux sont stockés, et disponibles pour analyse pendant plusieurs mois. Une centaine de graphiques sont présents et permettent l étude de la métrologie du ré-seau. Znets génère également des alertes fiables lorsqu une anomalie est détectée (la majorité des alertes étant levées en temps réel). JRES 2015 - Montpellier 2/10
2 Traçabilité des flux réseaux La technologie est basée sur la collecte et l analyse des flux réseau. Ces flux sont l intégralité des traces laissées lors des connexions et tentatives de connexions. Ils sont incontestables. ZNeTS gère donc une liste de flux bidirectionnels ordonnés chronologiquement, qui sont intrinsèquement entrants ou sortants. Afin de réduire leur nombre, znets ré-agrège ces flux au cours de «cycle d agrégation» dont la durée est de une heure. Ainsi, au cours d un cycle, toutes les informations relatives à un trafic concernant les mêmes hôtes, le même protocole et les mêmes numéros de port seront agrégées pour produire un flux unique. Cet algorithme (proche de celui des proto-cole Netflow/Ipfix) permet de réduire leur nombre de 98% (en moyenne : un flux tous les 800 paquets). L'agrégation des ports clients est également possible. Znets ignore alors les ports client et agrège tous les flux émis par un client à destination d un même service, le même client et le même serveur. Cette option permet de diminuer, en moyenne, d'un facteur 3 à 4, le nombre de flux. En plus des données de flux habituels, znets complète ces flux en intégrant des informa-tions de géolocalisation, la reconnaissance et décodage applicatif (URL, requête DNS, ), résultat de l introspection des paquets IP. Les flux sont stockés dans une base de données relationnelle, partitionnée. Ils restent ainsi consultables plusieurs mois, quelque soit le réseau. 3 Principe de fonctionnement Znets fonctionne sur toutes les architectures réseau, IPv4 ou IPv6. Les données néces-saires au fonctionnement doivent être collectées depuis les équipements réseaux périphé-riques. Les protocole Netflow et Ipfix sont supportés. JRES 2015 - Montpellier 3/10
ZNeTS peut également être configuré pour se comporter comme une sonde IPFIX. Il est souvent pertinent de configurer plusieurs instances «sondes», afin d intégrer par exemple un réseau interne, ou de centraliser la collecte des flux. De plus, les flux des sondes znets sont plus complet. Ils contiennent toutes les informations supportées par znets (liste d hötes avec OS détectés, informations applicatives, etc ) Anomalie HTTP SSL / X509 4 Outils pour l analyse & fonctionnalités de métrologie avancée Les graphiques de métrologie permettent l accès à plusieurs niveaux de détails (grâce à la mise en corrélation des données statistiques avec les flux réseaux bruts enregistrés). L'étude permet donc une compréhension complète des flux échangés. Une centaine de graphiques différents sont disponibles. JRES 2015 - Montpellier 4/10
5 Inventaire en temps réel des équipements communicants znets permet un inventaire complet en temps réel de toutes les machines du réseau, avec enregistrement des périodes d'activité, détection du système d exploitation. znets permet aussi la consultation des périodes de présence de chaque machine sur le réseau, ainsi que l ensemble des services TCP et UDP qui ont été interrogé sur la machine. 6 Détection des anomalies en Temps Réel et levées d alertes znets apprend le comportement normal des machines supervisées et détecte également, tout changement significatif (nouveaux services, extrapolation de la volumétrie, ) De plus, Znets est un IDS (Intrusion Detection System) avec des mécanismes de mise à jour automatique. De plus, Znets dispose d une quinzaine d euristiques fiables qui permettent d identifier des anomalies au niveau des flux réseaux : «MAC SPOOFING! DUPLICATED IP» Znets a détecté plusieurs adresses Mac qui utilise la même adresse IP Cette alerte peut être due à un problème de configuration ou une attaque in-terne! «MANY EXTERNAL RECIPIENTS» Un hôte local a établi des connexions avec un grand nombre (seuil paramétrable) de machines externes Une machine locale utilise un protocole Peer2Peer, ou elle est infectée (malware, virus ) JRES 2015 - Montpellier 5/10
«INCOMING SCAN» Sens: de l extérieur vers le LAN Des packets entrent, aucune réponse ou réponse TCP avec flag Reset / ICMP port unreachable Il peut s agir des prémices d une attaque à venir. Les IPs des scanneurs peuvent être utilisés pour générer des ACL de firewall. «OUTGOING SCAN» Sens: du LAN vers l extérieur La détection est similaire au scan entrant. Une machine locale est compromise ou un utilisateur utilise un outil permettant le balayage de ports «MULTIPLE HOSTS SCAN» Znets a identifié des échecs de connections vers plusieurs hôtes et plusieurs ports. La machine est compromise, ou c est le résultat d un scan, ou de l utilisation d un protocole P2P «OUTGOING TCP SYN FLOOD» Nb flux TCP <= 2 paquets (1 envoyé, 0 ou 1 reçu sans Rst) La machine locale est compromise (DDOS) «INCOMING TCP SYN FLOOD» (DDOS => filtrage?) Idem «SUSPICIOUS DNS QUERY» Requête envoyé à un serveur DNS qui n appartient à la liste Compromission type DNSchanger? «SUSPICIOUS HOSTS» Listes de réseaux suspects configurables et uploadable malware, virus, streaming «MAIL SPAM» Nb connections SMTP(s) sortantes > seuil Spam Bot «Malware URL Detected» Liste URL configurables/uploadable/ JRES 2015 - Montpellier 6/10
Malware, virus «Fragmented header» Taille du paquet < taille de ses entêtes Fragmented packet port scan attack «Recursive DNS server» Réponse: Sens = OUTGOING Introspection : Réponse standard d un serveur qui ne fait pas autorité pour le do-maine et qui déclare pouvoir faire des requêtes récursives Problème de configuration, DDoS «Forbidden Application» Lorsque une application interdite est détectée. De plus, la facile mise en corrélation d une alerte avec les données stockées apporte des informations cruciales, sans équivalent, sur l incident. Les statistiques horaires et journa-lières permettent l identification immédiate d un trafic inhabituel. Znets permet ainsi la détection de la plupart des APT, scan, malware, virus, le non respect des chartes informatiques, téléchargements illicites Les experts sont informés par email ou autres. Un traitement automatisé de l incident est possible, grâce à l exécution de scripts externes. 7 Quelques exemples de déploiement 7.1 Déploiement classique Dans la plupart des laboratoire, znets est mis en œuvre au sein d une architecture comportant un collecteur unique et une ou plusieurs sondes. Le routeur périphérique exporte les flux, ou lorsque c est possible, une sonde znets est utilisée (sur le firewall, par exemple). Dans tous les cas, znets est configuré pour analyser le trafic interne (côté LAN). JRES 2015 - Montpellier 7/10
7.2 Déploiement du Campus Orléans : 12 instances Le campus d Orléans héberge 11 entités qui possèdent chacune leur propre collecteur. Des sondes znets sont installées sur les firewalls (Linux). Plus d info : https://2013.jres.org/archives/112/paper112_slides.pdf https://2013.jres.org/archives/112/paper112_article.docx 7.3 Supervision cloud AMI / ATLAS IPFIX L outil de gestion des métadonnées pour l expérience ATLAS (CERN) est installée sur 2 ma-chines physiques et jusqu à 10 machines virtuelles (instanciées dynamiquement en fonction de la charge). Znets est utilisé à des fins de monitoring, d interprétation des trafics et volumes, pour le débogage et le dimensionnement de l infrastructure. Toutes les machines supervisées (virtuelles et physiques) possèdent leur propre sonde znets configurée de la même façon, qui exportent uniquement leur trafic vers un collecteur. JRES 2015 - Montpellier 8/10
8 Amélioration apportée par la version 2 La nouvelle version 2 de znets apporte de nombreuses nouvelles fonctionnalités, résumées dans le tableau si dessous. Comparatif V1.29 (actuellement déployé) V2 insertions Blocantes (les nouveaux flux sont bufférisées mais buffer de taille limitée) Asynchrone : pas de perte, pas de blocage Cycle d agrégation 15mn 1h Nb insertion / h en moyenne LPSC 200000 150000 Nombres d alertes gérées 5 14 Réactivité alertes 15mn Temps réel / 2mn pour les alertes statistiques Envoi email 1 email / alerte 1 email / alerte puis 1 email agrégé / 15mn Seuils adaptables non Oui (A finir) Exécution de commande externe non Oui (script ou binaire) Base de données Simple avec index Partitionnée (requêtes 100 à 10000 fois plus rapide) Introspection non Oui, 190 applications détectées (100% fiable) : nombre en augmentation (et possibilité d en définir de nouveaux protocoles) Fiabilité de la détection du sens 80% environ 99% Stockage de données applicatives (URLs, DNS query ) Inventaire des équipements du LAN non Oui, dans des tables supplémentaires non Oui : @mac, OS, période de présence sur le réseau Export des @mac et autres infos depuis les réseaux internes non Oui (export Ipfix avec champs propriétaires) Nombre de graphs 60 environ 80 environ (graphs L7 sans équivalent) JRES 2015 - Montpellier 9/10
Support liste téléchargeable centralisée non Oui (listes sur un serveur https et auth X509) 9 Conclusion Aujourd hui, znets est largement déployé dans les établissements d'enseignement Supé-rieur et de Recherche. Il s est avéré particulièrement facile à déployer et à prendre en main. Il supervise environ 15000 postes au sein du CNRS. La corrélation d'une part des données de métrologie avec des flux réseau, et d'autre part des alertes avec les flux réseau, se révèle simple et pertinente. Elle permet un niveau de compréhension inégalée du réseau local. JRES 2015 - Montpellier 10/10