Guide d Estimation Volumétrique des Logs

The Ver sat ile BI Sol ut ion! Guide d Estimation Volumétrique des Logs Ou comment estimer un volume de log Dans ce document, nous allons étudier les méthodes pour évaluer le volume de ligne de log d un client. Pour toutes questions sur ce document, ou aide pour les estimations volumétriques, contacter : Benoît Rostagni Tel: +33 1 79 71 84 22 GSM: +33 6 82 88 94 17 email: benoit.rostagni@clickndecide.com

Sommaire 1. Règles générales... 3 1.1. Calculs génériques.... 3 2. Proxy... 3 2.1. Le client possède des équipements Proxy en place... 3 2.2. Le client ne possède pas encore d équipement Proxy... 4 3. Firewall... 4 3.1. Le client possède des équipements firewall en place... 4 3.2. Le client ne possède pas de firewall... 4 4. Server et/ou Relais de Messagerie Sécurisés... 5 4.1. Le client possède des équipements Messagerie en place... 5 4.2. Le client ne possède pas encore d équipement Messagerie... 5 4.2.1. Serveur de messagerie mono ligne... 5 4.2.1. Relais de messagerie multi-ligne non sécurisé... 5 4.2.1. Relais de messagerie multi-ligne sécurisé... 5 5. Serveurs systèmes... 6 5.1. Serveurs Windows... 6 5.2. Serveurs Unix/Linux... 6 6. Conclusion... 6 7. Exemples... 7 7.1. Cas #1 : Une entreprise de 500 personnes... 7 7.2. Cas #2 : Une collectivité de 100 personnes... 7 7.3. Cas #3 : Une entreprise de 5000 personnes... 8 7.4. Cas #4 : Une multinationale... 9 2

1. Règles générales Les calculs les plus exacts ne peuvent se baser que sur la réalité constatée de 2 chiffres : un nombre de lignes de log moyen et un nombre maximum sur une même période de temps (une journée). Si possible, ce sont ces éléments-là qu il faut communiquer. Tous les autres calculs donnés ci-dessous ne sont que des estimations qu il faut confirmer par une mesure réelle en situation. Ils sont basés sur des constatations «empiriques», et des moyennes d un usage «normal» de l utilisation des outils supervisés. Il est important que dans tous les cas, un client se pose la question du «pourquoi je logge» et «quelles sont les informations que je désire voir dans les logs que je demande à analyser» et enfin, «l information est-elle présente dans les logs» pour permettre d avoir les indicateurs voulus. Ce qui veut dire aussi, que dans le cadre d une analyse de logs efficace, et en particulier pour les Firewall et les systèmes (Windows, unix(s) ), il est recommandé de mettre en place une politique de logs cohérente avec les objectifs, et de ne pas systématiquement «tout» logger. 1.1. Calculs génériques. Une estimation simple et directe peut être faite sur la base des deux règles suivantes : Volume Total de Log sur l accès Internet = 40% de log de Pare Feu + 40% de log Proxy + 20% autres logs (IDS + Anti-X + messagerie + ) et 1000 utilisateurs génèrent 1 million de lignes de log par jour sur un firewall Ce calcul permet donc d avoir, à partir d une des données, une estimation globale du volume. 2. Proxy 2.1. Le client possède des équipements Proxy en place Sur un proxy, il y a le plus souvent des fichiers de log disponibles et archivés sur le proxy lui-même, accessibles en partage de fichier ou en FTP. Il faut prendre le plus gros fichier de logs disponible sur les derniers jours. S il est comprimé (Gzip), on le décomprime avant de compter. On compte les lignes ou on prend comme hypothèse qu une ligne de log d un proxy vaut 500 octets Un fichier de log journalier de 1 Giga Octets donnera environ 2,1 millions de lignes de logs. 3

2.2. Le client ne possède pas encore d équipement Proxy Le volume de logs dépend de l utilisation de l internet par l entreprise. Si l entreprise est une entreprise qui consomme beaucoup d internet, le nombre de lignes sera plus important. Une entreprise industrielle de 1000 postes fera en moyenne 500 hits par personne soit 500.000 lignes de logs par jour. Une entreprise de service de 1000 postes fera en moyenne 1000 hits par personne soit 1.000.000 lignes de logs par jour. Une entreprise de l internet de 1000 postes fera en moyenne 2000 hits par personne soit 2.000.000 lignes de logs par jour. 3. Firewall 3.1. Le client possède des équipements firewall en place En fonction de la marque des firewalls, on peut parfois trouver des fichiers de logs stockés sur le firewall. Il faut éventuellement aussi les déchiffrer et parfois les exporter sous forme de fichiers à plat. On compte les lignes ou on prend comme hypothèse qu une ligne de log d un firewall vaut 333 octets Un fichier de logs journalier de 100 Méga Octets donnera environ 315.000 lignes de logs. Le firewall en place n émet que des logs en syslog. Le plus simple est de monter un «Syslog trace» sur un PC / Serveur qui va écrire un fichier par jour, puis on est de nouveau dans l hypothèse précédente du comptage des lignes 3.2. Le client ne possède pas de firewall Le volume de logs dépend de l utilisation de l internet par l entreprise. Si l entreprise est une entreprise qui consomme beaucoup d internet, qui est multi site, le nombre de lignes générées sera plus important. La politique de logs est aussi un facteur important, entre une politique qui trace tout sans distinction d intérêt, et une politique qui trace les informations sensibles (risques en entrée, contrôle des sorties) et évite les doublons (firewall + proxy par exemple). Une entreprise industrielle de 1000 postes fera en moyenne 500 lignes de log par personne soit 500.000 lignes de logs par jour. Une entreprise de service de 1000 postes fera en moyenne 1000 hits par personne soit 1.000.000 lignes de logs par jour. Une entreprise de l internet de 1000 postes fera en moyenne 2000 hits par personne soit 2.000.000 lignes de logs par jour. 4

4. Server et/ou Relais de Messagerie Sécurisés Un postulat de base à prendre en compte est le type de logs générés par les Messagerie ou Relais de Messagerie Sécurisés. Il existe deux types de log : Le log mono ligne comme par exemple celui d Exchange Le log multi-ligne comme par exemple celui d IronPort ou de postfix 4.1. Le client possède des équipements Messagerie en place Sur les systèmes de messagerie, il y a le plus souvent des fichiers de logs disponibles et archivés sur le serveur ou relais de messagerie lui-même, accessibles en partage de fichier ou en FTP. Il faut prendre le plus gros fichier de logs disponible sur les derniers jours. Les fichiers de messagerie ou de relais n étant en général pas trop gros, il est facile de les ouvrir et de compter les lignes, par exemple avec des outils comme Notepad++. 4.2. Le client ne possède pas encore d équipement Messagerie 4.2.1. Serveur de messagerie mono ligne On estime à environ 20 emails par jour en moyenne, le volume moyen des messages reçus et émis par les employés d une société. Une entreprise de 1000 postes fera en moyenne 20.000 lignes de logs par jour sur un serveur Exchange. Cette estimation prend en compte le postulat que les SPAM ne sont pas reçus par cette société. 4.2.1. Relais de messagerie multi-ligne non sécurisé On estime à environ à 5 lignes de log par email, le nombre de lignes à analyser. Avec environ 20 emails par jour en moyenne, le volume moyen des messages reçus et émis par les employés d une société, nous avons : Une entreprise de 1000 postes fera en moyenne 100.000 lignes de logs par jour sur un serveur Postfix. Cette estimation prend en compte le postulat que les SPAM ne sont pas reçus par cette société. 4.2.1. Relais de messagerie multi-ligne sécurisé En prenant en compte le fait que ce relais sert à supprimer le spam et que le spam correspond à 80% du trafic de mails mondial, si l entreprise traite 20 emails «utiles» par jour et par personne, son relais de messagerie traite 80 spam. On estime à environ à 15 lignes de log par email, le nombre de lignes à analyser, tout type de mail confondu. Une entreprise de 1000 postes fera en moyenne 1.500.000 lignes de logs par jour sur un serveur IronPort-C. Ce volume peut néanmoins être fortement abaissé, si l entreprise est moins sujette au SPAM que d autres. 5

5. Serveurs systèmes Il existe deux catégories de serveurs systèmes : Windows & Unix. Les serveurs Windows gèrent leurs logs en WMI via du WQL, les serveurs Unix via syslog 5.1. Serveurs Windows Sur un serveur Windows, le plus simple est de regarder l Event Viewer Pour chacun des logs suivants : Application Security System Regardez le nombre d évènements, les dates du premier et du dernier évènement. Une simple règle de trois permet d avoir le volume par jour moyen. Ce total peut être éventuellement modifié si vous mettez en place des Stratégies d Audit Windows ou si vous décidez de ne contrôler que les Login/Logoff, la gestion des droits utilisateurs et les incidents sur les services par exemple. 5.2. Serveurs Unix/Linux Les informations en provenance des serveurs Unix / Linux sont en général envoyés sous forme de flux syslog. C est en fonction des types d information que l administrateur du système envoie en syslog, que l on connaît le volume. Il est possible, comme pour les firewalls, de monter un «Syslog trace» sur un PC / Serveur qui va écrire un fichier par jour, puis de compter les lignes Un exemple dans le cas #4 est affiché. 6. Conclusion - Number of Events First Date Last Date Average per day Application 47053 12/04/2010 14h 10/04/2010 15h 15684 Security 50674 12/04/2010 03/04/2010 5630 System 30900 12/04/2010 06/11/2007 35 Total 21349 Click&DECiDE travaille en mode nombre de lignes de log, comme la plupart de nos confrères. C est un choix qui s explique simplement car cela correspond à la valeur des services rendus : traiter, analyser, archiver, investiguer dans un volume de logs transmis et stockés. 6

7. Exemples 7.1. Cas #1 : Une entreprise de 500 personnes Situation : une entreprise de 500 personnes veut disposer d un ensemble de tableaux de bord, pour superviser sa sécurité et piloter l évolution de son trafic internet sur 2 ans : elle souhaite ainsi disposer de prévisionnels. Il est demandé en outre de prévoir le stockage légal des logs sur un an, et l accès aux données journalières sur 3 mois. Equipements choisis devant être installés ou déjà présents. Un firewall Fortinet Un proxy IronPort-S Un analyseur de messagerie IronPort-C Un serveur de mails Exchange Un contrôleur de domaines Microsoft Etude volumétrique : 500 personnes Volume de lignes par jour Firewall Fortinet 500 000 Commentaires Stratégie de logs en place pour ne logger que le nécessaire Proxy IronPort-S 500 000 Contrôle complet pour éviter les abus Relay IronPort-C 225 000 Peu de spam actuellement : 1 mail sur deux "seulement" Serveur de mail Exchange 7 500 Comptabilisé sur les fichiers actuels Contrôleur de domaine Microsoft 50 000 Total 1 282 500 Comptabilisé Uniquement les Logins/Logoff et changements sur l'ad L étude volumétrique donne une moyenne de 1.300.000 lignes de log à analyser par jour. Le choix logiciel porte sur une solution à 2 millions de lignes de lignes de log, permettant d absorber une hausse de ce volume sur les mois à venir, voire de rajouter des équipements sans surcoût. Le matériel choisi est une Appliance #1 Click&DECiDE, ou un serveur équivalent. 7.2. Cas #2 : Une collectivité de 100 personnes Situation : une collectivité de 100 personnes veut disposer d un ensemble de tableaux de bord pour superviser sa sécurité et piloter son infrastructure interne et externe. Il est demandé en outre de prévoir le stockage légal des logs sur un an et l accès aux données journalières sur 3 mois. 7

Equipements choisi devant être installés ou déjà présents. Un UTM Fortinet, Arkoon, NetAsq, Juniper. Un serveur de mails Exchange Un contrôleur de domaines Microsoft Etude volumétrique : 100 personnes UTM 200 000 Volume de lignes par jour Commentaires Le volume de logs est double car les informations sont Proxy + Firewall Serveur de mail Exchange 1 500 Comptabilisé sur les fichiers actuels Contrôleur de domaine Microsoft 10 000 Total 211 500 Comptabilisé. Uniquement les Logins/Logoff et changements sur l'ad L étude volumétrique donne une moyenne de 220.000 lignes de log à analyser par jour. Le choix logiciel porte sur une solution à 250.000 lignes de lignes de log. La solution matérielle choisie est une installation dans une VMware avec une mise à disposition d un maximum de 100 Go de Disque, 3 Go de Ram et deux processeurs, ou un serveur équivalent. 7.3. Cas #3 : Une entreprise de 5000 personnes Situation : une entreprise de 5000 personnes veut contrôler l usage de son proxy d accès à Internet, disposer d un ensemble d outils d investigation à court, moyen et long terme, et superviser les abus, en particulier pendant les périodes de forte activité jeux olympiques, coupe du monde, etc. Il est demandé en outre de prévoir le stockage légal des logs sur un an. La solution «constructeur» ne donne pas satisfaction, et il est demandé de la remplacer. Equipements déjà présents. Un Proxy IronPort-S ou Bluecoat Etude volumétrique : 5000 personnes Volume de lignes par jour Commentaires Proxy IronPort-S 6 000 000 Comptabilisation des logs actuels Total 6 000 000 L étude volumétrique donne une moyenne de 600.000 lignes de logs à analyser par jour. 8

Le choix logiciel porte sur une solution à 7.500.000 lignes de lignes de log mais comme il n y a qu un type d équipement d un constructeur, la solution est une option «Solo» qui peut diminuer le prix public jusqu à 60% du prix initial. Le matériel choisi est une Appliance #1 Click&DECiDE, ou un serveur équivalent. 7.4. Cas #4 : Une multinationale Situation : une multinationale a déployé son infrastructure sur de nombreux sites, et souhaite analyser les données d un ensemble de périphériques du cœur de réseau, de serveurs critiques, et d outils de sécurité ; elle souhaite de plus bénéficier d un outil technique pour sa mise en conformité SOX et PCI-DSS. Il est demandé en outre de prévoir le stockage légal des logs sur 6 mois. Equipements dont les logs sont à analyser : 300 serveurs Windows 50 serveurs AIX 100 Firewall ASA et PIX 1500 Routers & 1000 Switches 1000 accélérateurs de trafic Juniper Etude volumétrique : Type Nombre de serveurs Volume de lignes par jour Par Serveur Windows 300 32 000 000 106 667 AIX 50 3 100 000 62 000 Cisco PIX 40 22 000 000 550 000 Cisco ASA 60 16 000 000 266 667 Cisco (Routers & Switches) 2 700 2 500 000 926 Juniper WXC 1 000 6 000 000 6 000 Total 4 150 81 600 000 19 663 L étude volumétrique impose une architecture à 3 couples de machines, de type Appliance #1 Click&DECiDE. Le couple #1 traitera les logs Windows, Le couple #2 traitera les logs Cisco PIX & ASA Le couple #3 traitera les autres logs, AIX, Routeurs & Switches, Juniper WXC et servira de plateforme centralisatrice de l accès Web. La solution en couples spécialisés a été choisie pour absorber une montée en charge des volumes sur les 5 années à venir. 9