Architectures d implémentation de Click&DECiDE NSI

Transcription

1 Architectures d implémentation de Click&DECiDE NSI de 1 à 300 millions de ligne de log par jour Dans ce document, nous allons étudier les différentes architectures à mettre en place pour Click&DECiDE NSI. Pour toutes questions sur ce document, ou aide pour les estimations volumétriques, contacter : Benoît Rostagni Tel : GSM : benoit.rostagni@clickndecide.com

2 Table of Contents 1. Impact du type de traitement sur le choix de la solution Impact du hardware sur le choix de la solution Solution logicielle, Appliance ou Virtual Appliance Le logiciel Click&DECiDE Appliances Click&DECiDE Soft-Appliances Click&DECiDE Architectures Moins de 1 millions de lignes de log Moins de 2 millions de lignes de log Moins de 10 millions de lignes de log par jour Moins de 30 millions de lignes de log par jour Moins de 100 millions de lignes de log par jour Plus de 100 millions de lignes de log par jour Traitement indépendant Traitement global Tableau récapitulatif... 13

3 1. Impact du type de traitement sur le choix de la solution Les critères qui guident le choix de tel ou tel architecture de log sont multiples : Le volume de log total à analyser o Impact CPU : Traitement temps réel o Impact Disque : Ecriture des données dans la base SQL Ecriture des logs bruts en archivage légal Ecriture des logs enrichis / contextuels en archivage Durée de rétention en base (Raw Data Daily Aggregation Monthly Aggregation) o Impact CPU : Temps d agrégation o Impact Disque : Temps d agrégation Temps de génération des rapports Temps de purge Durée de rétention en Archive o Impact Disque : Capacité d archivage Constructeur et produit analysés o Impact CPU : Certains constructeurs ont des logs dont le traitement est plus gourmand que d autres. Le traitement de multiples formats de logs avec de types de rapports et d agrégation est plus consommateurs qu un seul type de données. Utilisation du portail web o Impact CPU & Disque : Quantité de rapports demandés en génération automatique Quantité de rapports & de cubes générés à la demande Simultanéité des demandes, et nombre d accès au portail web simultanés Cas particulier d un envoi massif de mensuels (MSSP) 2. Impact du hardware sur le choix de la solution L impact de la configuration du Hardware est aussi important : Mémoire o 4-8 Go pour faciliter le fonctionnement de la base de données SQL CPU o 1 à 2 processeurs quad cœur pour la rapidité du traitement Disque o Vitesse de 10k 15k pour la rapidité des accès disques Raid o Type 1 (vitesse) ou 5 (sécurité) Cache disque o Le cache disque est un élément important pour fluidifier les accès disques

4 3. Solution logicielle, Appliance ou Virtual Appliance 3.1. Le logiciel Click&DECiDE Le logiciel Click&DECiDE est un logiciel dont nous recommandons l installation dans un environnement matériel, système d exploitation et base de données le plus proche possible de nos Appliance. Tous les add-on d entreprise tels que logiciels de supervision, anti-virus, sauvegarde doivent pouvoir désactivés sur demande lors d un accès au support technique de Click&DECiDE Appliances Click&DECiDE Click&DECiDE préconise l utilisation des Appliances Click&DECiDE. Ses Appliances, véritables serveur disposant de hautes performances (Processeur, Cache, Rapidité des disques ) et de toute les sécurités concernant les données (Double alimentation, double carte réseau, architecture Raid, disque changeable à chaud, intervention sur site sous 24 pour du remplacement matériel sous garantie & maintenance ). Les Appliances Click&DECiDE sont livré préconfigurée, avec une licence système Windows bit et, si nécessaire une licence Microsoft SQL 2008 Standard 64Bit. Véritable serveur sous forme d Appliance, vous pouvez les mettre immédiatement dans un environnement de production Soft-Appliances Click&DECiDE Click&DECiDE fournit principalement ses Soft-Appliances dans des environnements de maquettes et de tests. Actuellement Click&DECiDE ne peut garantir les performances dans des environnements de type «machines virtuelles» sur des fermes de serveurs de type Microsoft HyperV ou VmWare ESX car ces systèmes ne peuvent garantir et réserver les I/O nécessaires au bon fonctionnement des accès disques dont nous avons besoin. L achat des licences du système d exploitation ainsi que de la base de données sont à la charge du client, audelà des tests. Toutefois, pour un volume de log inférieur à 1 millions de ligne de log par jour, nous recommandons l utilisation de notre Soft-Appliance à base de Windows 7 Professionnel et de Serveur SQL 2008 R2 qui offre un environnement complet à un coût très faible.

5 4. Architectures Nous allons étudier plusieurs types d architectures. Les effets de bords font que, dans les limites de classes, le choix de l une au l autre des architectures peut être envisagé. Nous présenterons les architectures à base d Appliances et de Soft-Appliances. Les architectures à base de version logicielle sont à déduire des architectures à base d Appliances (serveurs) et de Soft-Appliances (serveur virtualisé). Vous trouverez le tableau récapitulatif des configurations en fin de document 4.1. Moins de 1 millions de lignes de log Plusieurs types d installations sont envisageables : - Logiciel Click&DECiDE sur un serveur Virtuel - Soft-Appliance Click&DECiDE - Logiciel Click&DECiDE sur un serveur physique - Appliance Click&DECiDE L architecture la moins couteuse et la plus simple à monter est le Soft-Appliances Click&DECiDE :

6 4.2. Moins de 2 millions de lignes de log Plusieurs types d installations sont envisageables : - Logiciel Click&DECiDE sur un serveur Virtuel avec base de données externe - Soft-Appliance Click&DECiDE avec base de données externe - Logiciel Click&DECiDE sur un serveur physique - Appliance Click&DECiDE L architecture la moins couteuse est le Soft-Appliances Click&DECiDE avec une base de données externalisée :

7 4.3. Moins de 10 millions de lignes de log par jour Le choix de l architecture est simple : un seul système matériel peut gérer la totalité de la solution en garantissant les performances demandées, sur la base d une Appliance #1 Click&DECiDE. Plusieurs installations sont envisageables : - Logiciel Click&DECiDE sur un serveur physique - Appliance #1 Click&DECiDE L architecture la plus rapide à mettre en place est l Appliance #1 Click&DECiDE. Nous garantissons sur cette Appliance le traitement complet de 10 millions d évènements par jour, incluant le stockage des archives et de la base de données sur un an, ainsi que les demandes d accès aux rapports et aux investigations.

8 4.4. Moins de 30 millions de lignes de log par jour Le choix de l architecture s impose : un seul système matériel de haute performance pour gérer la totalité de la solution en garantissant les performances demandées, sur la base d une Appliance #2 Click&DECiDE. Plusieurs installations sont envisageables : - Logiciel Click&DECiDE sur un serveur physique - Appliance #2 Click&DECiDE L architecture la plus rapide à mettre en place est l Appliance #2 Click&DECiDE. Nous garantissons sur cette Appliance le traitement complet de 30 millions d évènements par jour, incluant le stockage des archives et de la base de données sur un an, ainsi que les demandes d accès aux rapports et aux investigations. Il est néanmoins recommandé de prévoir lorsque l on est proche des 30 millions, de déplacer l archivage sur une zone de stockage de type NAS, externe à l Appliance.

9 4.5. Moins de 100 millions de lignes de log par jour L Architecture proposée est double : Un système dédié va gérer les logs, les recevoir, les trier, les enrichir, préparer les fichiers d archive et envoyer les logs dans la base de donnée SQL dédiée du deuxième serveur. Un système dédié va traiter les données de la base de données, agréger les données, générer les rapports, cubes et les alarmes. Ce système va aussi héberger le portail Web. Plusieurs installations sont envisageables : - Logiciel Click&DECiDE sur deux serveurs physiques - Deux Appliances #2 Click&DECiDE en mode «spécialisée». Les 2 Appliances peuvent être légèrement différentes dans leurs configurations au niveau du raid et au niveau du nombre de disques proposés L architecture la plus rapide à mettre en place est l architecture avec les Appliances #2 Click&DECiDE. Le stockage des Archives se fait obligatoirement sur une zone de stockage de type NAS, externe aux l Appliances.

10 4.6. Plus de 100 millions de lignes de log par jour L Architecture est multiple. Nous conseillons la mise en place de lignes de traitement par tranche de 100 millions de ligne de logs Traitement indépendant Chaque ligne de traitement est composée de deux Appliance#2 Click&DECiDE dans la configuration précédente «Dual Appliances #2»: Un système dédié va gérer les logs, les recevoir, les trier, les enrichir, préparer les fichiers d archive et envoyer les logs dans la base de donnée SQL dédiée du deuxième serveur. Un système dédié va traiter les données de la base de données, agréger les données, générer les rapports, cubes et les alarmes. Ce système va aussi héberger le portail Web. Plusieurs installations sont envisageables par ligne de traitement : - Logiciel Click&DECiDE sur deux serveurs physiques - Deux Appliances #2 Click&DECiDE en mode «spécialisée». Les 2 Appliances peuvent être légèrement différentes dans leurs configurations au niveau du raid et au niveau du nombre de disques proposés L architecture la plus rapide à mettre en place est l architecture avec les Appliances #2 Click&DECiDE. Le stockage des Archives se fait obligatoirement sur une zone de stockage de type NAS, externe aux l Appliances. L exemple proposé ici a été fait une séparation par protocole de transport, mais on peu aussi mixer les applications et les protocoles par ligne de traitement. L inconvénient de cette méthode est, dans certains cas, l absence de centralisation de tous les environnements clients sur un seul portail de requête et de rapports. L avantage de cette méthode est la simplicité et la rapidité de mise en place, mais aussi, la séparation des données qui est parfois nécessaire dans certains grands groupes ou pour certaines mises en place de services managés.

11 Traitement global Chaque ligne de traitement est composée de deux Appliance#2 Click&DECiDE dans la configuration précédente «Dual Appliances #2»: Un système dédié va gérer les logs, les recevoir, les trier, les enrichir, préparer les fichiers d archive et envoyer les logs dans la base de donnée SQL mutualisé dédiée sur un SAN à travers le cluster MS SQL du deuxième serveur. Un système dédié va traiter les données de la base de données, agréger les données*, générer des rapports, des cubes et des alarmes. Ce système va aussi héberger un exemplaire du portail Web. (*) une seule ligne de traitement effectuera tâches d agrégation. Toutes les lignes de traitement seront configurées de manière identique afin de pouvoir traiter de manière indépendante toute les informations. Devant la globalité des lignes de traitement, un système de haute disponibilité ou de Load Balancing redirigera les flux sur les lignes en fonction de critères de disponibilité, de charge de travail mais aussi de spécialisations lors de mise en place de corrélations «mémoire». Ce système de Load Balancing redirigera aussi les requêtes Web vers les serveurs Web vus sous forme de ferme. Plusieurs architectures sont envisageables par ligne de traitement : - Logiciel Click&DECiDE sur deux serveurs physiques - Deux Appliances #2 Click&DECiDE en mode «spécialisée».

12 Les 2 Appliances peuvent être légèrement différentes dans leurs configurations au niveau du raid et au niveau du nombre de disques proposés L architecture la plus rapide à mettre en place est l architecture avec les Appliances #2 Click&DECiDE. Le stockage des Archives se fait obligatoirement sur une zone de stockage de type NAS, externe aux l Appliances et la base de donnée sur un SAN de moyenne gamme. Le SAN hébergera aussi les données du portail Web commun, projets de rapports, menu, rapports générés. L inconvénient de cette méthode réside dans le surcout lié aux outils de Load Balancing et à la puissance du SAN nécessaire pour traiter les milliards de logs mensuels et fournir rapports et investigations dans les temps demandés par les clients. L avantage de cette méthode est la performance et la sécurité des données qui peuvent être traité par chaque ligne de traitement, ainsi qu un accès global et centralisé pour la totalité des données.

13 5. Tableau récapitulatif Pour une mise en place logicielle : Lignes de log par jour Harware #1 CPU RAM (Gb) Disque (Gb) Raid CPU Harware #2 - SQL Entreprise RAM (Gb) Disque (Gb) Raid Option SAN pour l'archivage Disque (To) Dual Core Dual Core Quad core Quad core x Quad core x Quad core x Quad core x Quad core x Quad core x Quad core (2 système) x Quad core