[LOGS] Gestion des traces, indexation, consultation, archivages Rapport Intermédiaire

[LOGS] Gestion des traces, indexation, consultation, archivages Rapport Intermédiaire Axel Lagunes Ramirez, Hocine Manseur, Pascal Diogo Antunes 12 février 2016 Table des matières 1 Presentation ELK 2 2 Fonctionnement général ELK [+rsyslog] 2 2.1 Elasticsearch............................................ 3 2.1.1 Présentation........................................ 3 2.1.2 Installation......................................... 3 2.1.3 Autres solutions...................................... 4 2.2 Logstash.............................................. 4 2.2.1 Présentation........................................ 4 2.2.2 Installation......................................... 4 2.2.3 Autres solutions...................................... 5 2.3 Kibana............................................... 5 2.3.1 Présentation........................................ 5 2.3.2 Installation......................................... 5 2.3.3 Autres solutions...................................... 6 2.4 Rsyslog............................................... 7 2.4.1 Présentation........................................ 7 2.4.2 Installation......................................... 7 3 Mise en place d une solution (actuelle) 8 4 Ce qu on projette de faire 10 Table des matières 1

La gestion des traces (logs), issues des applications exécutées sur un serveur UNIX est une problématique auquel un administrateur est confronté quotidiennement. L accès à ces traces est nécessaire lors d investigations suite à un incident. Il est donc primordial que l information contenue dans ces traces soit rapidement accessible. Les étudiants vont étudier une solution d indexation de ces traces en mettant en oeuvre un serveur utilisant la solution Elasticsearch. Il faudra montrer que cette solution permet à un technicien d analyser rapidement les logs d application middleware ou de batchs UNIX. Enfin les étudiants devront montrer comment les traces peuvent être archivées, conservées puis restaurées pour investigation. Ce projet permettra aux étudiants d acquérir des connaissances approfondies sur l indexation de données avec elasticsearch et une bonne connaissance des traces produites par un système UNIX. 1 Presentation ELK En combinant Elasticsearch, Logstash et Kibana (Logiciels d ElasticSearch Inc et open source) la pile logiciel ELK est créé, elle fournit en temps réel des informations exploitables à partir de practicament toutes les sources de données structurées et non structurées (par examples les logs d un serveur). Beaucoup d organisations dans le monde utilisent ces produits pour une variétéinfiniede fonctions critiques de l entreprise. Elasticsearch : pour la recherche profond et analyse de données Logstah : pour la journalisation centralisée, l enrichissement et l analyse des logs Kibana : pour puissantes et belles visualisations de données Pré-requis pour que ELK marche, l installation de Java : # apt get i n s t a l l openjdk 7 j r e 2 Fonctionnement général ELK [+rsyslog] 2

2.1 Elasticsearch 2.1.1 Présentation Elasticsearch est un moteur de recherche et d analyses distribué en temps réel. Il est multi-plateforme, écrit en Java est sous licence Licence Apache 2.0 se basant sur la bibiliothéque Lucene 1, projet de l Apache Sofware Foundation, pour l indexation et la recherche de données (full-text 2 ). Basé sur une interface de type REST 3. L indexation des données s effectue à partir d une requête HTTP PUT. La recherche des données s effectue avec la requête HTTP GET. Les données échangées sont au format JSON. Elasticsearch s accompagne souvent de Logstash et Kibana. 2.1.2 Installation Installation de Elasticsearch sur une Debian Jessie. Dans ce cas on utilise le paquet Debian mais dans le site d Elastic 4 on peut trouver le logiciel Elasticsearch en forme de.zip,.tar,.rpm et les binaires pour les installer ou les compiler soit-même. Télécharger elasticsearch-2.1.1.deb : # wget h t t p s : / / download. e l a s t i c s e a r c h. org / e l a s t i c s e a r c h / r e l e a s e / \ org / e l a s t i c s e a r c h / d i s t r i b u t i o n / deb / e l a s t i c s e a r c h / 2. 1. 1 / \ e l a s t i c s e a r c h 2. 1. 1. deb Installer le paquet : # dpkg i e l a s t i c s e a r c h 2. 1. 1. deb On peut aussi ajouter un repository d Elasticsearch pour Debian, il faut seulement ajouter la liste des sources : # echo deb h t t p : / / packages. e l a s t i c s e a r c h. org / l o g s t a s h /2.1/ \ d e b i a n s t a b l e main t e e / e t c / apt / s o u r c e s. l i s t. d/ l o g s t a s h. l i s t # sudo apt get update && apt get i n s t a l l e l a s t i c s e a r c h Pour avoir Elasticsearch automatiquement au démarrage du serveur on peut faire : # update r c. d e l a s t i c s e a r c h d e f a u l t s 95 10 Vérification de l installation : # c u r l h t t p : / / l o c a l h o s t :9200/? p r e t t y { name : Mach IV, c l u s t e r n a m e : e l a s t i c s e a r c h, v e r s i o n : { number : 2. 1. 1, 1. https://fr.wikipedia.org/wiki/lucene bibliothèque open source (licence Apache) et multiplateforme, écris en Java, qui permet d implémenter les fonctions permettant l indexation et chercher du texte. Disponible aussi en Ruby, Perl, C++, PHP, C# 2. https://fr.wikipedia.org/wiki/recherche_plein_texte Recherche sur l ensemble du texte avec les mots fournis dans la requête. N est pas forcément toujours pertinent du fait de faux positifs (https://fr.wikipedia.org/wiki/recherche_ plein_texte#le_probl.c3.a8me_des_faux_positifs) n ayant pas forcément trait avec le sujet cherché. 3. https://fr.wikipedia.org/wiki/representational_state_transfer Architecture REST doit respecter et se composer des points suivants (voir avantages) comme : les responsabilités sont séparées entre le client et le serveur ; les requêtes clients doivent contenir toute l information utile dans une requête et ne dépend pas d un statut particulier pour le client du côté serveur ; mise en cache ; etc... 4. http://elastic.co 3

} b u i l d h a s h : 40 e2c53a6b6c2972b3d13846e450e66f4375bd71, b u i l d t i m e s t a m p : 2015 12 15T13 : 0 5 : 5 5 Z, b u i l d s n a p s h o t : f a l s e, l u c e n e v e r s i o n : 5. 3. 1 }, t a g l i n e : You Know, f o r Search Si on veut interdire l accès de Elasticsearch en dehors du serveur il faut changer le fichier /etc/elasticsearch/elasticsearch.yml avec l editeur de texte : Dé-commenter et ajouter localhost à la ligne : network. h o s t : Puis ajouter network.bind host avant network.host : network. b i n d h o s t : 0. 0. 0. 0 network. h o s t : l o c a l h o s t Sauvegarder le fichier et ne pas oublier de re-démarrer le service : # s e r v i c e e l a s t i c s e a r c h r e s t a r t 2.1.3 Autres solutions Solr Se prononce Solar. les points communs : tous les deux c est des logiciels libres tous les deux sont des moteurs de recherches ils sont sous licence ; Licence Apache 2.0 les différences : solr est plus utilisé à cause de sont support commercial ce qui n est pas le cas d elasticsearch qui ne possède pas de support ni de version commerciale ; solr offre plus de fonctionnalités que Elasticsearch ; solr est développé par une communauté de développeurs alors que elasticsearch est développer par un seul développeur principal est quelques collaborateur ; sur les indexes de tailles raisonnable solr est meilleur, mais sur des indexes tres grand c est l inverse ; elasticsearch est plus facile a mettre en oeuvre par rapport à solr ; pour l indexation en temps réel et sa simplicité à mettre en oeuvre elasticsearch reste la meilleure solution, mais solar reste un choix sûr pour l ajout de nouvelles fonctionnalités à tout genre d application. 2.2 Logstash 2.2.1 Présentation Logstash est un outil de collecte, analyse et stockage de logs. Les points d entrée (input) utilisés pour aller chercher l information sont définis via un fichier de configuration. Plusieurs types de point d entrée peuvent être choisis, et notamment les fichiers : dans ce cas, on indique à Logstash l emplacement où aller lire les fichiers de log. Logstash gère aussi différents types d événements. Un événement peut être un message syslog, un mail via le protocole IMAP, un tweet ou encore une commande IRC. Logstash a comme fonction principale de centralise les logs de tout les types, les normalise vers un autre format extensible et personnalisable. 2.2.2 Installation Installation de Logstash sur une Debian Jessie. Une fois encore on utilise le paquet Debian mais dans le site d Elastic 5 on peut trouver les dernières versions comme.zip,.tar,.rpm et les binaires pour les installer ou les compiler soit-même : Télécharger elasticsearch-2.1.2-1.deb : # wget h t t p s : / / download. e l a s t i c. co / l o g s t a s h / l o g s t a s h / packages / \ d e b i a n / l o g s t a s h 2.1.2 1 a l l. deb 5. http://elatic.co 4

Installer le paquet : # dpkg i e l a s t i c s e a r c h 2.1.2 1. deb Le paquet logstash est disponible sur le même repository de Elasticsearch aussi 2.1.2 : # apt get update && apt get i n s t a l l l o g s t a s h 2.2.3 Autres solutions Manuellement Nous pouvons faire le travail de logstash manuellement et charger les données à elasticsearch directement à travers de rêquetes HTTP PUT mais il faut traiter l information des logs pour faire les index. graylog Graylog est une solution pour le stockage centralisé de logs que permet consulter les données, créer des tableaux avec ces consultations, créer des alarmes sur la présence ou l absence de données, etc.. C est une solution utile pour avoir tous les logs d une architecture complexe dans le même endroitet non répartis par des dizaines de serveurs et des routes à l intérieur du même. 2.3 Kibana 2.3.1 Présentation Kibana est une interface Web (plugin) qui se connecte à Elasticsearch, et permet de faire des requêtes en mode texte pour générer des graphiques (histogrammes, barres, cartes... ), ou des statistiques. De nombreux composants graphiques sont disponibles pour donner une dimension visuelle aux données stockées dans Elasticsearch (par exemple Grafana, Splunk et Sumologic). La création de tableaux de bord est intuitive grâce à une interface. Les tableaux de bord ainsi générés sont exploitables par les développeurs, les profils techniques, mais aussi par les interlocuteurs du métier ou les managers. 2.3.2 Installation Installation de Kibana sur une Debian Jessie. Avant d installer Kibana il est recommandé de créer un utilisateur Kibana : # groupadd g 999 k i b a n a # useradd u 999 g 999 k i b ana On peut obtenir Kibana depuis le site d Elastic 6 et est bien sûr disponible sur le même repository de Elasticsearch 2.1.2 : # wget h t t p s : / / download. e l a s t i c. co / kibana / \ k i b a n a / kibana 4.3.1 l i n u x x64. t a r. gz # t a r x v f kibana. t a r. gz ou # sudo apt get update && apt get i n s t a l l kibana Changer le fichier de configuration Kibana kibana-4*/config/kibana.yml avec un éditeur de texte : s e r v e r. h o s t : l o c a l h o s t 6. http://elastic.co 5

Changer 0.0.0.0 avec localhost fait que Kibana est accessible depuis la machine local seulement, cela nous donne plus de sécurité et c est surtout parce que dans ce cas on utilise un reverse proxy pour permettre l accès externe. Configuration d un reverse proxy en utilisant nginx : par exemple dans le fichier /etc/nginx/sites-enable/default s e r v e r { l i s t e n 8 2 ; s e r v e r n a m e example. com ; a u t h b a s i c R e s t r i c t e d Access ; a u t h b a s i c u s e r f i l e / e t c / n g i n x / htpasswd. u s e r s ; l o c a t i o n / { p r o x y p a s s h t t p : / / l o c a l h o s t : 5 6 0 1 ; p r o x y h t t p v e r s i o n 1. 1 ; p r o x y s e t h e a d e r Upgrade $ h t t p u p g r a d e ; p r o x y s e t h e a d e r Connection upgrade ; p r o x y s e t h e a d e r Host $host ; p r o x y c a c h e b y p a s s $ h t t p u p g r a d e ; $ } } listen 82 fait que on peut accéder à Kibana en allant directement sur ip :82 directement sur le navigateur. auth basic est pour nous identifier en entrant à Kibana, pour ajouter un utilisateur on peut utiliser htpasswd : # sudo htpasswd c / e t c / n g i n x / htpasswd. u s e r s <user > Après indiquer avec auth basic user file le fichier crée par htpasswd /etc/nginx/htpasswd.users. Le reste indique que le proxy doit se connecter sur le site de kibana en local (par default sur le port 5601). Déplacer Kibana vers un lieu plus approprié : # mkdir / opt / k i b a n a # cp R / kibana 4 / / opt / kibana / # chown R k i b a n a : / opt / kibana Ajouter Kibana au démarrage de la machine : # chmod +x / e t c / i n i t. d/ k i b ana # update r c. d k i b a n a d e f a u l t s 96 9 Démarrer Kibana avec : # s e r v i c e k i b a n a s t a r t 2.3.3 Autres solutions Graylog-web Graylog2-web-interface, il s agit d un interface web qui permet la consultation et la configuration du cluster de Graylog. L interface a quelques fonctionnalités de Kibana. 6

2.4 Rsyslog 2.4.1 Présentation Rsyslog est un logiciel open source utilisé sur des systèmes d exploitation de type UNIX transférant les messages des journaux d événements sur un réseau IP. Rsyslog implémente le protocole basique syslog - qui centralise les journaux d événements, permettant de repérer plus rapidement et efficacement les défaillances d ordinateurs présents sur un réseau. Rsyslog marche sous forme client-serveur. 2.4.2 Installation Rsyslog est installé par défaut sur debian. Il y a disponible : Le tarball Ubuntu Repository Debian Repository RHEL/CENTOS RPM Repository Sur le site Rsyslog 7 il y a un tutoriel pour chaque méthode d installation. Côté serveur En UDP : # apt get i n s t a l l r s y s l o g # <e d i t o r > / e t c / r s y s l o g. c o n f $ModLoad imudp $UDPServerRun 514 Côté client En UDP : # apt get i n s t a l l r s y s l o g # <e d i t o r > / e t c / r s y s l o g. c o n f #$ModLoad imudp #$UDPServerRun 514. @10. 0. 0. 1 6 : 5 1 4 7. http://www.rsyslog.com/ 7

3 Mise en place d une solution (actuelle) Les postes de travail sont Cagette et Axe, qui ont tout deux un accès vers le net. Le réseau local n a pas d accès direct vers le Net, et vis versa. Sur la machine Panier, plusieurs machines virtuels (QEMU+libvirt et interface virt-manager) ont été installés pour simuler le nombre de machines qu il pourrait y avoir - étant donné qu on ne pouvait pas avoir cette possibilité de les avoir. Les VMs ont été configuré pour que chacune puissent profiter d une adresse ip fixe en mettant en place un bridge sur la machine hôte. Sur la machine Panier, le fichier /etc/network/interfaces : auto eth0 i f a c e eth0 i n e t s t a t i c #pour l a communication avec l a c a g e t t e a d d r e s s 1 9 2. 1 6 8. 2. 1 2 b r o a d c a s t 1 9 2. 1 6 8. 2. 2 5 5 netmask 2 5 5. 2 5 5. 2 5 5. 0 gateway 1 9 2. 1 6 8. 2. 1 auto eth1 i f a c e eth1 i n e t manual #i m p o r t a n t permet d a v o i r l i n t e r f a c e a c t i v e, auto br0 #mais s a n s a d r e s s e i p ( e v i t e l e s c o n f l i t s ) i f a c e br0 i n e t s t a t i c a d d r e s s 1 0. 0. 0. 1 2 8

b r o a d c a s t 1 0. 0. 0. 2 5 5 netmask 2 5 5. 2 5 5. 2 5 5. 0 gateway 1 0. 0. 0. 1 2 b r i d g e p o r t s eth1 b r i d g e s t p on b r i d g e m a x w a i t 0 b r i d g e f d 0 La nouvelle installation a été pseudo-automatisé, et n est pour le moment que manuel avec quelques vérifications à partir d une VM de base existante. Chaque machine virtuelle aura et a son propre rôle, et aura donc une tâche précise sur le service rendu. Carotte : serveur web. Salade : serveur mail, et multimédia. Par la suite Citron hébergera différents scripts rendant un certain service qui communiquera directement avec Elasticsearch, se passant ainsi de Logstash. Cagette, Salade, et Carotte font tourné un rsyslog en mode client, pour ainsi décentralisé tout les logs. Le premier serveur de logs rsyslog est Oignon, et si ce dernier n est plus disponible, tout les logs sont envoyés automatiquement à Echalotte, et de même vers Axe (cette fois-ci en UDP et donc plus moyen de vérifier si machine toujours en fonctionnement). Chaque clients rsyslog envoie sur la première machine tant que celle ci répond - c est pour cela que la communication se fait en TCP. Du côté client, sur le fichier /etc/rsyslog.conf - on indique les trois machines serveur rsyslog connu, et qui n enverra que à une seule et passera à la suite si celle actuelle n a pas répondu :. @@10. 0. 0. 1 6 : 5 1 4 $ActionExecOnlyWhenPreviousIsSuspended & @@10. 0. 0. 1 7 : 5 1 4 & @10. 0. 0. 9 : 5 1 4 $ActionExecOnlyWhenPreviousIsSuspended on o f f Sur le côté serveur rien de particulier, juste ne pas oublier de le mettre en TCP : module ( l o a d= imtcp MaxSessions = 500 ) i n p u t ( type= imtcp p o r t = 514 ) D autres services sont installés, comme sur Cagette un serveur proxy, avec les différentes VMs ayant accès et y faisant des requêtes. Systemd, cron, etc... Pour certains services, il faut configurer les fichiers de conf pour s assurrer que tout passera par rsyslog. Pour apache2, sur la conf du vhost : E r r o r L o g / u s r / b i n / l o g g e r t apache2. e r r o r CustomLog / u s r / b i n / l o g g e r t apache2. a c c e s s combine Pour tinyproxy L o g f i l e / u s r / b i n / l o g g e r t t i n y p r o x y. l o g ou active l option Syslog on dans le fichier de configuration /etc/tinyproxy.conf. L infrastructure supportera toujours Rsyslog, malgré le fait que l alternative et le changement se porterait vers un logstash direct sur toutes les machines produisant du log. Donc d autres VMs s ajouteront n utilisant cette fois-ci pas rsyslog pour l envoie de log. Pour ce qui est des logs envoyés par rsyslog, une fois sur le serveur, il faut bien que la machine ayant reçu les 9

logs, les envois vers la machine hébergeant Elasticsearch (pour le moment qu une seule machine). Il faut donc pour cela installer logstash et le configurer. Le soucis qui peut se présenter et le fait que sur chaque machines centralisant différents types de logs, elles leur faut les mêmes règles de filtre pour qu il puisse avoir le même traitement sur tout les logs, et n importe quel service pour être correctement indexé par Elasticsearch. Une fois que Logstash fait son travail, tout est envoyé en output vers le serveur Elasticsearch qui est hébergé sur Axe (port 9200). Rendre accessible Elasticsearch hors local : network. b i n d h o s t : 0. 0. 0. 0 network. h o s t : l o c a l h o s t Pour accéder et visualiser plus facilement les logs indexé par Elasticsearch, Kibana est installé sur la machine Axe, accessible sur le port 82. 4 Ce qu on projette de faire Nous voulons créer un système de gestion de logs, qui soit facile à utiliser et offre information de vraie importance pour l administrator, avec une interface graphique qui montre les données en temps réel. 10