Sommaire : 1. Présentation Elasticsearch Logstash Kibana Logstash-Forwarder syslog-ng 1. Présentation 2. Installation Etape par Etape 3. Problème rencontré/ Solution A quoi ça sert? => Récupération des logs de façon centralisée, gérer et trouver efficacement des informations dans les milliers de lignes de logs que peuvent générer les divers services. Prérequis : Debian 8 Debian 7 3 cœurs afin d avoir plus 200% cpu (1 cœur = 100%) afin de faire tourner tous les services sans interruption Un stockage important (minimum 20 Go de préférence) 2. Installation Etape par Etape Etape par Etape : Installation java8 echo "deb http://ppa.launchpad.net/webupd8team/java/ubuntu trusty main" tee /etc/apt/sources.list.d/webupd8team-java.list echo "deb-src http://ppa.launchpad.net/webupd8team/java/ubuntu trusty main" tee -a /etc/apt/sources.list.d/webupd8team-java.list apt-key adv --keyserver hkp://keyserver.ubuntu.com:80 --recv-keys EEA14886 apt-get update apt-get install oracle-java8-installer Installation d Elasticsearch => Elasticsearch est un outil de recherche distribué en temps réel et un outil d analyse. echo 'deb http://packages.elasticsearch.org/elasticsearch/1.4/debian stable main' tee /etc/apt/sources.list.d/elasticsearch.list apt-get update apt-get -y install elasticsearch=1.4.4 OU wget http://download.elasticsearch.org/elasticsearch/elasticsearch/elasticsearch-1.4.4.tar.gz tar xvf elasticsearch-1.4.4.tar.gz mkdir /etc/elasticsearch && mkdir /usr/share/elasticsearch cp -R ~/elasticsearch-1.4.4/lib /usr/share/elasticsearch/ cp -R ~/elasticsearch-1.4.4/bin /usr/share/elasticsearch/
cp -R ~/elasticsearch-1.4.4/notice.txt /usr/share/elasticsearch/ cp -R ~/elasticsearch-1.4.4/readme.textile /usr/share/elasticsearch/ cp -R ~/elasticsearch-1.4.4/config/elasticsearch.yml /etc/elasticsearch/ cp -R ~/elasticsearch-1.4.4/config/logging.yml /etc/elasticsearch/ Dans: nano /etc/elasticsearch/elasticsearch.yml Il faut changer : network.host en network.host : localhost (ou mettre l adresse IP) Modifier le fichier : nano /etc/init.d/elasticsearch, il faut mettre en commentaire : if [ -n "$MAX_MAP_COUNT" ]; then fi sysctl -q -w vm.max_map_count=$max_map_count service elasticsearch restart update-rc.d elasticsearch defaults 95 10 Installation Kibana => est une interface web permettant de rechercher des infos stockées par Logstash dans ElasticSearch. cd ~ wget http://download.elasticsearch.org/kibana/kibana/kibana-4.0.1-linux-x64.tar.gz tar xvf kibana-4.0.1-linux-x64.tar.gz Changer la configuration de Kibana : nano ~/kibana-4.0.1-linux-x64/config/kibana.yml Changer le port et l host selon le serveur, de base : port : 5601 host : localhost On crée et copie le dossier de ~/kibana pour le mettre dans le /opt : mkdir -p /opt/kibana && cp -R ~/kibana-4.0.1-linux-x64/* /opt/kibana Kibana est prêt à être lancer. Afin de le lancer comme un service, il suffit de rajouter un script. Il faut créer un fichier : nano /etc/init.d/kibana4 Entrer le script suivant :!/bin/sh
/etc/init.d/kibana4 -- startup script for kibana4 bsmith@the408.com 2015-02-20; used elasticsearch init script as template https://github.com/akabdog/scripts/edit/master/kibana4_init BEGIN INIT INFO Provides: kibana4 Required-Start: $network $remote_fs $named Required-Stop: $network $remote_fs $named Default-Start: 2 3 4 5 Default-Stop: 0 1 6 Short-Description: Starts kibana4 Description: Starts kibana4 using start-stop-daemon END INIT INFO configure this with wherever you unpacked kibana: KIBANA_BIN=/opt/kibana/bin PID_FILE=/var/run/$NAME.pid PATH=/bin:/usr/bin:/sbin:/usr/sbin:$KIBANA_BIN DAEMON=$KIBANA_BIN/kibana NAME=kibana4 DESC="Kibana4" if [ `id -u` -ne 0 ]; then echo "You need root privileges to run this script" exit 1 fi. /lib/lsb/init-functions if [ -r /etc/default/rcs ]; then
fi. /etc/default/rcs case "$1" in start) log_daemon_msg "Starting $DESC" pid=`pidofproc -p $PID_FILE kibana` if [ -n "$pid" ] ; then log_begin_msg "Already running." log_end_msg 0 exit 0 fi Start Daemon start-stop-daemon --start --pidfile "$PID_FILE" --make-pidfile --background --exec $DAEMON log_end_msg $? ;; stop) log_daemon_msg "Stopping $DESC" if [ -f "$PID_FILE" ]; then start-stop-daemon --stop --pidfile "$PID_FILE" \ --retry=term/20/kill/5 >/dev/null if [ $? -eq 1 ]; then log_progress_msg "$DESC is not running but pid file exists, cleaning up" elif [ $? -eq 3 ]; then PID="`cat $PID_FILE`" log_failure_msg "Failed to stop $DESC (pid $PID)" exit 1 fi
status) ;; else fi log_end_msg 0 ;; rm -f "$PID_FILE" log_progress_msg "(not running)" status_of_proc -p $PID_FILE kibana kibana && exit 0 exit $? restart force-reload) *) esac if [ -f "$PID_FILE" ]; then fi $0 start ;; $0 stop sleep 1 log_success_msg "Usage: $0 {start stop restart force-reload status" exit 1 ;; exit 0 Rajouter les permissions, ainsi que permettre au Kibana de se lancer et le lancer. chmod +x /etc/init.d/kibana4 update-rc.d kibana4 defaults 96 9 service kibana4 start Installation Nginx / apache2-utils=> Nginx est un logiciel de serveur Web
apache2- utils est trompeuse. Il ne fait pas partie du serveur Apache. Apache dépend juste de choses que vous pouvez trouver dans ce paquet. Comme il se trouve, le compilateur dépend des mêmes services publics.cela signifie que, après la compilation et l'installation du nœud apache2 -utils peut être retiré en toute sécurité via la commande sudo apt- get remove apache- 2utils. Installation de Nginx apt-get install nginx apache2-utils Possibilité de rajouter un admin afin de «sécurisé» l accès (via la commande : htpasswd -c /etc/nginx/htpasswd.users admin Modification du fichier sites-available/default nano /etc/nginx/sites-available/default Supprimer le contenu et remplacer le contenu par : server { listen 80; server_name kibana.priv.ec-lille.fr; Changer selon le serveur auth_basic "Restricted Access"; auth_basic_user_file /etc/nginx/htpasswd.users; location / { proxy_pass http://localhost:5601; proxy_http_version 1.1; proxy_set_header Upgrade $http_upgrade; proxy_set_header Connection 'upgrade'; proxy_set_header Host $host; proxy_cache_bypass $http_upgrade; Puis redémarrer le service service nginx restart
Installation Logstash => est un outil de collecte, analyse et stockage de logs. echo 'deb http://packages.elasticsearch.org/logstash/1.5/debian stable main' tee /etc/apt/sources.list.d/logstash.list apt-get update apt-get install logstash Configuration, le certificat SSL: nano /etc/ssl/openssl.cnf Changer : subjectaltname=email:copy subjectaltname = IP: 172.31.4.152 Création : mkdir -p /etc/pki/tls/certs mkdir /etc/pki/tls/private Ou mkdir pki cd pki && mkdir tls cd tls mkdir certs && mkdir private Puis : openssl req -config /etc/ssl/openssl.cnf -x509 -days 3650 -batch -nodes -newkey rsa:2048 -keyout private/logstash-forwarder.key -out certs/logstash-forwarder.crt Puis les fichiers de configuration: nano /etc/logstash/conf.d/01-lumberjack-input.conf Incorporer : input { lumberjack { port => 5000 type => "logs" ssl_certificate => "/etc/pki/tls/certs/logstash-forwarder.crt" ssl_key => "/etc/pki/tls/private/logstash-forwarder.key" nano /etc/logstash/conf.d/10-syslog.conf
Incorporer: filter { if [type] == "syslog" { grok { match => { "message" => "%{SYSLOGTIMESTAMP:syslog_timestamp %{SYSLOGHOST:syslog_hostname %{DATA:syslog_program(?:\[%{POSINT:syslog_pid\])?: %{GREEDYDATA:syslog_message" add_field => [ "received_at", "%{@timestamp" ] add_field => [ "received_from", "%{host" ] syslog_pri { date { match => [ "syslog_timestamp", "MMM d HH:mm:ss", "MMM dd HH:mm:ss" ] nano /etc/logstash/conf.d/30-lumberjack-output.conf Incorporer: output { elasticsearch { host => localhost stdout { codec => json cette ligne est en commentaire car il prend trop de stockage, de plus pour cette utilisation cela n est pas vraiment utile. Puis redémarrer le service logstash : service logstash restart Copie du SSL Certificat : scp /etc/pki/tls/certs/logstash-forwarder.crt root@172.31.4.152:/tmp Installation de Logstash Forwarder Package => (il envoie les journaux de log à logstash, il est installé pour effectuer le transfert de log entre lui et logstash) :
echo 'deb http://packages.elasticsearch.org/logstashforwarder/debian stable main' tee /etc/apt/sources.list.d/logstashforwarder.list wget -O - http://packages.elasticsearch.org/gpg-key-elasticsearch apt-key add - apt-get update apt-get install logstash-forwarder Pour la certification SSL: mkdir -p /etc/pki/tls/certs cp /tmp/logstash-forwarder.crt /etc/pki/tls/certs/ Configurer le fichier de configuration : nano /etc/logstash-forwarder.conf A changer : "servers": [ "172.31.4.152:5000" ], "ssl ca": "/etc/pki/tls/certs/logstash-forwarder.crt", "timeout": 15 { "paths": [ "/var/log/squid3/access.log", "/var/log/squid3/access.log" ], "fields": { "type": "syslog" Puis redémarrer le service : service logstash-forwarder restart Installation Syslog-ng : permet une centralisation de ces journaux d'événements. Configuration du pare-feu, si le serveur est privé afin d atteindre le serveur de logs (ici, le proxy). Installation syslog-ng apt-get install syslog-ng
Crée la configuration par rapport à la récupération de log : nano /etc/logstash/conf.d/logstash.conf input { file { path => ["/var/log/squid3/access.log"] sincedb_path => "/var/log/logstash" start_position => "beginning" type => "syslog" tags => [ "squid3" ] Changer la configuration dans nano /etc/syslog-ng/syslog-ng.conf @version: 3.5 @include "scl.conf" @include "`scl-root`/system/tty10.conf" Syslog-ng configuration file, compatible with default Debian syslogd installation. First, set some global options. options { chain_hostnames(off); log_fifo_size(2048); create_dirs(yes); flush_lines(0); use_dns(no); use_fqdn(no); owner("root"); group("adm"); perm(0640); dir_perm(0755); stats_freq(0); bad_hostname("^gconfd$"); ; Sources This is the default behavior of sysklogd package Logs may come from unix stream, but not from another machine.
source s_src { system(); internal(); unix-stream("/dev/log"); file("/proc/kmsg" program_override("kernel: ")); ; If you wish to get logs from remote machine you should uncomment this and comment the above source line. source s_net { tcp(ip(127.0.0.1) port(1000) authentication(required) encrypt(allow)); ; source s_net { udp(ip(172.31.4.153) port(514)); ; Destinations First some standard logfile destination d_auth { file("/var/log/auth.log"); ; destination d_cron { file("/var/log/cron.log"); ; destination d_daemon { file("/var/log/daemon.log"); ; destination d_kern { file("/var/log/kern.log"); ; destination d_lpr { file("/var/log/lpr.log"); ; destination d_mail { file("/var/log/mail.log"); ; destination d_syslog { file("/var/log/syslog"); ; destination d_user { file("/var/log/user.log"); ; destination d_uucp { file("/var/log/uucp.log"); ; This files are the log come from the mail subsystem. destination d_mailinfo { file("/var/log/mail.info"); ; destination d_mailwarn { file("/var/log/mail.warn"); ; destination d_mailerr { file("/var/log/mail.err"); ; Logging for INN news system destination d_newscrit { file("/var/log/news/news.crit"); ; destination d_newserr { file("/var/log/news/news.err"); ; destination d_newsnotice { file("/var/log/news/news.notice"); ; Some `catch-all' logfiles. destination d_debug { file("/var/log/debug"); ; destination d_error { file("/var/log/error"); ; destination d_messages { file("/var/log/messages"); ; The root's console. destination d_console { usertty("root"); ; Virtual console.
destination d_console_all { file(`tty10`); ; The named pipe /dev/xconsole is for the nsole' utility. To use it, you must invoke nsole' with the -file' option: $ xconsole -file /dev/xconsole [...] destination d_xconsole { pipe("/dev/xconsole"); ; Send the messages to an other host destination d_net { tcp("127.0.0.1" port(1000) authentication(on) encrypt(on) log_fifo_size(1000)); ; Debian only destination d_ppp { file("/var/log/ppp.log"); ; template sarg_template { template("$unixtime $MSG\n"); template_escape(no); template("$isodate $MSG\n"); template_escape(no); ; destination hosts { file("/var/log/squid3/access.log" template(sarg_template) frac_digits(3) owner(root) group(root) perm(0600) dir_perm(0700) create_dirs(yes)); ; Filters Here's come the filter options. With this rules, we can set which message go where. filter f_dbg { level(debug); ; filter f_info { level(info); ; filter f_notice { level(notice); ; filter f_warn { level(warn); ; filter f_err { level(err); ; filter f_crit { level(crit.. emerg); ; filter f_debug { level(debug) and not facility(auth, authpriv, news, mail); ; filter f_error { level(err.. emerg) ; ; filter f_messages { level(info,notice,warn) and not facility(auth,authpriv,cron,daemon,mail,news); ; filter f_auth { facility(auth, authpriv) and not filter(f_debug); ;
filter f_cron { facility(cron) and not filter(f_debug); ; filter f_daemon { facility(daemon) and not filter(f_debug); ; filter f_kern { facility(kern) and not filter(f_debug); ; filter f_lpr { facility(lpr) and not filter(f_debug); ; filter f_local { facility(local0, local1, local3, local4, local5, local6, local7) and not filter(f_debug); ; filter f_mail { facility(mail) and not filter(f_debug); ; filter f_news { facility(news) and not filter(f_debug); ; filter f_syslog3 { not facility(auth, authpriv, mail) and not filter(f_debug); ; filter f_user { facility(user) and not filter(f_debug); ; filter f_uucp { facility(uucp) and not filter(f_debug); ; filter f_cnews { level(notice, err, crit) and facility(news); ; filter f_cother { level(debug, info, notice, warn) or facility(daemon, mail); ; filter f_ppp { facility(local2) and not filter(f_debug); ; filter f_console { level(warn.. emerg); ; Log paths log { source(s_src); filter(f_auth); destination(d_auth); ; log { source(s_src); filter(f_cron); destination(d_cron); ; log { source(s_src); filter(f_daemon); destination(d_daemon); ; log { source(s_src); filter(f_kern); destination(d_kern); ; log { source(s_src); filter(f_lpr); destination(d_lpr); ; log { source(s_src); filter(f_syslog3); destination(d_syslog); ; log { source(s_src); filter(f_user); destination(d_user); ; log { source(s_src); filter(f_uucp); destination(d_uucp); ; log { source(s_src); filter(f_mail); destination(d_mail); ; log { source(s_src); filter(f_mail); filter(f_info); destination(d_mailinfo); ; log { source(s_src); filter(f_mail); filter(f_warn); destination(d_mailwarn); ; log { source(s_src); filter(f_mail); filter(f_err); destination(d_mailerr); ; log { source(s_src); filter(f_news); filter(f_crit); destination(d_newscrit); ; log { source(s_src); filter(f_news); filter(f_err); destination(d_newserr); ; log { source(s_src); filter(f_news); filter(f_notice); destination(d_newsnotice); ; log { source(s_src); filter(f_cnews); destination(d_console_all); ; log { source(s_src); filter(f_cother); destination(d_console_all); ; log { source(s_src); filter(f_ppp); destination(d_ppp); ; log { source(s_src); filter(f_debug); destination(d_debug); ; log { source(s_src); filter(f_error); destination(d_error); ; log { source(s_src); filter(f_messages); destination(d_messages); ; log { source(s_src); filter(f_console); destination(d_console_all); destination(d_xconsole); ; log { source(s_src); filter(f_crit); destination(d_console); ; Réception Logs SQUID3
log { source(s_net); filter(f_messages); destination(hosts); ; log { source(s_net); destination(hosts); ; All messages send to a remote site log { source(s_src); destination(d_net); ; Include all config files in /etc/syslog-ng/conf.d/ @include "/etc/syslog-ng/conf.d/" Kibana peut avoir les logs du serveur de log :
Optimisation : Crontab e Rajouter dans le fichier : 1 0 * * * echo > /var/log/squid3/access.log // Permet de vider access.log, qui prends de la place, à 0h01 1 0 * * * find /var/lib/elasticsearch/elasticsearch/nodes/0/indices/ -name "logstash-*" -type f - mtime +60 -exec rm -f { \; // après plusieurs essais le Kibana fini par planté, second problème il faut reboot le serveur pour que les fichier soit totalement supprimer du disque ( reboot = redémarrer tous les services). 3. Problème rencontré/ Solution Problèmes qui peuvent être rencontré : Si le serveur doit être reboot, il faut restart tous les services : service elasticsearch restart && service logstash-forwarder restart && service logstash restart && service kibana4 restart && service syslog-ng restart Attention : Si le serveur arrive à 100% de son espace disque ( df h), il faut vider les logs du fichier,ici, de squid3 donc : cd /var/log/squid3, puis echo < access.log et supprimer les dossier dans le répertoire cd /var/lib/elasticsearch/elasticsearch/nodes/0/indices/, ensuite il faut reboot : reboot puis restart pour les services : service logstash restart service elasticsearch restart service kibana4 restart
service logstash-forwarder restart Si sur le Kibana il n y a plus de log qui arrive, c est soit : -squid3 ne fonctionne plus, (vérifier : tail f /var/log/squid3/access.log), voir avec le serveur en question. - le CPU a atteint son pourcentage autorisé (top : dans le ssh) dans ce cas il faut redémarrer les services (service logstash restart service elasticsearch restart service kibana4 restart service logstashforwarder restart) et augmenté les cœurs pour éviter d avoir à nouveau le problème. Si besoin de faire de l espace, vider les logs de /var/log/squid3/access.log, echo /dev/null > /var/log/squid3/access.log Fichier qui pose problème niveau stockage : cd /var/lib/elasticsearch/elasticseach/nodes/0/indices rm r logstash-2015- mois et date du jour
service elasticsearch restart Attention : on perd l affichage des logs en question Si on supprime le fichier du jour reboot le serveur afin d avoir de nouveau l a prise de log. Différentes phases d observations par rapport au stockage : 15/06/2015 : 2.4 go au début, 2.8 go en fin d aprèm 17/06/2015 : 4.2 go à 11h, vide du fichier acces.log => 3.3 Go 18/06/2015: 4 go à 9h10 4.4 go à 13h 4.7 go à 16h45 19/06/2015: 4.9 go à 9h10 5.1 go à 11h45 5.2 go 13h 5.5go 16h30 22/06/2015: 6.6 go à 9h10, après avoir vidé access.log, gain de 1 go (5.1 go), 5.7 go à 16h45 23/06/2015: 6.0 go à 09h15 6.6go à 16h30 24/06/2015: 6.9 go à 09h10 7.5go à 16h45 25/06/2015: 7.7 go à 9h10 7.9 go à 13h00 26/06/2015: restauration du serveur