Configuration et utilisation de l'analyseur de Journaux

Le Serveur de communication IceWarp Configuration et utilisation de l'analyseur de Journaux Version 10.3 Juin 2011 Icewarp France / DARNIS Informatique

i Sommaire Configuration et utilisation de l'analyseur de journaux 2 Introduction... 2 Présentation de l'analyseur de journaux... 2 Importation des journaux... 3 Configuration... 3 Importer les journaux dans la base de données... 6 La visualisation des journaux... 6 Configuration du visionneur de journaux... 6 Visualisation des statistiques... 9 Message de statistiques... 12

2 Configuration et utilisation de l'analyseur de journaux Introduction Ce document précise les différentes étapes dans la mise en œuvre de l'analyseur de journaux (ILA - Icewarp Log Analyser). Il est destiné aux administrateurs qui désirent mettre en œuvre l'analyseur de journaux pour obtenir une vue synthétique du fonctionnement de leur serveur. Les journaux analysés sont actuellement : SMTP, POP3, IMAP, Anti-Virus et Anti-Spam. D'autres journaux et d'autres formats de sortie seront proposés au fur et à mesure des nouvelles versions d'icewarp. L'utilisation de cet outil nécessite une licence. Cette licence est attachée au serveur IceWarp qui exporte ses données, elle n'est pas attachée à l'outil de présentation lui même (le visionneur) qui peut être exécuté sur autant de machines que nécessaire. Présentation de l'analyseur de journaux L'analyseur de journaux est un outil d'analyse statistique et logique des journaux générés par le serveur IceWarp. Son fonctionnement est divisé en 2 étapes : 1. L'importation des journaux générés par le serveur dans une base de données Cette importation est effectuée par l'intermédiaire de la console d'administration d'icewarp. Une fois la configuration définie, l'importation est effectuée quotidiennement de façon automatique. Les données du plusieurs serveurs peuvent être exportées dans la même base de données. 2. La visualisation des données qui peut être exécutée de deux façons :

- Par le visionneur des journaux Configuration et utilisation de l'analyseur de journaux 3 Ces requêtes sont effectuées à partir d'un outil graphique externe (ila.exe) qui permet d'exécuter des requêtes prédéfinies ou des requêtes spécifiques sur la base de données contenant les journaux importés. Cet outil peut s'exécuter sur n'importe quelle machine capable d accéder à la base de données des journaux. - Par les messages de statistiques Une synthèse prédéfinie peut être envoyée quotidiennement à un administrateur. Voir la configuration et un exemple dans le paragraphe correspondant. Importation des journaux Configuration L'analyseur de journaux fonctionne avec des bases de données suivantes : MS Access, MySQL, MS SQL. MS Access n'est pas conseillé si les volumes sont importants. Le système est prédéfini avec une base MS Access ( \icewarp\loganalyzer\loganalyzer.mdb) et peut fonctionner de cette façon si la charge n'est pas trop importante (les journaux sont de petite taille). Pour utiliser une autre base, il faut : Installer le logiciel base de données (MS SQL ou MySQL) Créer la base de données dédiée avec l interface native du SGBD Il n'y a pas besoin de créer les tables, elles seront crées automatiquement dès la première utilisation. Sous Linux, il faut passer par un driver ODBC. Pour que des données soient importées, il faut : Que les journaux des services à analyser soient activés (afin d avoir des données brutes à analyser) : Système -> Services -> onglet Général -> mettre la colonne Journaux en mode Etendu.

Configuration et utilisation de l'analyseur de journaux 4 Activer l'analyseur de journaux Etat -> Analyseur de journaux -> onglet Général -> Activer et sélectionner les journaux à traiter Configurer l'accès à la base de données Etat -> Analyseur de journaux -> onglet Général -> bouton "Paramètres BD..." Indiquer le nom de la base, le nom/ip du serveur BD, le compte d'accès à la base et son mot de passe. Voici un exemple pour MySQL :

Configuration et utilisation de l'analyseur de journaux 5 Définir les options d'importation Dans Etat -> Analyseur de journaux -> onglet Général -> Options L'option "Importer l'intégralité des données" permet d'importer, en plus des informations nécessaires aux requêtes standards, toutes les autres informations. Ceci permet de définir des requêtes spécifiques sur des données qui ne sont normalement pas importées mais augmente sensiblement la taille du fichier d'importation et de la base. Le champ "ID serveur" permet de donner un numéro à ce serveur ce qui permet de le différencier des autres serveurs importés lorsque les données de plusieurs serveurs sont mémorisées dans la même base de données. Définir les options de maintenance Etat -> Analyseur de journaux -> onglet Général -> Maintenance Il est possible de vider les tables avant les importations (manuelles ou automatiques) ce qui limite la mémorisation des données à une journée ou de supprimer les données au bout d'un certain nombre de jours. Il est possible de définir une séquence SQL qui sera lancée avant la suppression des données (Cette option n est possible que si l'option de suppression des données anciennes est activée). Emettre des rapports de statistiques Etat -> Analyseur de journaux -> onglet Statistiques Cette option permet de recevoir par mail une synthèse des statistiques du système. Ce mail est envoyé tous les jours aux adresses indiquées dans le champ "A". Plusieurs adresses de messagerie peuvent être indiquées, séparées par des virgules. Un exemple de message envoyé est donné à la fin de ce document.

Configuration et utilisation de l'analyseur de journaux 6 Importer les journaux dans la base de données Les journaux sont importés : Soit manuellement : aller dans Etat -> Analyseur de journaux -> onglet Général -> bouton "Importer" et choisir une date dans le calendrier affichée. Le calendrier s'arrête à la date du jour. Un message indiquant le lancement de l action d importation en tâche de fond s affiche. S il s agit de la toute première importation, c est à ce moment que les tables sont crées dans la base de données Soit automatiquement tous les jours (entre 2h00 et 2h30). Un journal d importation est accessible dans Etat -> Journaux -> Analyseur de journaux. La visualisation des journaux Configuration du visionneur de journaux Le visionneur peut être lancé : Soit par la console d'administration (Analyseur de journaux -> onglet Général -> bouton "Visionneur"). Soit en lançant directement l'application de l'analyseur : ila.exe (à recopier à partir du répertoire loganalyzer d'icewarp). Il peut être exécuté à distance, il suffit donc de télécharger la console distante. Il est possible de choisir la langue dans le menu Options -> Langues.

Pour MySQL, il faut installer le driver ODBC (version 3.51 ou 5.1). Pour configurer l'accès à la base de données, ouvrir le visionneur : Configuration et utilisation de l'analyseur de journaux 7 puis faire un clic droit et lancer "Modifier" sur le menu "Default" et modifier la configuration ou double cliquer sur "nouvelle" pour créer un nouveau lien. On obtient la fenêtre suivante lorsque le driver MySQL ODBC est choisi : Il faut alors rentrer les paramètres de la base de données : serveur, nom de la base, utilisateur et mot de passe. Une nouvelle base apparaît dans le menu "Connexion base de données".

Configuration et utilisation de l'analyseur de journaux 8 Options sur les domaines locaux L'analyseur permet d'avoir des statistiques sur les messages qui sont émis et reçus par domaine. Il est possible de restreindre ces statistiques aux domaines locaux (option "uniquement le domaine local") mais il faut pour cela que le système les connaisse. Options -> Paramètres ouvre la fenêtre sur les domaines locaux : Les options sont les suivantes : aucun : le système ne fait pas la différence entre les domaines locaux et les autres, les statistiques sont quand même exploitables. API : si l'analyseur est lancé sous le répertoire de IceWarp, cette solution est la plus simple mais elle ne fonctionne que dans ce cas. URL : c'est une page web qui retourne la liste des domaines. C'est la meilleure solution, après la précédente, car la liste est unique et peut être mise à jour facilement. Fichier : C'est un fichier ascii qui contient la liste des domaines (un par ligne). Le serveur IceWarp contient un outil qui permet de créer automatiquement cette liste, i faut se placer dans l'invite de commande Windows dans le répertoire principal d'icewarp et lancer : tool.exe export domain * > file_list.txt

Configuration et utilisation de l'analyseur de journaux 9 Visualisation des statistiques Pour visualiser les données, il faut alors : - Sélectionner la base de données dans le menu "Database connections" puis double cliquer dessus (elle doit apparaître en gras) - Sélectionner le menu que l'on souhaite visualiser par un double clic - Cliquer sur le bouton pour actualiser les données (ce bouton doit être utilisé à chaque fois qu'un nouveau menu est sélectionné) et ouvrir une nouvelle fenêtre. On obtient alors par exemple avec le menu Global :

Configuration et utilisation de l'analyseur de journaux 10 Les catégories suivantes sont associées à chaque message : ANA AS AV CA CNC DBF DNSBL ERROR GRLST INCPLT MS OK SCAN SDME TARP TIMEOUT UNK WDNR Message refusé : Accès non autorisé Message refusé : Anti spam Message refusé : Anti Virus Message transmis à une adresse collectrice La session client SMTP a échoué (connexion impossible) Message supprimé par un filtre La session a été refusée parce que l'adresse de l'émetteur est en liste noire Message refusé à cause d'une erreur inconnue (domaine sans adresse ou sans rdns) Message refusé par la liste grise Session incomplète Taille du message Message transmis correctement Une connexion a été établie mais aucun message transmis Message refusé : le domaine de l'émetteur n'existe pas Message refusé par le mécanisme de prévention des intrusions Déclenchement d'une temporisation pendant une session Message refusé : le destinataire est inconnu Message refusé : le relayage est interdit Exemple de recherche des messages émis par une adresse mail :

Configuration et utilisation de l'analyseur de journaux 11 Visualisation du calendrier indiquant les données présentes dans la base (double cliquer sur le menu Calendrier) :

Configuration et utilisation de l'analyseur de journaux 12 Message de statistiques Ce message est configuré dans l'onglet Statistiques du menu Analyseur de journaux : Voici un exemple de message obtenu lorsque la synthèse porte sur une seule journée : Loganalyzer Statistics for server main (processed at 01:21:28 23/08/2010) SMTP - Messages received SMTP - Messages sent SMTP - Incoming messages SMTP - Outgoing messages SMTP - Most Active Recipient's Domains SMTP - Most Active Recipient's Domains SMTP - Most Active Sender's Domains SMTP - Most Active Sender's Users SMTP - Results POP3 - log rows POP3 - Most Active IPs POP3 - Most Active By Connections POP3 - Most Active By Size POP3 - Top 20 mailboxes by size POP3 - Result Antispam - log rows Antispam - log rows by action Antispam - log rows by components Antivirus - log rows SMTP - Messages received Number of messages received in the last 7 days. Date Count Accepted Rejected 22/08/2010 1422 17 1405 SMTP - Messages sent Number of messages sent in the last 7 days.

Configuration et utilisation de l'analyseur de journaux 13 Date Count Accepted Rejected 22/08/2010 5 5 0 SMTP - Incoming messages Number of incoming messages (top 20 IP) IP Count Accepted Rejected 60.166.96.240 104 0 104 202.188.29.91 30 0 30 94.215.14.57 18 0 18 82.224.20.207 16 0 16 41.220.237.90 15 0 15 178.175.114.48 10 0 10 82.42.224.156 9 0 9 77.36.96.43 8 0 8 127.0.0.1 8 8 0 118.71.145.117 7 0 7 123.237.204.13 7 0 7 188.51.78.22 6 0 6 66.43.62.8 6 3 3 79.175.170.13 6 0 6 117.199.182.44 5 0 5 117.194.225.9 5 0 5 86.152.174.234 5 0 5 188.62.207.120 5 0 5 85.54.184.226 5 0 5 41.178.113.165 5 0 5 SMTP - Outgoing messages Number of outgoing messages (top 20 IP) IP Count Accepted Rejected 93.17.128.85 2 2 0 93.17.128.5 1 1 0 127.0.0.1 1 1 0 93.17.128.14 1 1 0 SMTP - Most Active Recipient's Domains Number of mails received for Top 20 recipient's domains. Domain Count Accepted Rejected any78.org 712 1 711 laberverie.com 282 4 278 yahoo.com 60 0 60 talkingmedicine.com 45 4 41 ymcachgo.org 9 0 9 firstteamhonda.com 6 0 6 marklehman.com 6 0 6 go2delphi.com 6 0 6 farrington.com 6 0 6 scottiescanvas.com 5 0 5 kyoshoku-c.co.jp 3 0 3 in.ngb.army.mil 3 0 3 vinc3nt.com 3 0 3 hartonsa.com 3 0 3 datastrip.net 3 0 3 boersemabv.nl 3 0 3 iceusa.com 3 0 3 evrotex.com 3 0 3 ecornell.com 3 0 3 dambrewery.com 3 0 3 SMTP - Most Active Recipient's Domains

Configuration et utilisation de l'analyseur de journaux 14 Number of mails sent for Top 20 recipient's domains. Domain Count Accepted Rejected mennesson 1 1 0 darnis.com 1 1 0 neuf.fr 1 1 0 english-talking-medicine.com 1 1 0 lpo.fr 1 1 0 SMTP - Most Active Sender's Domains Number of mails processed for Top 20 sender's domains. Count Domain 145 any78.org 81 laberverie.com 25 comcast.net 16 talkingmedicine.com 13 btcentralplus.com 12 rr.com 10 recoil.com 10 roweholdings.com 10 research-insight.com 10 rautaruukki.com 10 mailpride.com 10 rouit.com 9 arcor-ip.net 9 virginmedia.com 8 fpt.vn 8 charter.com 8 mashable.com 8 telesp.net.br 7 t-ipconnect.de 7 jalopnik.com SMTP - Most Active Sender's Users Count Domain 2 b.mennesson@neuf.fr 2 amiable@amiableforever.com 1 cobian@mennesson 1 talkingmedicine@talkingmedicine.com SMTP - Results Count RESULT 660 TARP Tarpitting 426 ERROR Generic Error 239 ANA Access Not Allowed 50 SCAN Port Scan 22 OK OK 13 UNK User Unknown 9 GRLST Greylisting (temporary error) 6 WDNR We Do Not Relay 2 INCPLT Incomplete Session POP3 - log rows Count Date 437 22/08/2010 POP3 - Most Active IPs Count IP 40 93.17.128.8 8.128.17-93.rev.gaoland.net

38 193.252.22.56 pop.orange.fr 38 93.17.128.17 17.128.17-93.rev.gaoland.net 37 193.252.23.65 pop.orange.fr 35 80.12.242.149 35 93.17.128.87 87.128.17-93.rev.gaoland.net 30 93.17.128.26 26.128.17-93.rev.gaoland.net 29 193.252.22.90 pop.orange.fr 28 80.12.242.143 pop.orange.fr 28 80.12.242.51 pop.orange.fr 24 80.12.242.8 pop.orange.fr 24 80.12.242.60 pop.orange.fr 23 80.12.242.90 pop.orange.fr 23 80.12.242.14 pop.orange.fr 2 81.88.48.101 massenet.register.it 1 213.186.33.20 ns0.ovh.net Configuration et utilisation de l'analyseur de journaux 15 POP3 - Most Active By Connections Count Account 142 bdte.mennesson@orange.fr 142 b.mennesson@neuf.fr 141 amiable@orange.fr 6 b.mennesson@wanadoo.fr 1 bertrand.mennesson@neuf.fr 1 postmaster@siteany78.org 1 bertrand.mennesson@amiableforever.com 1 postmaster@laberverie.com POP3 - Most Active By Size Top 20 account with largest POP3 traffic Size [MB] Account,000 bdte.mennesson@orange.fr,000 bertrand.mennesson@amiableforever.com,000 bertrand.mennesson@neuf.fr,000 b.mennesson@neuf.fr,000 postmaster@laberverie.com,000 amiable@orange.fr,000 b.mennesson@wanadoo.fr,000 postmaster@siteany78.org POP3 - Top 20 mailboxes by size Top 20 mailboxes with largest disk space occupation Size [MB] Account,004 b.mennesson@wanadoo.fr,000 amiable@orange.fr,000 b.mennesson@neuf.fr,000 bdte.mennesson@orange.fr,000 postmaster@siteany78.org,000 bertrand.mennesson@amiableforever.com,000 bertrand.mennesson@neuf.fr,000 postmaster@laberverie.com POP3 - Result Count 437 OK OK Antispam - log rows Count Date 36 22/08/2010

Configuration et utilisation de l'analyseur de journaux 16 Antispam - log rows by action Count Action 18 NONE 16 DELETE 2 SPAM Antispam - log rows by components Count Components 1 BODY, SPAMASSASSIN, 1 BAYES, SPAMASSASSIN, Antivirus - log rows Count Date 89 22/08/2010