Tutorial j chkmail. José Marcio Martins da Cruz Ecole des Mines de Paris. Jose Marcio.Martins@ensmp.fr chkmail.ensmp.fr

Transcription

1 Tutorial j chkmail José Marcio Martins da Cruz Ecole des Mines de Paris Jose Marcio.Martins@ensmp.fr chkmail.ensmp.fr 1

2 Plan Milters Kezako? j chkmail Kezako? Installation de j chkmail Où sont...? Les outils en ligne de commande Surveillance et contrôle du filtre Configuration de j chkmail Base de données j policy Variables d'environnement Détection des Xfiles 2

3 Plan Interface anti virus Filtrage comportemental et de conformité Filtrage de contenu anti SPAM Greylisting en cours Autres options de configuration Conclusions 3

4 4 Milters Kezako?

5 La bibliothèque libmilter Grosso modo : une interface de programmation permettant d'intégrer «en temps réel» un traitement externe dans la chaîne de traitement du protocole SMTP. Le filtre fourni des callbacks pour les commandes SMTP CONNECT, EHLO, MAIL, RCPT, DATA (8.13 FFR), EOM et QUIT plus HEADERS, END_OF_HEADERS et BODY. Le filtre est un daemon multithreaded qui communique avec sendmail par l'intermédiaire d'une socket UNIX ou INET Un milter (mail filter) a besoin de : Sendmail (d'habitude /usr/lib/sendmail ou /usr/sbin/sendmail) cd sendmail ;./Build;./Build install Libmilter (/usr/lib/libmilter.a et /usr/include/libmilter/*) cd sendmail /libmilter;./Build;./Build install Et le filtre avec ses dépendances 5

6 Un milter et sendmail sendmail Listen (port 25) j chkmail /var/run/j chkmail.sock sendmail SMTPS Client SMTP sendmail SMTPS Client SMTP Antivirus externe sendmail SMTPS Client SMTP (clamd/j sophosd) sendmail SMTPS Client SMTP Multithread (pthread_create) Multiprocessus (fork) 6

7 Libmilter «pool of workers» Avec la libmilter d'origine, chaque connexion SMTP correspond à un thread dans le processus filtre. Ceci est un problème pour des gros serveurs (des centaines de connexions simultanées). La plupart du temps, les threads sont inactifs, en attente d'une commande en provenance de sendmail en fait, de l'ordre de 99 % du temps. chkmail.ensmp.fr/libmilter est une implémentation alternative de la libmilter utilisant un «pool of workers». Deux «workers» sont démarrés au départ. Ils ne sont appelés que quand il y a une commande à traiter. 7

8 Configuration de sendmail sendmail.mc (jchkmail v.v/smconfig/milter.mc) INPUT_MAIL_FILTER(`j chkmail',`s=local:/var/run/jchkmail/j chkmail.sock, T=C:2m;S:20s;R:20s;E:5m') define(`confinput_mail_filters',`j chkmail') define(`confmilter_log_level',`9')dnl define(`confmilter_macros_connect', ``j, _, {daemon_name}, {if_name}, {if_addr}, {client_resolve}'') define(`confmilter_macros_helo', ``{tls_version}, {cipher}, {cipher_bits}, {cert_subject}, {cert_issuer}'') define(`confmilter_macros_envfrom', ``i, {auth_type}, {auth_authen}, {auth_ssf}, {auth_author}, {mail_mailer}, {mail_host}, {mail_addr}'') define(`confmilter_macros_envrcpt', ``{rcpt_mailer},{rcpt_host},{rcpt_addr},{nrcpts},{nbadrcpts}'') define(`confmilter_macros_eom', ``{msg_id}'') sendmail.cf (jchkmail v.v/smconfig/milter.cf) O InputMailFilters=j chkmail Xj chkmail, S=local:/var/run/jchkmail/j chkmail.sock, T=C:2m;S:20s;R:20s;E:5m O Milter.macros.connect=j, _, {daemon_name}, {if_name}, {if_addr}, {client_resolve} O Milter.macros.helo={tls_version}, {cipher}, {cipher_bits}, {cert_subject}, {cert_issuer} O Milter.macros.envfrom=i, {auth_type}, {auth_authen}, {auth_ssf}, {auth_author}, {mail_mailer}, {mail_host}, {mail_addr} O Milter.macros.envrcpt={rcpt_mailer},{rcpt_host},{rcpt_addr},{nrcpts},{nbadrcpts} O Milter.macros.eom={msg_id} 8

9 9 j chkmail Kezako?

10 j chkmail Kezako? Un filtre de messagerie pour sendmail avec la bibliothèque libmilter But : rapidité environ 60K lignes de code en C Anti virus Filtrage de X Files (messages avec des fichiers attachés exécutables sous windows) Interface clamd et j sophosd Interface serveur AV générique (contrib/user filter) Anti spam Comportement cadences diverses, spamtraps, harvest,... Pattern Matching Filtrage URL Filtre heuristique («Oracle») «Petits checks entre amis» «Greylisting adaptatif» en cours 10 Protection du serveur

11 Documentation Fichier ChangeLog FAQ chkmail.ensmp.fr/registered/faq parfois recopiée dans contrib/doc chkmail.ensmp.fr/registered/faq fr 1.6 Contribution de Anne Capdepon Documentation Minable 8 ( contrib??? 11

12 Version 1.7 ou 1.8??? Les nouveautés de la version 1.7 Filtrage d'url Les nouveautés de la version 1.8 Base de données j policy Vérification de l'accessibilité du MX de l'expéditeur (rejet si défini dans j policy) Filtrage heuristique seuls les tests dont le taux de faux positif est très bas resteront. Greylisting adaptatif encore en validation Nettoyage du code 12

13 Liens utiles à j chkmail chkmail.ensmp.fr URL du site web du filtre chkmail.ensmp.fr/registered Partie privée et téléchargement du filtre chkmail.ensmp.fr/francais er Ressources pour la communauté E/R française chkmail.ensmp.fr/j sophosd Daemon interface avec lib SAVI Sophos chkmail.ensmp.fr/libmilter Version alternative de la libmilter utilisant un «pool of workers» 13

14 14 Installation de j chkmail

15 Installation rapide La première installation rapide... 8 ) tar xf jchkmail tgz cd jchkmail /configure; make; make install /usr/sbin/j-chkmail -n > /etc/mail/jchkmail/j-chkmail.cf # modification des fichiers de configuration dans /etc/mail/jchkmail /etc/init.d/jchkmail start Configurer sendmail pour causer avec j chkmail Noter la socket configurée dans j chkmail.cf (défaut : local:/var/run/jchkmail/j chkmail.sock) Configurer sendmail pour contacter j chkmail par l'intermédiaire de cette socket (voir transparents précédents) Relancer sendmail 15

16 Installation rapide Configurer syslog pour fonctionner avec j chkmail. Créer un fichier vide /var/log/j chkmail touch /var/log/j-chkmail Ajouter la ligne suivante au fichier /etc/syslog.conf, et relancer syslogd local5.* /var/log/j-chkmail OBS : la séparation entre les champs est constituée de tabulations et non pas de espaces En ce point, j chkmail doit fonctionner en mode surveillance uniquement. Toutes les fonctions de filtrage sont désactivées, par défaut. Mais vous devez voir les lignes de log correspondantes aux connexions et à l'activité de surveillance. 16

17 17 Où sont...???

18 Répertoires utilisés par j chkmail /usr/sbin et /usr/bin exécutables /etc/mail/jchkmail fichiers de configuration /var/jchkmail répertoire de travail /var/spool/jchkmail répertoire de spool /etc/init.d/jchkmail script de démarrage /etc/(default sysconfig)/jchkmail variables d'environnement /var/jgreyd répertoire de travail du daemon greylisting 18

19 Le répertoire de configuration /etc/mail/jchkmail -rw-r--r-- 1 root other May 19 22:14 j-chkmail.cf -rw-r--r-- 1 root other 9045 Jun 1 15:32 j-regex -rw-r--r-- 1 root other 4030 Jun 3 13:46 j-access -rw-r--r-- 1 root staff 1067 Feb 28 16:28 j-nets -rw-r--r-- 1 root other 1639 Apr 26 11:54 j-oradata -rw-r--r-- 1 root staff 897 Apr 20 17:28 j-xfiles -rw-r--r-- 1 root other 2290 Apr j-error-msg -rw-r--r-- 1 root staff 1224 Mar 29 09:54 j-local-users -rw-r--r-- 1 root other 450 Apr 26 13:02 Makefile -rw-r--r-- 1 root other 241 Oct get-urlbl -rw-r--r-- 1 root other Jun 10 17:10 j-urlbl.db -rw-r--r-- 1 root staff Jun 10 16:37 j-urlbl.txt -rw-r--r-- 1 root other Jun 3 22:22 j-policy.db -rw-r--r-- 1 root other Jun 3 22:22 j-policy.txt 19

20 Le répertoire de travail Les fichiers texte fichiers à retourner -rw-r--r-- 1 smmsp smmsp Jun 13 16:55 j-files -rw-r--r-- 1 smmsp smmsp Jun 13 16:56 j-regex -rw-r--r-- 1 smmsp smmsp 1180 Jun 13 16:56 j-state -rw-r--r-- 1 smmsp smmsp Jun 13 16:55 j-xreport Les compteurs du filtre -rw-r--r-- 1 smmsp smmsp Jun 13 16:53 j-stats Le historique à court terme -rw-r--r-- 1 smmsp smmsp Jun 13 16:56 j-bouncedata -rw-r--r-- 1 smmsp smmsp Jun 13 16:56 j-bytesdata -rw-r--r-- 1 smmsp smmsp Jun 13 16:56 j-conndata -rw-r--r-- 1 smmsp smmsp Jun 13 16:56 j-msgsdata -rw-r--r-- 1 smmsp smmsp Jun 13 16:56 j-rcptdata -rw-r--r-- 1 smmsp smmsp Jun 13 16:56 j-resolvedata -rw-r--r-- 1 smmsp smmsp Jun 13 16:56 j-scoredata -rw-r--r-- 1 smmsp smmsp Jun 13 16:56 j-svctimedata -rw-r--r-- 1 smmsp smmsp Jun 13 16:56 j-xfilesdata Le historique à moyen terme taille configurable -rw-r--r-- 1 smmsp smmsp Jun 13 16:56 j-history 20 Les bases greylisting -rw-r--r-- 1 smmsp smmsp Jun 13 16:56 j-greypend.db -rw-r--r-- 1 smmsp smmsp Jun 13 16:56 j-greyvalid.db -rw-r--r-- 1 smmsp smmsp Mar 29 12:16 j-greywhitelist.db

21 Le répertoire de travail /var/jchkmail j files fichier simple avec Xfiles detectés A98A IP=( ) XXX application/zip boulesdenoel.zip A98AA1.000 IP=( ) XXX application/octet-stream adrianna karembeu.exe A98C IP=( ) XXX application/octet-stream instructions.zip A98D IP=( ) XXX application/octet-stream document_excel.pif j xreport description des messages mis en quarantaine 42A CONN ANantes w abo.wanadoo.fr 42A WHY.xfile 42A QUAR 42A xfile 42A SUBJ Re: document 42A FROM <meuhmeuh34@msn.com> 42A RCPT <scherer@ensmp.fr> 42A SIZE A FILE XXX application/octet-stream document.pif j regex les trucs trouvés dans le contenu des messages A97B IP=( ) TAG=(REGEX) 1 5 &#[0-9]{1,5}; A97BAB.002 IP=( ) TAG=(REGEX) 1 2 [$][ ]?[0-9]{1,3} [mb]illion A97C IP=( ) TAG=(DBURLBL:multi.surbl) 1 20 datenicegirl.com A97C IP=( ) TAG=(DBURLBL:multi.surbl) 1 40 pics-4-show.com 21

22 Le répertoire de travail j stats les dumps des compteurs internes (pour RRDtool) CONN=( ) ABRT=( ) MSGS=( ) KBYTES=( ) RCPT= ( ) FILES=( ) XFILES=(165822) RCPTRATE=(0) THROTTLE=( ) OPENCONN=(5768) BADRCPT=(101412) SPAMTRAP=(19448) LOCALUSER=(7319) RESFAIL=(23979) RESFORG=(7746) MATCHING= ( ) ORACLE=( ) BADMX=(233862) 22

23 Le répertoire de quarantaine /var/spool/jchkmail lt total drwxr-x--- 2 smmsp smmsp Jun 10 15:31. -rw smmsp smmsp 50 Jun 10 15:31 42A rw smmsp smmsp Jun 10 15:27 42A9953C xfile -rw smmsp smmsp Jun 10 15:23 42A9943E xfile -rw smmsp smmsp 58 Jun 10 15:19 42A9930B rw smmsp smmsp Jun 10 15:18 42A xfile -rw smmsp smmsp 59 Jun 10 15:17 42A992FC rw smmsp smmsp 67 Jun 10 15:14 42A

24 Journaux syslog (local5 default) /var/log/milter utiliser outils spécifiques au système (newsyslog, logadm,...) /var/jchkmail/ j files j xreport j regex j stats j virus Rotation des fichiers de log Outils système pour fichiers générés par syslog (newsyslog, logadm,...) contrib/scripts/j rotate pour fichiers enregistrés dans /var/jchkmail 24

25 25 Les outils en ligne de commande

26 j chkmail le filtre lui même j printstats statistiques à partir des informations enregistrées sur disque j ndc statistiques par connexion au filtre j makemap manipulation des bases de données j scanfile scan (X Files) fichier message format mbox j greyd daemon greylisting contrib/ scripts non garantis scripts scripts perl pour manipuler les fichiers de log rrd jchkmail scripts perl pour créer des graphiques de suivi d'activité du filtre quarantine mgmt des scripts pour gérer la quarantaine (sortie automatique de la quarantaine???) scratch/ unsupported trucs utilisés pour des test. Les deux programmes qui peuvent intéresser sont j extract url et j check spam 26

27 j chkmail j chkmail [martins@localhost ~]$ j-chkmail -h Usage : j-chkmail options Joe's j-chkmail v1.8 - Alpha Compiled on May :45:49 -p : socket inet:2000@localhost local:/var/sock -i : 2000 (AF_INET) -u : /var/sock (AF_UNIX) -d : inet domain -h : help -c : configuration file -l : log level -m : create configuration file (running conf) -n : create configuration file (default) -v : version / runtime configuration -vv : version / compile time configuration -x : compile time X-FILES definition -t tablename, where tablename choosen between : access users networks classw regex rbl urlbl oradata xfiles 27

28 j chkmail Création d'un fichier de configuration avec les valeurs par défaut j chkmail n Création d'un fichier de configuration (propre) avec les valeurs actuelles Création d'un nouveau fichier de configuration lors d'une mise à jour 1. j-chkmail -m > j-chkmail.cf.new 2. diff /etc/mail/jchkmail/j-chkmail.cf j-chkmail.cf.new > j-chkmail.cf.diff 3. vi j-chkmail.cf.new 4. mv j-chkmail.cf.new /etc/mail/jchkmail/j-chkmail.cf Comment j chkmail a interpreté le fichier de configuration j-chkmail -v Affichage du contenu des tables j-chkmail -t access users networks regex rbl urlbl oradata xfiles 28

29 j makemap Manipulation des bases de données j chkmail Résumé des options : j makemap h Création d'une base de données j-makemap -b /path/to/fichier.db -m [erase skip update] < fichier.txt Dump d'une base de données j-makemap -d -b /path/database.db -w 64 j-makemap -d -b /path/database.db -k racine Comptage du nombre d'enregistrements j-makemap -c -b /path/database.db j-makemap -c -b /path/database.db -k racine Duplication d'une base de données j-makemap -d -b oldbase.db j-makemap -b newbase.db Ex : mise à jour de la base j policy.db mv j-policy.db j-policy.db.old j-makemap -m e -b j-policy.db < j-policy.txt j-ndc reload databases 29

30 j scanfile Détection de XFILEs dans un message au format mbox j scanfile [ v[v[v]] msg msg msg martins@paris:sendmail/virus/exemples> j-scanfile -v W95.Hybris.Gen.1 Loading j-chkmail configuration Fadings default values Reading configuration file : /etc/mail/jchkmail/j-chkmail.cf Reloading configuration tables... # Loading REGEX table - Using PCRE : YES *** FILE W95.Hybris.Gen.1 scanned ***** (XFILE ) : attachment application/octet-stream sexynain.scr martins@paris:sendmail/virus/exemples> 30

31 31 Surveillance et contrôle du filtre

32 Surveillance du filtre Interface en ligne de commande j printstats traitement des fichiers de dump périodique j ndc connexion au filtre (telnet localhost 2010) Scripts de traitement contrib/scripts j regex stat traite le fichier /var/jchkmail/j regex j unwanted traite le fichier /var/log/milter j urlbl stat traite le fichier /var/jchkmail/j regex j xstat.pl traite le fichier /var/jchkmail/j files j handle xreport traite le fichier /var/jchkmail/j xreport (en cours) Scripts de traitement contrib/rrd jchkmail necessite installation de RRDTool j initrrd pour initialiser une base RRD j mem2rrd pour mettre à jour les bases RRD j dograph pour créer les graphiques à partir des bases RRD 32

33 j printstats Consultation à partir des données enregistrées sur disque Les compteurs internes j printstats a p g j-printstats -a Le historique court j printstats t[td] [ m all,conn,rcpt,bounce,msgs,vol,svc] [ l dt] j-printstats -ttd -m conn,rcpt,msgs,vol,svc Le historique long j printstats q [ l dt [s m h d]] [[ v ip hostname] [ m s e re ro rt rr r x c rm st rb ]] j-printstats -q -l 1d listes.cru.fr j-printstats -q -l 3h -m rb Résolution DNS des clients SMTP j printstats r[rdc] j-printstats -rrd 33

34 j ndc Connexion directe sur le filtre (telnet) le filtre n'attend que 10 sec. Commande, modification variables de configuration, consultation statistiques temps réel Exemples : j-ndc help [cmd] j-ndc version j-ndc stats connopen j-ndc stats scores j-ndc reconfig j-ndc reload databases j-ndc reopen logfiles j-ndc setcf XFILES REJECT j-ndc setcf OPEN_CONN_FROM_LOCAL version du filtre - connexions ouvertes - histogramme des scores - ré chargement de la configuration - réouverture des bases de données - réouverture des fichiers de log - activation détection des XFILES - modification paramètre 34

35 j ndc configuration Dans /etc/mail/jchkmail/j chkmail.cf CTRL_CHANNEL_ENABLE CTRL_SOCKET CTRL_ACCESS Dans /etc/mail/jchkmail/j access YES NONE ACCESS Connect: CTRL_ACCESS_OK Dans /etc/mail/jchkmail/j policy.txt CtrlChan:DEFAULT CtrlChan: CtrlChan: Dans j ndc my $HOST = " "; my $PORT = 2010; REJECT OK OK 35

36 Exemple de «stats» que l'on peut faire une fois par jour... HOJE=`date +"%a %e %b %Y"` /var/log/j-xstat.pl > xfiles.txt /usr/bin/j-printstats -ttd > ttd.txt /usr/bin/j-printstats -q -l 1d > tout.txt /usr/bin/j-printstats -rrcd > rrd.txt./j-regex-stat.pl /var/jchkmail/j-regex > regex.txt./j-urlbl-stat /var/jchkmail/j-regex > urlbl.txt./j-urlbl-stat -t URLSTR /var/jchkmail/j-regex > urlstr.txt./j-urlbl-stat -t URLEXPR /var/jchkmail/j-regex > urlexpr.txt./j-unwanted /var/log/milter > unwanted.txt /usr/ucb/mail -s "Statistiques X-FILES $HOJE" martins < xfiles.txt /usr/ucb/mail -s "Stats j-chkmail - URLBL $HOJE" martins < urlbl.txt 36

37 37 La configuration de j chkmail

38 Fichiers de configuration j-chkmail.cf Tables j-regex j-access j-nets j-oradata j-xfiles j-error-msg j-local-users - Fichier principal de configuration - Expressions regulières Pattern matching - Accès - Réseaux connus niveau de confiance - Quelques paramètres du filtre heuristique - Définitions des XFiles - Contenu des messages de notification - Adresses de destination utilisables dans les réseaux connus Bases de données Makefile, get-urlbl Conversion des bases de données texte -> db j-urlbl.db j-urlbl.txt j-policy.db j-policy.txt - Liste noire d'urls - Base de données policy 38

39 Classement réseaux (niveau de confiance) Classes LOCAL > DOMAIN > FRIEND configuration AUTH authentifié KNOWN = LOCAL DOMAIN FRIEND AUTH UNKNOWN tous les autres Configuration /etc/mail/jchkmail/j nets 10/8 LOCAL /32 LOCAL /24 DOMAIN /etc/mail/jchkmail/j policy.txt NetClass: NetClass: DOMAIN LOCAL 39

40 Pattern Matching Fichier /etc/mail/jchkmail/j regex # OU POIDS EXPRESSION # OU = SUBJECT HEADERS BODY HELO ANYWHERE BODY BODY BODY BODY 10 <font [^>]*color=["]?(#[ef]{6,6} white)["]?[^>]*> 25 <IMG[^>]{1,160}><BR><IMG[^>]{1,160}><BR><IMG[^>]{1,160}> 20 http[s]?://[^> *\t\r\n]{1,100}\\*http[s]?:// 10 get.{1,40}(doctorate university).{1,40}diploma ANYWHERE 20 WINNING NOTIFICATION SUBJECT 50 Get.*free URLEXPR 10 cnn.com/[^ ]{1,20}/africa/ URLEXPR 10 [a-z]+[0-9]{2,5}(biz drug[s]? medications rx meds tabs pill[s]?)\.(biz us com) URLSTR 50 bigbonus-casino.net 40

41 j access Connect:KNOWN/From:ensmp.fr Connect:KNOWN/From:cma.fr NO_ORACLE NO_ORACLE # CNRS - CRU Connect: Connect: Connect: # OSSIR Connect: NO_SPAM_CHECK NO_SPAM_CHECK NO_SPAM_CHECK NO_SPAM_CHECK # amadeus.net - les billets de voyage Connect: NO_ORACLE From:yahoo.com From:hotmail.com CHECK_DOMAIN_ADDRESS CHECK_DOMAIN_ADDRESS Connect:UNKNOWN/To:blackhole@paris.ensmp.fr SPAMTRAP Connect: Connect: CTRL_ACCESS_OK CTRL_ACCESS_OK Ce fichier va peut être disparaître un jour... remplacé par j policy.txt 41

42 j oradata # Syntax : TYPE value # where TYPE = ( CHARSET BOUNDARY MAILER HTML-TAG ) MAILER MAILER MAILER CHARSET CHARSET CHARSET BOUNDARY BOUNDARY BOUNDARY BOUNDARY HTML-TAG HTML-TAG HTML-TAG HTML-TAG mailing\.[0-9]\.[0-9]\.[0-9] Postmaster BDNMailer [a-z]{1,8}-mail v[0-9]\.[0-9]\.[0-9]$ ^big5$ ^gb18030$ ^gb2312$ ^.{1,14}$ ^--=BOUNDARY_[0-9]{9,9}_[a-z]{4,4}_[a-z]{4,4}_[a-z]{4,4}_[a-z]{4,4}$ boundary[0-9a-f]{8,8}_related WebTV-Mail- <iframe[^>]*> <script[^>]*> <input[^>]*> <a[^>]+href[^>]+ 42

43 43 j policy database

44 j policy contenu Valeurs associées à certains paramètres e.g. Cadence maximale de connexion pour une adresse IP, niveau de confiance d'une classe réseau,... Règles d'accès générales associées soit à un test, soit à une adresse réseau, soit à un expéditeur, soit à un destinataire. 44

45 Database policy logique d'intérrogation query full key if found return result extract domain part if (domain part is IP address) query IP address and network addresses if found return best matching result else query domains and sub domains if found return best matching result end if if (key is ) query user part if found return result end if query default value if found return result else return not found 45

46 j policy database E mail check : user@sub.domain.com ou user@ Full check : Tag:user@sub.domain.com 2. Domain check Domain part : Tag:sub.domain.com, Tag:domain.com, Tag:com Network check : Tag: , Tag:1.2.3, Tag:1.2, Tag:1 3. User part : Tag:user@ 4. Valeur par défaut : Tag:DEFAUT 46

47 j policy database IP ou domaine Ex : ConnRate pour paris.ensmp.fr et réseaux : , , , 194 Classe Réseau (NetClass) : , , , 194 Si trouvé : ConnRate:CLASS Nom : paris.ensmp.fr, ensmp.fr, fr Classe Réseau (NetClass) : paris.ensmp.fr, ensmp.fr, fr Si trouvé : ConnRate:CLASS Default value: ConnRate:DEFAULT ConnRate: > 100 ConnRate:ensmp.fr 110 cep.ensmp.fr -> 110 NetClass: MX > 200 NetClass: MX shiva.jussieu.fr -> 30 ConnRate:MX 200 ConnRate:LOCAL 50 ConnRate:DEFAULT 30 47

48 j policy database vérification triplet Ex : greylisting GreyCheckConnect:ip NO, YES, NO QUICK, YES QUICK Si non trouvé, GreyCheckConnect:DEFAULT GreyCheckFrom:from NO, YES, NO QUICK, YES QUICK Si non trouvé, GreyCheckFrom:DEFAULT GreyCheckTo:to NO, YES, NO QUICK, YES QUICK Si non trouvé, GreyCheckTo:DEFAULT GreyCheckConnect:DEFAULT GreyCheckConnect: GreyCheckConnect: GreyCheckFrom:yahoo.fr GreyCheckTo:martins@ GreyCheckTo:martins@cc.ensmp.fr YES NO-QUICK NO YES YES NO 48

49 j policy database vérification triplet En cas de conflit entre plusieurs destinataires (e.g. ContentCheck, XfilesCheck,...) Option de configuration POLICY_CONFLICT : DEFAULT, ONE_WIN, MAJORITY_WIN 49

50 j policy tags reconnus Tags reconnus : NetClass CtrlChan BadMX ConnRate ConnOpen RcptRate SpamTrap GreyCheck (Connect From To) Quarantine (Connect From To) * ContentCheck (Connect From To) * XfilesCheck (Connect From To) * VirusCheck (Connect From To) ** Notify ** IntranetRcpt * Très bientôt ** Un peu plus tard 50

51 51 Variables d'environnement

52 Variables d'environnement reconnues A mettre dans le fichier /etc/default/jchkmail ou /etc/sysconfig/jchkmail : JCHKMAIL_SOCKET=»inet:2000@localhost» DB_CACHE_SIZE=4M DESIGNATED_QUARANTINE=yes FILE_EXT=»exe pif com scr» HIGH_LOAD_AUTO_RESTART=98 PERIODIC_AUTO_RESTART=24h JCHKMAIL_LOG_LEVEL=10 MILTER_LOG_LEVEL=9 52

53 53 Détection des XFiles

54 Définition XFILES Vérification de la définition par défaut des XFILES j-chkmail -v grep EXT 603 FILE_EXT (null) FILE NAME EXTENSIONS : - EXT : ade adp app bas bat bin btm chm cmd - EXT : com cpl csh dll drv exe fxp hlp hta - EXT : inf ini ins isp js jse ksh lnk mdb - EXT : mde mdt mdw msc msi msp mst ops pcd - EXT : pif prg reg scr sct shb shs sys url - EXT : vb vbe vbs vxd wsc wsf wsh [martins@localhost]$ [martins@localhost]$ j-chkmail -x 54 Modification (version 1.8) dans fichier aux/xfiles.def Fichier /etc/mail/jchkmail/j chkmail.cf Option FILE_EXT : si non null, remplace hardcoded definition FILE_EXT exe pif exe com Option FILE_REGEX : nom de fichier correspondant à expression régulière FILE_REGEX \.xls\.pif$

55 Définition XFILES Fichier /etc/mail/jchkmail/j xfiles # configuration par défaut ALL DEFAULT # fichiers zip dont le type MIME n'est pas «x-zip-compressed»!x-zip-compressed \.zip$ # les fichiers zip dont le nom est plus court que 15 caractères ALL ^.{0,15}\.zip$ ALL;size=0, \.zip$ # fichiers codés aux format TNEF ou CLSID (spécifiques Microsoft) ALL TNEF ALL CLSID # les vulnérabilités RFC2046 message/partial DEFAULT message/external ALL Vérification de l'interprétation du fichier j xfiles j chkmail t xfiles 55

56 Configuration Détection des XFiles # XFILES # What to do with X-files? (OK, REJECT, NOTIFY, DISCARD) # VALUES : OK REJECT NOTIFY DISCARD X-HEADER XFILES OK # FILE_EXT # X-files filename extensions FILE_EXT exe pif com # FILE_REGEX # Regular expressions matching X-files filename FILE_REGEX \.xls\.pif$ # XFILE_SAVE_MSG # Shall quarantine messages containing X-Files? # VALUES : NO YES XFILE_SAVE_MSG YES # XFILE_SUBJECT_TAG # Tag to be inserted on Subject XFILE_SUBJECT_TAG 56

57 Notification virus et X Files Dans j chkmail.cf # NOTIFY_SENDER # Send warn message to sender # VALUES : NO YES NOTIFY_SENDER NO # NOTIFY_RCPT # Send warn message to recipient # VALUES : NO YES NOTIFY_RCPT YES # J_SENDER # Identity of sender of replacement warning message # VALUES : SENDER OTHER J_SENDER SENDER # J_SUBJECT # Subject of replacement warning message # VALUES : SUBJECT OTHER J_SUBJECT SUBJECT Définir message de notification dans j error msg 57

58 58 Interface anti virus

59 Interface antivirus Daemon externe Utilisation daemon clamd Utilisation daemon j sophosd ( chkmail.ensmp/fr/j sophosd) Utilisation d'un daemon générique (contrib/user filter) script Perl permettant d'utiliser presque n'importe lequel antivirus. Intégration à j chkmail d'une bibliothèque antivirus que des inconvénients. Les principaux sont le besoin de recompiler et réinstaller j chkmail à chaque nouvelle version de la bibliothèque et la difficulté de débogage ClamAV (./configure --with-clamav=path) Sophos SAVI (./configure --with-sophos=path) Gestion avancée de la quarantaine plus le fichier de log j xreport, par un programme externe. A faire contrib??? 59

60 Interface scanneur anti virus # SCANNER_ACTION # VALUES : OK REJECT NOTIFY DISCARD X-HEADER SCANNER_ACTION OK # SCANNER_SOCK # Communication socket between j-chkmail and external scanner # Syntax : inet:port@hostname local:socket_path SCANNER_SOCK inet:2002@localhost # SCANNER_PROTOCOL # Protocol # VALUES : INTERNAL CLAMAV SCANNER_PROTOCOL CLAMAV # SCANNER_TIMEOUT # Timeout waiting for the scanner answer SCANNER_TIMEOUT 15 # SCANNER_MAX_MSG_SIZE # Max message size to pass to scanner SCANNER_MAX_MSG_SIZE # SCANNER_SAVE # Shall messages be quarantined??? # VALUES : NO YES SCANNER_SAVE YES

61 Utilisation bibliothèque integrée ClamAV # libclamav - from ClamAV - VALUES : OK REJECT NOTIFY DISCARD X-HEADER CLAMAV_ACTION OK # ClamAV database directory CLAMAV_DBDIR /opt/clamav/db # Quarantine ClamAV detected virus - VALUES : NO YES CLAMAV_SAVE YES # Max Filesize to scan (0 = no limit) CLAMAV_MAXSIZE 0 Sophos # libsavi - from Sophos - VALUES : OK REJECT NOTIFY DISCARD X-HEADER SOPHOS_ACTION OK # Quarantine Sophos detected virus - VALUES : NO YES SOPHOS_SAVE YES # Max Filesize to scan (0 = no limit) SOPHOS_MAXSIZE 0 61

62 62 Filtrage comportementale et de conformité

63 Contrôle de Cadence Limitation du nombre de connexions ou destinataires sur une fenêtre de 10 min Configuration : Activation dans le fichier j chkmail.cf CHECK_THROTTLE NO CHECK_THROTTLE_CONN NO CHECK_THROTTLE_RCPT NO OBS : CHECK_THROTTLE = CHECK_THROTTLE_CONN CHECK_THROTTLE_RCPT Définition des limites dans j chkmail.cf CONN_THROTTLE_FROM_DOMAIN 200 CONN_THROTTLE_FROM_LOCAL 300 CONN_THROTTLE_FROM_FRIEND 100 CONN_THROTTLE_FROM_UNKNOWN 10 RCPT_THROTTLE_FROM_DOMAIN 200 RCPT_THROTTLE_FROM_LOCAL 300 RCPT_THROTTLE_FROM_FRIEND 100 RCPT_THROTTLE_FROM_UNKNOWN 25 63

64 Contrôle de cadence Définition des limites dans j policy.txt ConnRate: NetClass: FRIEND ConnRate:FRIEND 50 ConnRate:ensmp.fr 30 NetClass: DEPMATH ConnRate:DEPMATH 40 RcptRate: NetClass: FRIEND RcptRate:FRIEND 50 RcptRate:ensmp.fr 30 NetClass: DEPMATH RcptRate:DEPMATH 40 64

65 Contrôle de Cadence Mettre dans les classes LOCAL et DOMAIN les machines connues Surveiller, pendant quelque temps, le fonctionnement du filtre (j printstats ttd) Définir les limites en fonction des observations Si des adresses IP non locaux mais connus dépassent fréquemment les limites, les ajouter dans la classe FRIEND j-printstats -ttd more... - CONNECT : RCPTS : HOST NAME HOST ADDRESS - 01m 10m 01h : 01m 10m 01h : : : evry : localhost : net-adm : AToulon w abo.wanadoo.fr : nef2.ens.fr : fontainebleau : w : cep : : dh web.dircon.net : smtp6.wanadoo.fr : 3eme-meudon.rain.fr 65

66 Nombre de connexions ouvertes Limite dans le nombre de connexions ouvertes par un meme client Utile pour détection d'attaques de déni de service Configuration dans j chkmail.cf CHECK_OPEN_CONNECTIONS YES OPEN_CONN_FROM_DOMAIN 30 OPEN_CONN_FROM_LOCAL 30 OPEN_CONN_FROM_FRIEND 15 OPEN_CONN_FROM_UNKNOWN 6 Configuration dans j policy.txt ConnOpen: ConnOpen:ensmp.fr 20 ConnOpen:LOCAL 10 66

67 Petits checks entre amis... # Pattern matching (ces options seront surement changées ou regroupées dans la version 1.8 finale) # VALUES : NO YES CHECK_HEADERS_CONTENT YES CHECK_HELO_CONTENT YES CHECK_FROM_CONTENT YES # Existence de certains en-têtes (pas vraiment effectif) # VALUES : OK REJECT TEMPFAIL NO_TO_HEADERS OK NO_FROM_HEADERS OK NO_HEADERS OK # Les destinataires accessibles uniquement à partir des réseaux connus # CHECK_LOCAL_USERS (utilise fichier j-local-users) # VALUES : NO YES CHECK_LOCAL_USERS NO 67

68 Petits checks entre amis... Limitation du nombre de connexions vides par client SMTP ## CHECK_EMPTY_CONNECTIONS # Check the number of empty connections (YES ou NO) CHECK_EMPTY_CONNECTIONS NO # Maximum number of empty connections over 4 hours MAX_EMPTY_CONN 20 # CHECK_BADRCPTS # Vérifie le nombre de Bad Recipients (YES ou NO) CHECK_BADRCPTS NO # Maximum number of Bad Recipients over 4 hours MAX_BADRCPTS 20 # CHECK_BADEHLO # Check EHLO command parameter (YES ou NO) CHECK_BADEHLO NO # CHECK_BAD_NULL_SENDER # Check Bad '<>' Sender Address (YES ou NO) CHECK_BAD_NULL_SENDER NO 68