SPAM & Anti-SPAM. Fabrice.Prigent. tlse1.fr Université Toulouse 1 Sciences Sociales. Présentation RSSI du 20 Mars 2003 Fabrice.Prigent@univ-tlse1.

Transcription

1 SPAM & Anti-SPAM Fabrice.Prigent tlse1.fr Université Toulouse 1 Sciences Sociales 1/70

2 SPAM & Anti-SPAM Généralités La lutte anti-spam Lutter «administrativement» Ne pas être dans les bases des spammeurs Perturber les spammeurs Filtrer les SPAMs Outils anti-spam Informations complémentaires 2/70

3 Généralités La lutte anti-spam Lutter «administrativement» Ne pas être dans les bases des spammeurs Perturber les spammeurs Filtrer les SPAMs Outils anti-spam Informations complémentaires 3/70

4 Contexte de l étude Université en Sciences Sociales étudiants dont 20% ont activé leur mail mail par semaine 2,5 Go de mail par semaine Un antivirus de messagerie (ralentissement) 4/70

5 Définitions : SPAM Courrier non sollicité envoyé de manière automatique Courrier basé sur une liste d adresses collectées de manière déloyale et illicite Aussi appelés pourriels SPAM = Spice Ham (Malbouffe américaine ==> sketch des Monty Python) SCAM = SPAM d escroquerie. 5/70

6 Définitions : Autres HAM : courrier «correct» Faux négatif : SPAM non détecté Faux positif : HAM détecté comme SPAM Opt-in : Abonnement (pub) Opt-out : Désabonnement Double Opt-in : abonnement + confirmation 6/70

7 Les inconvénients Consommateur en bande passante en CPU, mémoire, espace disque Les SPAMs pornographiques Abondants & énervants 7/70

8 Légalité des SPAMs Législation française (LEN : en cours) SPAM interdit Sauf vers les entreprises! Législation européenne : 12 juillet 2002 Collecte d adresses réprimé article 25 de la loi du 6 Janvier 1978 Utilisation de serveurs relais involontaires Loi Godfrain & 2 8/70

9 Etat du SPAM : mondial, chiffres US 50% pour le Gartner group AOL : Jusqu à 1 Milliard de SPAMs bloqués par jour 26 par jour par utilisateur 9/70

10 Etat du SPAM : UT1 20% maximum 40% des BALs ont moins de 5% 60% moins de 10% 75% moins de 20% Les SPAMs sont concentrés 2% des BALs regroupent 50% des SPAMs Le spam est-il un problème pour tout le monde? SPAM <=> Effort 10/70

11 Les choses changent Les lois se mettent en place LEN : Loi pour l économie numérique Législation européenne Des outils sortent L IETF se penche sur la question : L ASRG : Anti-Spam Research Group 11/70

12 Généralités La lutte anti-spam Lutter «administrativement» Ne pas être dans les bases des spammeurs Perturber les spammeurs Filtrer les SPAMs Outils anti-spam Informations complémentaires 12/70

13 Lutter administrativement Interdiction du SPAM Lois «locales» Comment lutter contre un SPAM chinois? Projet Black Penny Faire payer les mails Origine : Microsoft (No comment ) Paiement éventuel en cycles CPU 13/70

14 Ne pas être dans les bases Eviter de donner une vraie adresse RFC sur les adresses «invalid» dans les news Cocher systématiquement les opt-out Modifier les liens par Ne pas se désabonner (confirmation) Outil de «redirection de mail» Voir CNIL 14/70

15 Perturber les spammeurs (1) Trous noirs web Wpoison, Spam-X, Seed Spambots Schéma repérable, pas de conjonction, pas d images, les mails sont internationaux et non locaux Ralentisseurs TarProxy Listes de diffusion et adresses piège Attention aux virus qui auscultent les pages web Rendre les refus temporaires 4xx au lieu de 5xx Uniquement si suffisamment de Bande passante 15/70

16 Perturber les spammeurs (2) Les attaquer Illégal Dommages collatéraux (adresses spoofées) Abonner les spammeurs à des spammeurs Idem 16/70

17 Filtrer les SPAMs La loi Lutte globale ou individuelle Où place-t-on l évaluation? l action? De nombreux critères Origine Contenu Comportement Multiplicité et pondération 17/70

18 La loi Le mail est une correspondance privée Son détournement est illégal Son détournement par un fonctionnaire est considéré comme plus grave affaire de l ESPCI : art conseils Prudence Prudence Le courrier électronique (Que sais-je?) Lucien Rapp 18/70

19 Filtrage : Où filtrer? Hypothèses La législation interdit la destruction de correspondance Les bayesiens nécessitent 1000 mail Les filtres efficaces sont lourds en traitement Solutions : Evaluation au niveau du site et décision individuelle header de statut ou de probabilité de SPAM positionné filtre basé sur la présence du header Evaluation et décision individuelle (popfile, ifile) 19/70

20 Filtrage : De nombreux critères Filtrage Origine Comportement Contenu WhiteLists Blacklists Fréquence Checksum Cohérence SMTP Mots Relais ouverts Spammeurs RegExp Bayesien Assemblage Pondération 20/70

21 Filtrage : Origine Choix du sens Blacklist Whitelist Choix du paramètre Sur une machine, un réseau Sur une adresse mail 21/70

22 Filtrage : Origine/Blacklists Exemples : MAPS RBL (spammeurs) MAPS ORBL (relais ouverts) MAPS DUL (classes de clients de provider) Problèmes associés Faux positifs (wanadoo, listes.cru.fr) Politiques variables : + ou - agressives S enlever d une liste 22/70

23 Filtrage : Origine/WhiteLists Outils Active Spam Killer Demande un mail de confirmation Accepte une fois pour toute les personnes Uniquement individuel Module AWL de Spamassassin Qurb Difficultés Comment généraliser à un site? Peut se contourner (pb des from spoofés) 23/70

24 Filtrage : Comportement Fréquence ex : J-chkmail Analyse la fréquence d envoi Refuse les mails trop rapides 24/70

25 Filtrage : Mots/expressions Liste de mots clés (token) Mots Phrases Expressions régulières Problèmes Renouvellement fréquent Faux négatifs Faux positifs 25/70

26 Filtrage : Cohérence SMTP Détruit les mails faisant trop d erreurs Evite les rebonds par proxy HTTP Incohérence des en-têtes Le destinataire différent du champ To: Pas de champ Subject Pas de champto: 26/70

27 Filtrage : Checksum Prise d une empreinte d un message Comparaison face à une base Base razor (spamassassin) Base DCC (messagewall) Problème : Faux positifs pour les listes de diffusion Variation sur les SPAMs 27/70

28 Filtrage : Pondération Multiplier les tests Les pondérer En faire la somme Prendre une décision sur un seuil Problèmes: Difficulté de l évaluation des poids Temps de calcul (2 secondes par mail) Efficace 28/70

29 Filtrage : Pondération/Outils Spamassassin Messagewall 29/70

30 Filtrage : Bayesien (1) Utilisation récente Travaux de Paul Graham (Août 2002) Travaux de Robinson Travaux de Robinson sur Fisher Principe d apprentissage Classification plus que détection de SPAMs De très nombreux outils se sont crées 30/70

31 Filtrage : Bayesien (2) Base contenant Terme ou token (mot, bi-mot, tri-mot, voire phrase) Nombre d apparitions dans chaque classe (SPAM/HAM) Calcul de la probabilité d appartenir à chaque classe Problèmes : Apprentissage long Bien choisir son apprentissage (penser à la poubelle!) Technique émergente Penser à nettoyer les bases 31/70

32 Filtrage : Bayesien (3) Avantages Rapide (5 à 50 fois plus rapide) Très efficace Résiste à des erreurs d apprentissage Rarement de faux positifs Exemples Site : Bogofilter, SpamProbe, CRM114 Individu : popfile, MacOS X, Mozilla 32/70

33 Généralités La lutte anti-spam Lutter «administrativement» Ne pas être dans les bases des spammeurs Perturber les spammeurs Filtrer les SPAMs Outils anti-spam Informations complémentaires 33/70

34 Outils anti-spams SpamAssassin Bogofilter CRM114 34/70

35 Spamassassin : Présentation Merci à Denis Ducamp Filtre à pondération Version 2.50 (intègre du bayesien) En perl Disponible avec un daemon et un client évitant le rechargement de perl 35/70

36 Spamassassin : fonctionnalités Ensemble très important de tests (923) Analyse des en-têtes Analyse du contenu Listes noires (MAPS, ordb, spamhaus, etc.) Listes collaboratives de checksum (RAZOR 1 & 2) (plus pour très longtemps) Bayesien (depuis la 2.50) 36/70

37 Spamassassin :méthode Pondération obtenue par algorithme génétique Exemples de tests Habeas -6.4 Razor Faked Undisclosed-recipients 4.3 Référence au Senate Bill /70

38 Spamassassin : utilisation Résultat obtenu sous forme d étoile X-Spam-Status : ****** X-Spam-Status : *************** Facile à utiliser pour les clients Permet à l utilisateur de régler le niveau Très volubile si nécessaire 38/70

39 Bogofilter : Présentation Filtre bayesien En est à la version Encore en évolution En C et utilise la Berkeley DB 39/70

40 Bogofilter : Principe de fonctionnement (1) Apprentissage de 2 corpus : SPAM & HAM Décompose chaque mail en mots Pour chaque mot Nombre de fois qu il apparaît en spam Nombre de fois qu il apparaît en ham Stockage dans une BdD 40/70

41 Bogofilter : Principe de fonctionnement (2) Application de l apprentissage Décompose le mail en mots Prend la note de chaque mot Note = proba d être spam, proba d être ham Fait un «produit cumulatif» en spam & ham SPAM=Produit(note_spam[mot]) HAM=Produit(note_ham[mot]) Note = moyenne(spam,ham) 41/70

42 Bogofilter : quelques «notes» From: 0.5 Cordialement 0.07 X-sieve Href Foxmail Cachemaster Mail.wzptt.zj.cn Imageready /70

43 Bogofilter : Fonctionnalités 3 algorithmes Graham (algorithme initial) => moyenne Robinson ==> Cas des mots non connus (f(w)) Robinson/Fisher ==> méthode du khi 2 Décodage MIME Décodage HTML 43/70

44 Bogofilter : Résultats Evaluation par site & évaluation individuelle sont très différentes Individuelle >98% de SPAMs détectés <0.1% de faux positifs (voir 0% au bout de 1 mois) Par site 50% en global sans apprentissage de même type < 80% en global avec apprentissage <0.1% de faux positifs 44/70

45 Bogofilter : La divergence (1) Les utilisateurs ne remontent que les erreurs 95-99% des erreurs sont des faux négatifs Donc si changement de fonctionnement (nouveau serveur, nouvelle ip, etc) Nouveau terme considéré comme SPAM Solution : Auto-apprentissage 45/70

46 Bogofilter : La divergence (2) Filtre donne SPAM ou HAM Peu d utilisateurs appliquent le filtre Peu d utilisateurs remontent des erreurs Les erreurs se confortent par autoapprentissage Solution : 3 états : SPAM, Unsure, HAM les unsure ne sont pas auto-appris 46/70

47 Bogofilter : Méthode Robinson/Fisher 3 états possibles avec Fisher Note < 0,10 ==> HAM Note > 0,95 ==> SPAM Le reste ==> Unsure En fait plus de 50% des Unsure sont des SPAMs. Les SPAMs sont des SPAMs Les HAMs sont des HAMs 47/70

48 Bogofilter : Méthode Robinson/Fisher Fisher est plus rapide que Graham/Robinson 20% en moyenne Fisher est moins efficace que Graham/Robinson 10% en moyenne Idées Descendre le niveau de SPAM (mais >> 50%) Nous l avons descendu à 80% Utiliser des filtres pour Unsure 48/70

49 Bogofilter : Précautions Prendre des BALs des divers labos de l établissement Utiliser régulièrement bogoutil Pour vider les mots peu utilisés Pour vider les mots trop anciens Pour reconstruire la BdD Prévoir que la BdD peut grossir (20 Mo) 49/70

50 CRM114 Méthode bayesienne sur phrase (Bayesian Chain Rule) Très bon détecteur (>99,9%) Peu de mail sont nécessaires Piste considérée comme intéressante Mais En phase alpha Temps de traitement : 30 secondes par mail 50/70

51 Résultats 51/70

52 Précautions Les mesures avec bogofilter sont très dépendantes de la BdD!!! Les résultats ont varié dans les 2 derniers mois Généralisation Graham->Fisher 52/70

53 Répartition des notes : Spamassassin ,0% 100,0% 80,0% 60,0% 40,0% 20,0% Nombre Pourcentage ,0% 53/70

54 Répartition des notes : Robinson ,0% ,0% ,0% ,0% Nombre Pourcentage ,0% ,0% ,0% 54/70

55 Répartition des notes : Fisher ,0% 100,0% 80,0% 60,0% 40,0% 20,0% Nombre Pourcentage ,0% 55/70

56 Temps d analyse Serveur Bi-pentium III 933 Mhz 512 Mo de RAM Résultats Spamassassin en mode spamc/spamd 100 messages prennent 15 secondes Dépend beaucoup d interrogations réseaux Bogofilter 100 messages prennent 3 secondes 56/70

57 Temps d analyse 2 Difficile d évaluer la vitesse de Spamassassin «parallélisable» Mise en cache des requêtes DNS 57/70

58 Comparatif des méthodes Faux négatifs (pool de 2000 Spams) Spamass 4 Spamass 5 Spamass 6 Spamass 7 Spamass 8 Spamass 9 Robinson Fisher Faux négatifs 19,4% 30,0% 40,4% 50,8% 60,8% 68,3% 14,7% 22,5% Faux positifs (pool de 1291 ham) Spamass 4 Spamass 5 Spamass 6 Spamass 7 Spamass 8 Spamass 9 Robinson Fisher Faux positifs 2,56% 0,93% 0,31% 0,00% 0,00% 0,00% 0,08% 0,00% 58/70

59 Comparatif des méthodes : graphique 80,0% 3,00% 70,0% 60,0% 50,0% 40,0% 30,0% 20,0% 10,0% 2,50% 2,00% 1,50% 1,00% 0,50% Faux négatifs Faux positifs 0,0% 0,00% Spass 4 Spass 5 Spass 6 Spass 7 Spass 8 Spass 9 Robinson Fisher 59/70

60 Mise en place Spamassassin/Bogofilter Spamassassin Installation Mise en route de la notation Filtres locaux Bogofilter Installation Recherche de volontaires Constitution d'un corpus de HAM Constitution d'un corpus de SPAM Alimentation de la base Mise en route de la notation Filtres locaux Information pour la remontée Correction permanente 60/70

61 Résumé sur les outils 61/70

62 Avis positifs Bogofilter Plus rapide Plus efficace (pas de faux positif) Plus réactif Spamassassin Plus simple d installation Plus simple d utilisation Quasiment aucune maintenance 62/70

63 Aspects négatifs Bogofilter Long à mettre en route Collecte pour la BD Dépend énormément de l apprentissage Apprentissage manuel permanent Attention au biais des mesures Attention aux proportions d apprentissage Spamassassin Lent Moins efficace pour les non-us Faux positifs 63/70

64 Généralités La lutte anti-spam Lutter «administrativement» Ne pas être dans les bases des spammeurs Perturber les spammeurs Filtrer les SPAMs Outils anti-spam Informations complémentaires 64/70

65 Problèmes annexes (1) Eviter d être pris pour un spammeur Empêcher les relais (SMTP ET HTTP) telnet relay-test.mail-abuse.org Empêcher les sorties SMTP hors serveur Utiles aussi pour les virus Se désinscrire des blacklists pour se repérer Problèmes SPAM et Virus sont connexes 65/70

66 Problèmes annexes (2) Les évasions Insertion de commentaires html Enlar<!-- toto -->ge your p<!-- toto --> Mail sous forme d images Atteinte à la vie privée, et à la confidentialité Web-bugs 66/70

67 Urls /70

68 Merci de votre attention Des questions? 68/70

69 Annexes 69/70

70 Schéma du mail à UT1 SMTP 25 PostFix Interscan Anti-virus SMTP-2 25 Postfix Bogofilter.sh 24 LMTPD (cause sieve) Cyrus-IMAP 70/70

71 Configurer Eudora (1) 71/70

72 Configurer Eudora (2) 72/70

73 Configurer Eudora (3) 73/70

74 Réalités mathématiques : Graham Soit p1,p2,..pn les probabilités des mots d un mail d être spam P=spamicité, Q=non spamicité P = 1 n n Q = 1 n P i i= 1 n i= 1 (1 P i ) S = 1+ ( P Q) ( P + Q) 2 74/70

75 Réalités mathématiques : Robinson Fact_echelle = nb_spam_total/nb_ham_total s=constante = 1 x=valeur si pas de données (0.4) F(w) : probabilité individuelle du mot f ( w) = ( s + nb _ ( s * x spam + w + nb _ spam nb _ ham * w ) fact w _ echelle) 75/70

76 Réalités mathématiques : Fisher Prbx=fonction khi2 inverse n P = prbx 2* ln(1 w= 1 n Q = prbx 2* ln( f w= 1 f ( w),2* n ( w),2* n S = ( 1+ Q + P) 2 76/70