RES 224 Architecture des applications Internet email SMTP/POP3+IMAP4 dario.rossi RES224 Dario Rossi http://www.enst.fr/~drossi email Architecture SMTP + POP/IMAP Le protocole SMTP Commandes, Format de messages Apercu de POP/IMAP SPAM et email forging References Plan 1
email: les principes Principes similaires au courrier postale Acheminement en fonction de l adresse de destination Incapacité d authentifier l adresse de l expéditeur Système asynchrone décorrélation entre l E/R L émetteur n attend pas la disponibilité du récepteur Le récepteur consulte sa boîte à son rythme Pas de garantie de remise des messages Acquittement sous le contrôle du récepteur Pros/contres Plus rapide que le courrier papier Memepas besoin d un timbre (mais d un PC et forfait ISP) SPAM (debut2000, plus de SPAM que de emaillegitime) Usage excessif (cause de improductivité) email: Architecture Message Handling System (MHS) UA User Agent (UA) UA Message Transport System (MTS) MTA MS MTA MS Mailbox Storage (MS) MTA MTA MS Message Transfer Agent (MTA) MTA MS SMTP POP3/IMAP4 UA UA 2
email: Architecture Agents utilisateurs Composition, édition de mail Envoye du message vers server (protocole SMTP) Lecture des mails (POP/IMAP) Thunderbird, Outlook, elm, pine, etc. Daemons Serveur de mail SMTP File d'attentedes messages sortants Boiteà lettredes messages entrant pour les usagers locaux in out SMTP Internet in out email: Architecture 1) Alice utiliseson mailer pour composer un message; le mailer d Aliceenvoiele message à son serveur de mail, le message est misdansla file de sortie 2) Le serveur de mail effectue un DNS MX lookup pour trouver le serveur destinataire 3) Le côtéclient du serveur SMTP ouvreuneconnexiontcp avec le serveurmail de Bob, et luienvoye le message d Alice 4) Le serveur mail de Bob place le message dans la boite aux lettres de Bob, qui consultela boiteavec POP/IMAP 1. SMTP 2. DNS MX 3. SMTP Internet 4. POP/ IMAP 3
Simple Mail Transfer Protocol (SMTP) Simple Mail Transfer Protocol Defini dans RFC 821, 822, Upgradés par RFC 2821, 2822,... 5321 (Octobre 2008) Utilisation du port TCP 25 Example d implementation: sendmail, postfix Interet Transfert fiable du message depuis un client vers un serveur Non seulement au niveau TCP, mais au niveau application Transfert direct entre le serveur émetteur et le serveur récepteur Historiquement, transfer en plusieurs etapes Characteristiques Paradigme Client-server Client: émetteurde mail (PUSH) Serveur: récepteur de mail A chaqueetape, le serveurdeviensclient Protocole à etat handshake (établissement de la connexion) transfert des messages Fermeture de la connexion Interaction commande/ réponse Commande: texteascii Réponse: code d'état + phrase Format de messages 7bit ASCII Envoi en plusieurs etapes Relay Gateway Dansquelscason a besoinde plusieurs etapes? Apres tout, grace au DNS on connait le destinataire finale.. Source routing(deprecated) Serveur SMTP peu puissants e.g., ne re-essayent pas la trasmission, mais deleguent par default à un Relay SMTP Different protocoles E.g., il faut passer par un Gateway qui connait les deux protocoles (SMTP et XYZ) A chaque passage, il y a une delegation de responsabilité pour la fiabilité de bout en bout 4
Protocole SMTP: requetes Les requêtes (en ASCII) se terminent par CR LF Requêtes minimales supportés par toutes les implantations HELP : Renvoie les commandes disponibles HELO domaine : Identification du domaine MAIL FROM expéditeur : Identifie l'expéditeur par son adresse RCPT TO récepteur : Identifie le récepteur par son adresse DATA : Début du corps du message (se termine par un '.' sur la première colone seul sur une ligne) RSET : Reset VRFY : Vérifier l'adresse d'une personne QUIT : Fin Protocole SMTP: reponses Les réponses sont composées de trois digits : 2XX : Réponse positive 3XX : Réponse positive intermédiaire 4XX : Réponse négative transitoire 5XX : Réponse négative définitive Les deux derniers digits précisent le code retour; examples: 220 Service ready 251 User not local the message will be forwarded 354 Start mail input 452 Command aborted; insufficient storage 500 Syntax error; unrecognized command 551 User not local 5
Example de session SMTP S: 220 hamburger.edu C: HELO crepes.fr S: 250 Hello crepes.fr, pleased to meet you C: MAIL FROM: <alice@crepes.fr> S: 250 alice@crepes.fr... Sender ok C: RCPT TO: <bob@hamburger.edu> S: 250 bob@hamburger.edu... Recipient ok C: DATA S: 354 Enter mail, end with "." on a line by itself C: Do you like ketchup? C: How about pickles? C:. S: 250 Message accepted for delivery C: QUIT S: 221 hamburger.edu closing connection Escape Si on écrit un mail avec des lignes qui ne contiennent qu un seul point., comment on peut faire? SMTP va interpreter cela comme la fin du message Escape! En emission: si la ligne edité par l emetteur commence par., on y ajoute un. supplementaire au debut En reception: si la ligne commence par un., on l enleve; si il ne reste que CRLF, c est bien la fin de DATA Trick commun avec les protocoles de niveau 2 HDLC, PPP 6
Format de mail Format du courriel echangé par SMTP DefinitdansRFC 822 Lignes d'en-tête, (différentes des commandessmtp) ex : To : From : Subject : Corps du message le texte(et piece jointes) en caractères ASCII uniquement En-tête Corps du message Ligne vide Pas de besoin de CRC, Checksum pourquoi? Formats de mail RFC 822 Pour le protocole de mail, pas de difference entre To/Cc: Difference psychologique pour les usagers Difference entre To/Cc et Bcc (ce dernier est caché au 1ers) From/Sender peuvent differer (e.g., Boss/Secretaire ) 7
Formats de mail RFC 822 X- «custom» headers X-Confirm-reading-to: «the sender wish to be notified» Maintenant beaucoup de header lines pour spam, virus X-spam-assassin, X-virus-guardian, Exemples d entete 8
Exemples d entete 9
Comme commande ou dans l entete? MAIL FROM vs From:, RCPT TO vs To: Pourquoi en double?! Destinataire multiples (a@a.com, @b.com, @c.com) Le meme message est enovyé à plusieurs destinataires par different commandes RCPT TO vers different serveurs Comment pourrait a@a.com savoir de b.com et c.com? Mailing list, on veut par exemple qu en cas d erreur, un message soit addressé à l administrateur de la liste et non pas à l emetteur du message Le serveur SMTP en reception substitue la commande MAIL FROM: avec l administrateur, les erreurs en phase de transmission lui seront addressé L entete From: reste unchangé, les appartenant à la liste pourront repondre à celui qui a ecrit le message 10
Format de mail: envoi de donnésnon ASCII Le corpsdu mail ne contient que de caractères ASCII Alphabets avec accents (Français, Allemand) D autres alphabets (Juif, Russe) Pas d alphabet du tout (Chinois, Japonais) Qu est ce que c est un alphabet? (audio, images, binaire) Pour envoyer de données multimédia? Multi-purposeInternet Mail Extensions (MIME) Défini et mis en service en 1993, RFCs 1341,2045,2049 Le but du MIME est de coder tout attachement en caractères ASCII En-tête Corps du message α β Format de message: MIME Lignes supplémentaires dans l'en-tête du message pour déclarer un contenu de type MIME MIME version Méthode utilisée pour coder les données ttpe, sous-type des données multimédia (déclaration de paramètres) Données codées Erom: alice@crepes.fr To: bob@hamburger.edu Subject: Picture of crepes. MIME-Version: 1.0 Content-Transfer-Encoding: base64 Content-Type: image/jpeg base64 encoded data..................base64 encoded data 11
Format de message: MIME Types MIME definis à l origine Remarque: Lorsqueun nouveau format de fichier apparait(e.g., Flash, 3DTV) apparait, il suffitde declarer un nouveau type/soustype MIME Format de message: MIME From: alice@crepes.fr To: bob@hamburger.edu Subject: Picture of yummy crepe. MIME-Version: 1.0 Content-Type: multipart/mixed; boundary=startofnextpart Dear Bob, Please find a picture of a crepe. --StartOfNextPart Content-Transfer-Encoding: base64 Content-Type: image/jpeg base64 encoded data.........base64 encoded data --StartOfNextPart Do you want the reciple? --StartOfNextPart-- 12
Problemes de SMTP Mail storm Reference circulaire dans les mailing lists l addresse de la mailing list B est dans la mailing list A et l addresse de la mailining list A est dans B Solution: limiter le nombre de passages de serveur en serveur (max 100 Received: champs dans l entete) Ca vous rappelle quelque chose? Difference d implementation (timeouts) Considerez les cas: A->B, A->Relay->B En cas de problemes transitoires à B, si A re-essaye pendant un temps TA, et Relay essaye pendant TR < TA On a des niveaux de fiabilité differents SMTP vshttp Comparaison avec HTTP Client HTTP client: PULL SMTP client: PUSH Interaction requete/reponse Les 2 ontdes interactions commande/réponseascii et des codes d'état Encapsulation HTTP : chaque objet est encapsulé dansson propremessage de réponse SMTP : Un message contenant plusieurs objets est envoyé dans un seulmessage "multipart" Characteristiques SMTP Connexion utilise des connexions persistantes (plusieur messages entre serveurs) Moins de socket, moins de slowstart, plus de debit surdes gros volumes (imaginez Aol& Gmail) Messages demande que les messages (entêteet corps) soienten ASCII Certaineschaînesde caractèresne sontpas autoriséesdansles messages (ex : CRLF.CRLF) Le serveursmtp utilise CRLF.CRLFpour reconnaîtrela fin du message Les messages doivent alors être codés(généralement en base-64) 13
email: Protocoles d'accès SMTP : livraison/stockage chez le serveur en réception POP/IMAP/HTTP: protocoles d'accès mail depuis le destinataire Post Office Protocol (POP3, RFC 1939) Simple: authentication et téléchargement Protocole avec etat, peu d état associé aux messages (lu/non lu) Internet Message Access Protocol (IMAP4, RFC 1730) Plus de fonctionnalités(plus complexe) Manipulation sophistiqué de messages stockés sur le serveur HTTP Service Webmail type Gmail Hotmail, Yahoo! Mail, etc. 1. SMTP 2. DNS MX 3. SMTP Internet 4. POP/ IMAP Protocole POP3 POP3 : Post Office Protocol (version 3) Retrait de message sur un serveur de messagerie RFC 1939, TCP port 110 Position du côté de l UA (Thunderbird, Outlook, ) Supporté par tous les serveurs de messagerie Characteristiques Paradigme Client/Server de type Requete/Reponse Direction des donnés: de MTA vers UA (PULL) Format PDU en ASCII Les messages sont gérés et manipulés localement coté UA Au plus, on peut laisser une copie des messages dans la MS du server Peux flexible: un message ne peut être lu que s il a été récupéré entierement 14
Format requête cmd arg1 arg2 Format réponse -ERR arg1 arg2 +OK arg1 arg2 Protocole à état (3 phases): Authorization Transaction Update Protocole POP3 Commandes Authorization USER nom PASS passws QUIT Transaction STAT LIST [msg] RETR msg DELE msg NOOP RSET QUIT Phase d'autorisation S: +OK POP3 server ready C: user alice S: +OK C: pass hungry S: +OK user logged on Phase de transaction C: list S: 1 498 S: 2 912 S:. C: retr 1 S: <message 1 contents> S:. C: dele 1 C: retr 2 S: <message 1 contents> S:. C: dele 2 C: quit S: +OK POP3 server off Protocole IMAP4 IMAP 4 : Internet Message Access Protocol (ver. 4) Acces au serveur de messagerie TCP port 143, RFC 2060 Position du côté de l UA (Thunderbird, Outlook, ) De plus en plus supporté par les serveurs de messagerie (Gmail depuis ~2009) Characteristiques Paradigme Client/Server de type Requete/Reponse Direction des donnés: de MTA vers UA (PULL) Format PDU en ASCII Initialement conçu pour les stations ayant peu de ressources => maintenant bien adapte pour les usageres en mobilité Gestion, stockage, état du côté serveur Etat associé aux messages (vu, effacé, réponse faite, dossiers, tags) Flexible, IMAP4 donne accès aux entêtes des messages e.g., entetes telechargés d abord; corps lorsque on selectionne un message; les pièces jointes ne sont telechargé que si demandé par l usager 15
Commande LOGIN domaine_nt/compte_nt/ alias mot_de_passe Protocole IMAP4 Réponse attendue Description OK LOGIN Se connecte à la boîte aux lettres. SELECT dossier Mode du dossier & OK SELECT Sélectionne un dossier à afficher. FETCH n _de_message Texte du message & OK FETCH Récupère le message à l aide du n de message. STORE Indicateurs de message \indicateur EXPUNGE LOGOUT OK STORE OK OK Marque un message en vue de sa suppression ou pour lui affecter l état Lu/Non lu. Supprime tous les messages marqués. Termine la session. IMAP4 vs POP3 16
SPAM Attaques sur la messagerie Messages non sollicités ou SPAM Types d attaques Email bombing Emission du même message n fois vers un récepteur Email spamming Emission du même message vers n récipient Email spoofing(forging) Emission d un message avec un identifiant usurpé Email phishing Email Spamming + Email Spoofing + Fausse URL Note: faux URL parfois bien caché! Email infection Email Spamming + Email Spoofing + malaware (virus/backdoor/trojan ) 17
SPAM Quel emetteur? Usurpation des adresses (ip, usagers, serveurs) Usurpation des comptes utilisateurs Usage des maileurs officiels et gratuits (yahoo, voila,hotmail, ) Usurpation des ressources de serveurs relais Outil de scan de plage d adresses pour trouver un service sur le port 25 Configuration de compte en forwarding Mise en place de serveur et domaine officiel pour une courte durée Quel recepteur? Récolte des adresses email par Web, news, irc, salon, exploration des domaines, robots, listes de discussions Achat/échanges de listes Sous-traitance, Marketing officiel Consequences SPAM Pour le réseau: Saturation et occupation de ressources (bande passante réseaux) Etablissement de connexion TCP pour le serveur de messagerie Encombrement serveur (beaucoup de messages inutiles à traiter) Encombrement mailbox client Pour les usagers: Nuisance Détournements des informations et code malicieux Non conformité aux mœurs Impact économique En debut 2000s SPAM > mail normal En 2010, SPAM enormement reduit (~100 botnets) 18
SPAM Efficacité du SPAM? SPAM au large(e.g., botnets) pas rentable Social SPAM (e.g., postcardsenvoyé sur comptes hackés, address books personalisé) plus efficace Rentabilité du business model? Cfr. Additional readings SPAM Solutions Filtrage Filtrage sur l entête (Blacklist, Whitelist, Greylist, ) Filtrage sur le contenu (filtres Bayesien, de Bloom, Support VectorMachines ou technique d apprentissage/reconnaissance d images) Inconvénient: les faux positifs Authentification DomainsKey, S/MIME, Inconvénient: infrastructure de distribution de clés, Identification Sender Policy Framework (use de DNS RR, cfr. slidesuivant), Incovenient: necessite d application globale Induire un coût à l émetteur Cout en $ par message Inconvénient: pénalise tout le monde et nécessite de modifier les protocoles sous jacents. Bloquer les compte banquaires des spammers 3 banques utilisés par >90% de spammers Inconvenient: problème de regulation(pas technique) 19
Email forging Don t try this at home Btw, the server knows who you are :) Sender Policy Framework (SPF) RFC4404 (april 2006) Le DNS est deja utile pour trouver le serveur responsable de recevoir les mails @example.com example.com. MX mail.example.com Le DNS peut etre utilisé aussi pour definir qui est authorisé à envoyer les mail de @example.com example.com. TXT "v=spf1 +mx a:mail.example.com -all En reception, query TXT d example.com. Rejection d un message de la part de guy@example.com envoyé par d autre serveur que mail.example.com! Pas besoin d outils compliqués il suffit un terminal Email forging Don t try this at home Btw, the server knows who you are :) Sender Policy Framework (SPF) RFC4404 (april 2006) Le DNS est deja utile pour trouver le serveur responsable de recevoir les mails @example.com example.com. MX mail.example.com Le DNS peut etre utilisé aussi pour definir qui est authorisé à envoyer les mail de @example.com example.com. TXT "v=spf1 +mx a:mail.example.com -all En reception, query TXT d example.com. Rejection d un message de la part de guy@example.com envoyé par d autre serveur que mail.example.com! 20
email Conclusions La plus vieille Killer application d Internet Architecture plus compliqué, 3 protocoles Encore d actualité(cepandant Facebook et similia) Commeles autresapplications Internet, evolution continue (e.g., SPAM comes and goes) et usages inattendus(imap) Optional readings References J. Caballero, C. Gier, C. Kreibichand V. Paxon,. Measuring pay-per Install, The commoditization of Malware Distribution, USENIX Security Simposium Aug 2011, http://www.icir.org/vern/papers/ppi-usesec11.pdf C. Kanich, et al. Show me the money: characterizing spam-advertised revenue, USENIX Security Simposium Aug 2011, http://www.icir.org/vern/papers/ppair-usesec11.pdf 21
?? // 22