Évolution de l'architecture de messagerie d'osiris JRES 2009 Direction Informatique Université de Strasbourg
Introduction Le réseau Osiris Réseau métropolitain strasbourgeois ens. et rech. Services associés : messagerie, wifi, accès VPN, etc. Exploitation Avant : Centre Réseau Communication (CRC) Depuis janvier 2009 : Direction Informatique de l'uds Nos particularités Services adressés à 17 14 établissements Correspondants réseaux locaux Soit une population de plus de 50.000 utilisateurs Objectif politique : disponibilité de 99,9 % JRES 2009 - Nantes Université de Strasbourg 2
Introduction Messagerie : service offert depuis l'origine Forte évolution depuis 2000 : 2005 : messagerie étudiante des trois universités Mutualisation progressive des établissements et composantes/laboratoires De 2.000 à 100.000 boîtes aux lettres Évolutions architecturales majeures pour : Offrir le service Apporter la haute-disponibilité Ne pas être blacklisté chaque semaine! JRES 2009 - Nantes Université de Strasbourg 3
Ordre du jour 1- Présentation du service 2- Migration vers SMTP Authentifié 3- Architecture d'hébergement 4- Conclusion JRES 2009 - Nantes Université de Strasbourg 4
Service offert Accès Consultation : IMAPS, POP3S, webmail Horde Émission : SMTP authentifié Quotas Personnels : 5 Go Étudiants : 1 Go Filtres sur serveur Applications web «Authiris» Forward, répondeur, anti-spam, filtres complexes 3 modes de saisie : newbie, wizard et gourou JRES 2009 - Nantes Université de Strasbourg 5
Authiris - wizard JRES 2009 - Nantes Université de Strasbourg 6
Des chiffres! Un peu de marketing 180 domaines 100.000 boîtes aux lettres 6 To de messages Dans la vraie vie ~12.000 lecteurs distincts par jour High-score : 12.476 ~14.000 lecteurs distincts par semaine High-score : 18.725 JRES 2009 - Nantes Université de Strasbourg 7
Ordre du jour 1- Présentation du service 2- Migration vers SMTP Authentifié 3- Architecture d'hébergement 4- Conclusion JRES 2009 - Nantes Université de Strasbourg 8
Osiris, spammeur international Beaucoup d'ordinateurs «auto-gérés» donc beaucoup de compromissions Historiquement, SMTP ouvert en sortie d'osiris Toutes les machines pouvaient émettre surtout les botnets Volume de spam important en sortie d'osiris Conséquences Nombreuses plaintes Osiris régulièrement en liste noire JRES 2009 - Nantes Université de Strasbourg 9
C'est la guerre! Fermeture de la sortie SMTP «libre» Établissement d'une chaîne de confiance Seuls les relais Osiris émettent du mail Les serveurs de mails identifiés comme tels (WebDNS) passent par les relais Les utilisateurs doivent s'authentifier sur les serveurs de messagerie du CRC...... mais aussi sur les autres serveurs de messagerie d'osiris Quelques exceptions (copieurs, applications) seront autorisées (WebDNS) Autant arrêter IMAP et POP non sécurisés JRES 2009 - Nantes Université de Strasbourg 10
Le plan de bataille (1/2) mailserver.u-strasbg.fr 25 Osiris 587 25 25 587 mailhost.u-strasbg.fr 25 Internet 25 25 example.com JRES 2009 - Nantes Université de Strasbourg 11
Le plan de bataille (2/2) mailserver.u-strasbg.fr Osiris 587 25 srv2.u-strasbg.fr 25 25 mailhost.u-strasbg.fr 25 25 Internet 25 example.com labo.u-strasbg.fr JRES 2009 - Nantes Université de Strasbourg 12
L'arsenal technique Sendmail Modification du Kit-Jussieu Déclarer une écoute sur le port 587 en TLS Filtrage Sur les routeurs : port 25 en sortie de sous-réseau sauf vers les relayeurs Sur les relayeurs : autorisation du port 25 des machines déclarées dans WebDNS JRES 2009 - Nantes Université de Strasbourg 13
Résumé des opérations (1/3) 1er semestre 2008 : étude et maquettage Définition de la solution technique 28 mai 2008 : première annonce Courrier électronique aux correspondants réseaux 3 juillet 2008 : présentation du projet Réunion des correspondants réseaux Annonce de la date fatidique : 30 septembre 2008 Rappel mail le 8 juillet Juillet 2008 : modification application WebDNS JRES 2009 - Nantes Université de Strasbourg 14
Résumé des opérations (2/3) 16 juillet 2008 : début de la phase de transition Port 587 authentifié Port 25 ouvert Juillet/août 2008 : préparation Rédaction de documentations clients (multi-support) Scripts de supervision de migration Préparation du filtrage 4 août 2008 : piqûre de rappel Courrier électronique aux correspondants réseaux JRES 2009 - Nantes Université de Strasbourg 15
Résumé des opérations (3/3) 1er sept 2008 : avertissements quotidiens Chaque utilisateur «SMTP ouvert» Chaque utilisateur «IMAP/POP non sécurisé» Correspondants réseau 15 septembre 2008 : réunion spécifique Correspondants réseau Filtrage appliqué sur le réseau du CRC 30 septembre 2008, 9h00 : fermeture Fin définitive du «SMTP ouvert» JRES 2009 - Nantes Université de Strasbourg 16
Debriefing Gros efforts de documentations utilisateurs Clients de messagerie Des problèmes de support SMTP authentifié Clients inconnus, douteux ou obsolètes Versions buggées (Outlook) Ouverture de SMTPS sur le port 465 (Outlook) Dépoussiérage forcé! SMTP-Auth utilisable hors d'osiris Authentifié, donc non filtré en entrée Presque tout le monde avait déjà un compte JRES 2009 - Nantes Université de Strasbourg 17
Debriefing Support utilisateur Grosse charge en septembre Cellule de crise organisée pour le jour J... mais presque inutile! Une semaine plus tard, le quotidien était de retour La campagne de communication a fonctionné La documentation, ça marche! Les correspondants réseaux ont joué leur rôle JRES 2009 - Nantes Université de Strasbourg 18
Debriefing Importance des machines non-authentifiables Serveurs, applications, copieurs/scanners Attention au NAT Une adresse autorisée = tout le monde! 759 serveurs autorisés à émettre en SMTP Sur 30.000 noms enregistrés, c'est peu (i.e. c'est bien) Le webmail est notre ami webmail = pas de modification de configuration JRES 2009 - Nantes Université de Strasbourg 19
Debriefing Des serveurs de messagerie «SMTP ouvert» subsistent Certains ne jouent pas le jeu Méthode de détection à mettre en place Spam émis depuis Osiris quasiment nul Mais subsiste : hameçonnage (phishing)... JRES 2009 - Nantes Université de Strasbourg 20
Ordre du jour 1- Présentation du service 2- Migration vers SMTP Authentifié 3- Architecture d'hébergement 4- Conclusion JRES 2009 - Nantes Université de Strasbourg 21
La préhistoire (2005) Serveur IMAP(S)/POP(S)/SMTP IMAP SCSI HTTPS Webmail JRES 2009 - Nantes Université de Strasbourg 22
La découverte du feu Hébergement des messages sur des baies SAN Montage en NFS sur les serveurs Séparation des tâches de dépôt et de lecture Redondance et partage de charge Accès clients : IMAP, POP, SMTP, Webmail Redondance CARP Round Robin DNS Début de mise en place d'un PRA Redondance sur des campus différents JRES 2009 - Nantes Université de Strasbourg 23
Le moyen-âge (2006) IMAP(S)/POP(S) ms2 ms1 Baie 2 mailserver.u-strasbg.fr SMTP baal.u-strasbg.fr Osiris webmail1 HTTPS IMAP Redondance Carp + Round Robin DNS webmail2 webmail.u-strasbg.fr Réseau public Réseau SAN Baie 1 JRES 2009 - Nantes Université de Strasbourg 24
La révolution industrielle Augmentation de charge en consultation Courier-imap est gourmand Migration «en catastrophe» vers Dovecot Uniquement pour la consultation Amélioration significative des performances Dépôt toujours sous Courier-Maildrop Compatibilité format Maildir++ JRES 2009 - Nantes Université de Strasbourg 25
La révolution industrielle Ajout de serveurs de consultation Solution CARP+RR-DNS non extensible Nombre exponentiel d'interfaces CARP Équilibreur de charge OpenBSD Filtrage PF Relayd Redondance actif/passif CARP Synchronisation des tables d'états PF avec pfsync JRES 2009 - Nantes Université de Strasbourg 26
Aujourd'hui (2008) ms1 NFS IMAP(S)/POP(S)/SMTP Équilibreur mailserver.u-strasbg.fr ms2 ms3 NFS NFS NFS ms4 JRES 2009 - Nantes Université de Strasbourg 27
Aujourd'hui (2008) Campus A Campus B NFS NFS mailhost mailhost baal Équilibreur webmail webmail Équilibreur SMTP SMTP SMTP authentifié HTTPS IMAPS/POPS JRES 2009 - Nantes Université de Strasbourg 28
Et demain? Deux limitations pour le PRA Basculement sur la baie de secours manuel Unicité du serveur de dépôt TODO list : Ajouter 2 serveurs de consultation Finaliser la migration Dovecot (impact des filtres) Séparer Sympa et le dépôt de messages Redonder le dépôt de messages Offrir un nouveau webmail (SOGo) JRES 2009 - Nantes Université de Strasbourg 29
Ordre du jour 1- Présentation du service 2- Migration vers SMTP Authentifié 3- Architecture d'hébergement 4- Conclusion JRES 2009 - Nantes Université de Strasbourg 30
Conclusion Migration vers «SMTP authentifié» Une première en France à cette échelle Implication de tous : informaticiens et utilisateurs Objectif atteint : limitation des émissions de spam Confort pour l'utilisateur mobile Architecture à quasi-haute disponibilité Objectif de disponibilité atteint Adhésion des établissements et composantes JRES 2009 - Nantes Université de Strasbourg 31
Questions?