Les outils de gestion de campagne d email marketing Benchmark et analyse Synthèse et méthodologie Étude 2006
Sommaire Synthèse de l étude 1 Mesure de la disponibilité des équipements techniques des ASP...2 1.1 Principes de la mesure... 2 1.2 Le dispositif de mesure... 2 1.3 Déroulement de la campagne de mesure... 3 1.4 Détection des incidents et mesures effectuées... 3 1.4.1 Mode d'identification d'un incident de disponibilité... 3 1.4.2 Mesure de la performance au niveau des serveurs d'image... 3 2 EVALUATION DE LA QUALITE DE LIVRAISON DES EMAILS...4 2.1 Evaluation de la livraison des emails chez les ASP français... 5 2.1.1 Actions préventives pré-campagne... 5 2.1.2 Les outils et moyens permettant de suivre la campagne durant le routage... 7
Tome 1 : Synthèse et méthodologie 1 Mesure de la disponibilité des équipements techniques des ASP Un des intérêts de la location d'application est de pouvoir bénéficier d'une infrastructure technique dont le coût est globalement proportionnel à l'usage. Pour l'emailing le coût de cet infrastructure technique peut être important et les dispositifs à mettre en place pour assurer une disponibilité 24/24 7j/7j de l'ensemble de l'infrastructure une capacité de monter en charge sur le téléchargement des images une capacité de monter en charge sur les clics de redirection etc Pour mesurer la fiabilité et la performance de ces équipement nous nous sommes associés avec la société française Netvigie (netvigie.com) qui a mis à disposition pendant 2 fois 15 jours ses équipements de mesure de performance et de disponibilité 1.1 Principes de la mesure Nous avons mesuré trois aspects des plate-forme ASP La disponibilité de l'accès à l'application A partir de l'url d'accès à l'application (sécurisé ou non), nous avons simplement mesuré la disponibilité de la page d'accès au Front Office de l'application, en la sondant toutes les 5 minutes. La disponibilité des serveurs de redirection Lorsqu'un clic est effectué sur un lien d'un email, il est d'abord redirigé vers le serveur du routeur qui enregistre ce clic puis redirige l'internaute vers le site final. La disponibilité de ces serveurs de redirection est donc essentiel pour avoir une réponse aux clics effectués sur les emails. La disponibilité et la performance des serveurs délivrant les images Les routeurs peuvent hébergés les images des emails qui sont téléchargés lors de l'ouverture de celui-ci. Ces serveurs sont très sollicités lors d'envoi important. En effet dans les première heures d'ouverture de l'email, ce sont parfois plusieurs millions d'images qu'il faut délivrer en une ou deux heures. Enfin nous avons mesurer le temps de chargement d'une image standard déposé sur tous les serveurs images des ASP. La taille de cette image est de 12Ko. 1.2 Le dispositif de mesure Netvigie a mis en place 3 sondes de test qui ont été programmés pour tester et mesure les 3 éléments précédemment définis. Ces 3 sondes sont dans les contextes suivants : Une sonde sur une liaison Nerim adsl de 512 kbits/s Une sonde sur une liaison spécialisé du réseau Oleane transpac Une sonde hébergé à Courbevoie sur le data center de Redbus Toutes les 15 minutes les trois sondes effectuent le test de disponibilité et de mesure sur les serveurs images et toutes les 5 minutes sur les serveurs de redirection et de backoffice. 2 2006 Tous droits réservés, 2006. Florence Consultant - Reproduction interdite
Mesure de disponibilité et qualité de routage- 1.3 Déroulement de la campagne de mesure Deux campagnes de mesure ont été effectuées : Du 28 juin au 14 juillet (17 jours de mesures) Du 6 septembre au 21 septembre (16,8 jours de mesures) Sur les serveurs images et par sonde 1450 mesures de disponibilité et de performance ont été effectués en juin et juillet et 1420 mesures en septembre 1.4 Détection des incidents et mesures effectuées 1.4.1 Mode d'identification d'un incident de disponibilité Lorsque 2 sondes rencontrent en même temps une indisponibilité du service, on mémorisera un incident dont la durée sera suivi. Par contre si seulement une des trois sondes détecte une indisponibilité, l'incident n'est pas pris en compte. Ce mode de fonctionnement permet de s'affranchir des indisponibilités passagère du réseau Internet au niveau des sondes. 1.4.2 Mesure de la performance au niveau des serveurs d'image Pour la mesure des images, nous avons mis en avant deux types de données : le temps moyen de rapatriement de l'image, sachant que celui-ci se décompose en trois mesures successives : Le temps de résolution du DNS qui correspond à la mesure de la résolution de l'url de l'image. Dans le cadre du test le cache du DNS de l'hébergeur de la sonde est bien désactivé Le temps de résolution de la connexion qui consiste à mesure le temps de contact avec le serveur image Le temps de transfert des données qui mesure le temps nécessaire à la récupération de l'ensemble des informations la stabilité du temps de livraison de l'image. Cette donnée est particulièrement importante pour les emails qui contiennent de nombreuses images et qui sollicitent intensément le serveur d'images. Pour ce calcul nous avons travaillé avec le ratio temps moyen de livraison/écart type. Plus ce ratio est élevé meilleur est la stabilité de la plate-forme dans la livraison des messages. Il est ainsi possible d'obtenir des temps médiocres de livraison d'image mais une très bonne stabilité de la plate-forme. Les pèriodes de mesures étant globalement similaire, nous avons effectué une moyenne arithmétique sur les deux valeurs obtenues lors des 2 campagnes. Nom de la plateforme ASP Evaluation globale Note sur 100 points Remarques Dartmail De A Cabestan Emailingsolution 2006 Tous droits réservés, 2006. Florence Consultant - Reproduction interdite- 3
Tome 1 : Synthèse et méthodologie Emailvision Dolist Buongiorno Mailperformance Edatis Xpedite 2 EVALUATION DE LA QUALITE DE LIVRAISON DES EMAILS La livraison des emails chez le destinataire est une opération qui nécessite un savoir faire de plus en plus important car les obstacles dans la chaîne de routage sont nombreux. Sans être exhaustif on peut citer : Les dispositifs de filtrage des FAI et des gestionnaires de réseau (BtoB) Les Listes blanches chez les FAI/webmail Les filtres antispam sur les postes des destinataires Les listes noires d'internet. Les règles de gestion sur les postes des destinataires etc Enfin le législateur en France est assez actif notamment au travers du projet Signalspam piloté par la DDM (Direction des Médias) Législateur Annonceurs Routeurs Base de données Moyens de surveillance FAI Webmail Gestionnaires de réseau Règles de diffusion Filtrages du contenu Gestionnaires de liste noire Services de listes blanches Destinataires Technologies de filtrage Règles de gestion Boite de réception Pour le gestionnaire de campagnes, il est maintenant impératif de mettre en place des dispositifs techniques et humains pour suivre le cheminement du mail et sa bonne livraison. 4 2006 Tous droits réservés, 2006. Florence Consultant - Reproduction interdite
Mesure de disponibilité et qualité de routage- Dans le cadre de la présente étude, nous avons évalués ces moyens humains et techniques qui sont offerts par les prestataires ASP et parfois évoqués par les éditeurs de logiciel de gestion de campagnes d'emailing (neolane notamment). D'autres part nous avons évalué les modes de gestion du SPAM chez les principaux FAI/Webmail français et donc la facilité de routage dans ces boîtes mails. En effet la conséquence d'installer des dispositifs de gestion du spam est de filtrer des messages 'légitimes'. Certains FAI/webmail ont eu le souci de laisser diffuser ce type de message, d'autres n'ont semblent' il pas pris de mesure dans ce sens. L'étude fait le point sur les FAI/webmail français. 2.1 Evaluation de la livraison des emails chez les ASP français. Pour évaluer l'effort fourni par chaque prestataire dans ce domaine, nous avons identifié 3 grands types d'actions nécessaires pour assurer une bonne qualité de routage. les actions préventives précampagne les outils et moyens permettant de suivre la campagne durant le routage les action post-campagne Au total nous avons identifié 23 critères techniques, organisationnels et humains que nous avons notés pour chaque prestataire. Ces 23 critères se répartissent de la façon suivante 2.1.1 Actions préventives pré-campagne 2.1.1.1 Les moyens humains. Cet indicateur identifie les moyens humains qui sont mobilisé pour mettre en place, suivre et ajuster la politique de qualité de routage du prestataire. Certains prestataires ont une équipe dédiée à cette action d'autres ne mobilise qu'une personne à tiers temps ou une ressource ponctuellement. Dans cette section sont évoqués les enjeux de l'astreinte liée au routage. En effet, lors d'un envoi massif, il peut être important d'être prévenu en temps réel d'un problème soudain de filtrage ou de bloquage. Certains prestataires n'ont pas d'alerte, d'autres en ont en différé (monitoring écran) d'autres en temps réèl. 2.1.1.2 Les dispositifs de pré-test Avant l'envoi d'une campagne, plusieurs tests peuvent être effectués de façon à identifier les problèmes avant envoi. Parmi ces tests on trouve principalement : Les test préalables sur des outils de filtrage (Spam assassin) qui permettent de comprendre si le mail a des chances d'être considéré comme un Spam ou non par l'outil en question. Les tests sur le contrôle de la qualité du code HTML. En effet un mauvais code HTML peut assimiler le mail à un Spam. En effet les statistiques montrent que très souvent les spam ont une mauvaise qualité de code HTML Malheureusement, l'expérience montre aussi que les agences produise parfois une qualité médiocre de code HTML. Certains ASP et éditeurs de logiciels offrent des outils de contrôle de qualité de code HTML (souvent issus de produits open-source) ou considèrent que ce point est de la responsabilité de l'annonceur. 2.1.1.3 Charte et éthique de la base La présence d'une charte associée à un "code déontologique" sur les bases routées (contrôle préalable de la base, arrêt du routage dans certaines conditions, gestion fine des désabonnements manuels ) permet d'assurer une bonne qualité de routage. Certains prestataires gèrent différemment les bases identifiées comme étant de bonne qualité et de clients réguliers et les données dont la provenance est moins certaine. 3 critères ont été identifiés pour assurer une bonne qualité de base : La signature d'une charte de déontologie et ses procédures de contrôle/suivi associés La possibilité de stopper très rapidement un envoi jugé douteux 2006 Tous droits réservés, 2006. Florence Consultant - Reproduction interdite- 5
Tome 1 : Synthèse et méthodologie La bonne gestion des désabonnements manuels ('reply to') sur la plate-forme 2.1.1.4 L'analyse de la qualité du "Header". Le Header est la partie invisible de l'email et comporte de nombreuses données techniques identifiant notamment l'expéditeur, le contenu du mail. Des standards existent publiés par l'ietf sur le mode de remplissage du header d'un mail SMTP. Dans le cas de mails issus du Spam, les statistiques montrent que le header est bien souvent incohérent, de mauvaise qualité. Il est donc analysé à la loupe par tous les filtres et boitiers de filtrage antispam. Dans le cadre de l'étude, nous avons mené deux démarches : une discussion sur la façon dont le prestataire gérait le Header, une analyse du Header de certains emails envoyés par les prestataires. 2.1.1.5 Comptabilité avec les normes des routeurs Certains FAI/webmail ont mis en place des normes techniques permettant d'identifier facilement le routeur. LA norme SPF est actuellement la plus répandue (mise à jour des DNS). Nous avons vérifié que les prestataires avaient mis en place cette norme. 6 2006 Tous droits réservés, 2006. Florence Consultant - Reproduction interdite
Mesure de disponibilité et qualité de routage- 2.1.2 Les outils et moyens permettant de suivre la campagne durant le routage 2.1.2.1 Contrôle de la livraison des messages. Les moyens de contrôle de la bonne livraison des messages sont devenus très importants pour l'estimation de la bonne qualité de routage. Parmi les méthodes et outils les plus couramment mis en place : Surveillance en temps réel et plus ou moins automatisée d'indicateurs (le taux d'ouverture par nom de domaine, le taux de clic par nom de domaine, le taux de plainte par envoi ) La mise en place de réseaux de boites tests monitorées (parfois en temps réel) qui permet de cerner si l'email est bien arrivé dans la boîte du destinataire 2.1.2.2 La surveillance des blacklistes La surveillance des blacks lists est devenu indispensable pour assurer la bonne livraison des messages. De la surveillance manuelle jusqu'à l'alerte automatique par mail ou sms de nombreux outils et procédures se retrouvent chez les prestataires ASP mais avec des niveaux de qualité bien différents. 2.1.2.3 La possibilité de moduler les paramètres techniques d'envoi en fonction du destinataire Le routeur doit pouvoir en fonction du FAI/webmail qu'il adresse régler les paramètres d'envoi (vitesse, nombre de cession ) acceptable pour que son envoi puisse être délivré. Tous les prestataires interrogées ne gèrent pas cette possibilité. La synthèse de l'évaluation est présentée sous la forme d'un tableau, (CF modèle ci dessous), le détail et l'analyse sont donnés dans le tome 2. 2006 Tous droits réservés, 2006. Florence Consultant - Reproduction interdite- 7
Tome 1 : Synthèse et méthodologie Evaluation de la qualité de livraison Dolist Mailperformance Xpedite Emailvision DARTmail Buonjornio Cabestan Emailing Solution Edatis Note sur 100 Nomenclature Niveau de gestion de la qualité de livraison Remarquable Bonne Moyenne Faible Très Faible 8 2006 Tous droits réservés, 2006. Florence Consultant - Reproduction interdite