Notre guide pour tout comprendre sur l’A/B test en emailing

En email marketing, il existe plusieurs typologies de campagnes : 

• Les campagnes d’acquisition 

Elles ont pour objectif de convertir des prospects en nouveaux clients. Elles prennent la forme de campagnes promotionnelles avec une offre commerciale suffisamment alléchante pour enclencher une première conversion (achat, abonnement, inscription…).

• Les campagnes de fidélisation 

Elles servent à tenir informés les clients et à les amener au réachat. Elles sont parfois simplement informatives pour maintenir le lien et entretenir la relation (newsletters institutionnelles) ou bien commerciales pour générer plus de chiffre d’affaires (ventes flash, soldes, promo saisonnières, déstockage, bonus fidélité…).

• Les programmes relationnels

Ils interviennent tout au long du cycle de vie du client. Ces campagnes sont le plus souvent scénarisées comme par exemple les séquences de bienvenue (ou d’onboarding), d’up et de cross-sell ou encore les campagnes de réveil des inactifs. L’envoi de ces communications relationnelles est 100% automatisé et la séquence est généralement composée d’un ou plusieurs envois.  

• Les emails de retargeting

Ils sont utilisés aussi bien en prospection qu’en fidélisation et sont envoyés suite à une action précise du prospect ou du client. Les rappels des pages récemment consultées ou les relances paniers abandonnés sont considérés comme des emails de retargeting de fidélisation dès lors que  le contact est identifié comme client avéré. 

Ce type de mécanique email peut aussi être utilisé dans le cadre de campagne de conquête. Mais attention, pour la prospection, comme  l’annonceur final ne dispose pas de la donnée email ou du consentement opt-in de l’internaute, c’est un prestataire externe qui gère les campagnes de retargeting. En traquant les visites sur le site de l’annonceur grâce à des cookies, les données collectées on-site sont croisées avec la base email opt-in de la société tierce. Elle se charge ensuite de router les emails de retargeting aux visiteurs du site qui ont été reconnus dans sa base.  

Toutes ces catégories d’emailing peuvent faire l’objet d’A/B tests. Pour résumer l’idée, dès qu’une performance commerciale est attendue suite à l’envoi d’une campagne email, il y a matière à tester différentes variables pour optimiser les résultats. 

Retour au Sommaire

Les emailings  transactionnels sont également des triggers automatisés qui sont déclenchés en fonction de l’activité d’un compte. Il peut s’agir d’une confirmation d’inscription, d’une confirmation de commande, d’un email de suivi d’expédition, d’une demande de mise à jour des coordonnées bancaires, d’un message faisant suite à un paiement refusé, d’une réinitialisation de mot de passe… 

Les séquences transactionnelles étant principalement conçues pour accompagner le client, sans réel objectif business (hormis bien-sûr le fait d’entretenir la fidélité du client en fournissant un service de qualité), il ne font que très rarement l’objet d’A/B test. Autre limitation technique, les messages transactionnels sont parfois gérés par la plateforme marchande et bien souvent cette dernière ne propose pas de réaliser des tests A/B dans son package de fonctionnalités. 

Cependant, si ces emails transactionnels sont routés par une plateforme de routage plus sophistiquée, les A/B test peuvent être envisagés. Par exemple, on peut tester si intégrer un push produit ou une nouvelle promotion dans un email de confirmation de commande peut générer du réachat. Selon Omnisend, c’est possible. Les taux de conversion de ce trigger automatique pourraient atteindre 32%. 

Toutefois, nous pensons qu’il est préférable d’éviter d’intégrer des offres promotionnelles dans les emails purement transactionnels. Au regard de la RGPD, le contenu de ces derniers doit normalement se limiter à leur but premier, à savoir informer. Ajouter des pushs commerciaux pourrait en plus manquer de sens aux yeux du client, surcharger inutilement vos communications et, in fine, dégrader la perception de votre image de marque.

Retour au Sommaire

• Le nom du sender

La façon dont vous nommez votre adresse expéditeur peut avoir un impact sur le taux d’ouverture de vos emails. Le nom de votre entreprise doit être facilement reconnaissable et le libellé de l’adresse doit inspirer confiance. Utiliser la mécanique de l’A/B testing vous permettra d’identifier quelle est la formulation qui récolte le plus d’ouvertures. 

Attention cependant, comme nous l’avons détaillé dans notre sujet sur les KPI à suivre en emailing, les récentes évolutions d’IOS ne permettent plus de traquer avec finesse les ouvertures. Veillez à créer des populations cibles homogènes pour en tirer des conclusions plus pertinentes (ou si vous avez la donnée, excluez les utilisateurs d’Apple de votre échantillon de population). 

Voici quelques exemples de formules à tester : 

• le nom de l’entreprise : CustUp
• Un prénom + le nom de l’entreprise : Caroline de CustUp
• Le nom d’une entité de l’entreprise : Service Client CustUp, Le Lab CustUp
• …

• L’objet de votre email

Pour améliorer le volume d’ouvertures grâce aux objets, vous pouvez travailler différents angles d’attaque comme : 

• Inclure ou le prénom/nom dans l’objet de l’email (personnalisation)
• Tester des formulations plus ou moins longues (en veillant à ne pas dépasser 50 caractères pour que le texte soit visible sur la majorité des boîtes de messagerie)
• Intégrer ou non une promotion (en évitant d’inclure des spamwords)
• Jouer sur le ton (décalé, humoristique, chaleureux, inclusif…)

Voici deux exemples de tests sur les objets : 

Un emailing de la FNAC avec trois différents objets testés.

Objet 1 – référence : Notre guide de survie pour réussir son télétravail !

Objet 2 – variante 1 : Livraison express OFFERTE sur une sélection Informatique !

Objet 3 – variante 2 : Qui sera le mieux équipé pour télétravailler ?

Présentation de deux emailings avec un test A/B sur l’objet.

Source : elasticemail.com

• Le preheader

Le texte de prévisualisation est cette petite formule accrocheuse que l’on peut lire dans les boîtes de messagerie juste après le nom du sender et l’objet du message. L’exercice de style consiste à trouver une formulation courte qui donne envie d’ouvrir l’email.

Comment s’affiche le preheader dans une boite email.

Source : emailmastrery.org

Selon les fournisseurs et les appareils mobiles sur lesquels le message est lu, la longueur du preheader varie. Ce texte est inexistant pour les anciennes boites mail du type Outlook 2010 et pour d’autres, le nombre de caractères peut aller jusqu’à 140. Selon Brevo, mieux vaut travailler un preheader de 35 caractères qui est plus susceptible d’être affiché sur toutes les boîtes. Les A/B tests sont un bon outil pour déterminer quelles formules amènent plus facilement l’internaute à passer à l’action.

Retour au Sommaire

Nous rassemblons ces deux taux puisqu’ils traitent du même objectif, à savoir, amener le lecteur à cliquer dans l’email. La différence entre les deux réside dans la méthode de calcul. Pour rappel, la formule du taux de clics = volume total de clics/nombre d’emails envoyés*100 et celle du taux de réactivité = volume total de clics/nombre d’ouverture*100. 

C’est ce dernier dernier taux qui est à préférer dans une logique d’A/B testing en emailing car il se concentre plus sur le niveau d’engagement de l’audience et l’adéquation entre le contenu proposé et les attentes des lecteurs. 

Pour booster les clics, vous pouvez mener des A/B tests sur plusieurs composantes du contenu de votre email. Nous vous conseillons d’ailleurs d’isoler plusieurs cibles pour mener vos tests A/B si vos segments de population sont hétérogènes. Cela peut être le cas pour les entreprises qui proposent un service utilisé à la fois par des cibles BtoB et BtoC ou des produits intergénérationnels. Le message peut plaire à certains segments et déplaire à d’autres. En clair, n’essayez pas à tout prix de généraliser une seule formule, résolvez cette question en segmentant. 

• Texte seul ou avec visuel(s)

Voici un exemple d’A/B test réalisé pour mesurer l’impact d’un changement de présentation du message. Ici, on mesure si la version texte seul avec lien hypertexte génère plus ou moins de clics que celle qui contient un texte accompagné d’un visuel et d’un bouton d’action.

Test de l’annonceur Litmus, version A d’un emailing avec texte uniquement.

Version B d’un emailing de l’annonceur Litmus incluant des visuels.

Source : litmus.com

• La longueur du texte et/ou le nombre de sujets abordés

Certains acteurs de l’emailing conseillent souvent de ne pas créer des contenus trop longs ou qui abordent plusieurs sujets. On recommande en général de traiter un à trois thèmes au maximum. Néanmoins, seule l’expérience vous permettra de vérifier ce qui fonctionne avec vos propres cibles. Pour étayer notre propos, voici deux exemples d’emailing de l’annonceur Monoprix qui traitent du même thème mais pour l’un, les pushs produits sont beaucoup plus nombreux.  

Monoprix - 9 JOURS | Jusqu’à -50% sur une sélection MODE

Monoprix - « Nom », on vous promet un week-end EXCEPTIONNEL !

Lors de vos A/B tests, les heatmaps de vos emailing vous permettront de découvrir quelles zones récoltent le plus de clics. Cette donnée vous servira pour arbitrer sur les thématiques à favoriser mais aussi sur la longueur ou le nombre de sujets traités. Pour ce faire, chaque zone cliquable doit bien sûr avoir un lien de tracking différent afin de pouvoir suivre correctement la répartition des clics.

La heatmap d’un emailing permet de savoir où se concentrent les clics.

Source : emailheatmaps.com

• Le design des emailings

Lors de vos tests, vous pouvez également jouer sur la mise en forme, les couleurs, les formats, le wording, les visuels… Bref, tout ce qui concerne la partie créative de vos communications. Voici deux nouveaux exemples de test A/B pour lesquels les annonceurs ont travaillé deux versions différentes d’un même contenu.

Un exemple de test A/B sur deux versions créatives d’un même emailing.

Source : newoldstamp.com

L’annonceur Mediego teste 2 versions créatives d’un même emailing.

Source : mediego.com

Lors de la création de vos emailings de référence et leurs variantes, veillez à ne pas tester trop de composants en même temps. Vous risqueriez de ne pas pouvoir dégager de tendances suffisamment claires pour passer à la phase de généralisation. Les optimisations grâce aux A/B tests en emailing s’apparentent à une course de fond. On teste de préférence une variable après l’autre avec pour objectif final de construire bloc par bloc un template d’email plus générateur de business. 

• Les boutons d’action

Aussi appelé CTA (pour Call-to-Action), les boutons d’action sont ces visuels cliquables qui amènent l’internaute vers une page dédiée ou vers la première étape du tunnel de transformation. Ils peuvent également faire l’objet de tests à plusieurs niveaux : placement, présentation (texte cliquable vs visuel), coloris, design et wording. 

Comme vous pouvez le voir dans les exemples d’emailing ci-dessous, les annonceurs testent des changements mineurs car même un petit détail peut avoir un grand impact sur la perception du client et son passage à l’action. 

Utiliser le test A/B pour déterminer le meilleur design de CTA.

Source : sendpulse.com

Test A/B pour mesurer l’impact d’un changement de design du bouton d’action.

Source : CampaignMonitor

Retour au Sommaire

Deux autres éléments de votre campagne emailing vont aussi beaucoup influencer vos conversions. Il s’agit de l’offre commerciale mise en avant dans votre email (celle-ci a d’ailleurs également un impact sur le taux de clics) et la landing page que le lecteur va découvrir après avoir cliqué sur le bouton d’action. 

Bien sûr, lorsqu’on parle de conversions, l’email, l’offre ou la landing page ne sont pas les seuls responsables. Les résultats sont à pondérer puisque les actes d’achat vont aussi être conditionnés par d’autres éléments comme vos prix, vos services, la complexité de votre tunnel de transformation, votre politique de retours, les avis clients… Bref, tout votre écosystème digital influence le volume de ventes. Cependant, autant créer un environnement propice à l’achat dès le point de départ, c’est-à-dire l’emailing et la page d’atterrissage associée. 

Remise, bon cadeau, frais de port offerts, cadeau bonus, produit gratuit, essai gratuit… Nous vous invitons à utiliser la méthode de l’A/B test pour déterminer quelle offre promotionnelle surperforme. Pensez également à segmenter vos populations afin d’identifier quelle promotion convient mieux à telle ou telle cible. 

Si vous naviguez à vue, vous pouvez envisager de router un email intégrant plusieurs offres différentes pour vous donner quelques premières orientations. Elles alimenteront ensuite les réflexions de vos futurs tests A/B. Voici un exemple d’emailing qui sépare chaque catégorie de produits. Le tracking des clics et des conversions de cette communication vont aider l’annonceur à affiner ses futurs tests en fonction des appétences de chaque segment de clientèle. 

Un exemple d’email qui aide à mieux identifier les appétences des clients.

Source : klientboost.com

Comme nous le disions en introduction, les A/B tests en emailing servent à améliorer les performances des campagnes marketing mais aussi à enrichir la Connaissance Client. Lorsque l’on sait que 91% des clients ont tendance à acheter chez des marques qui prennent en compte leurs préférences et proposent des offres adaptées (source : Accenture Interactive), les annonceurs ont tout intérêt à mener des A/B tests pour mieux appréhender leurs appétences.

En ce qui concerne la landing page, suivez nos précédentes recommandations et testez la longueur, la mise en forme, le design, les couleurs, le ton, le wording, les CTA… Dans l’exemple ci-dessous,  l’annonceur compare le volume de conversions obtenues avec une landing page intégrant un compte à rebours et une autre qui n’en a pas. 

A/B testing pour déterminer quelle landing page génère plus de conversions.

Source : leadpages.com

Retour au Sommaire

Les jours et heures d’envoi de vos campagnes peuvent aussi impacter vos résultats. L’arrivée de votre email dans la boîte de l’internaute peut le cueillir à un moment propice au shopping ou à l’inverse à une heure où il n’a pas de temps à consacrer à vos communications. Seuls les A/B tests pourront vous permettre d’identifier rapidement quel jour de la semaine et quelle tranche horaire génèrent le plus d’ouvertures, de clics et de ventes. 

Pour vos séquences automatisées. vous pouvez également monitorer le laps de temps le plus efficace entre l’action de l’internaute et votre message de follow-up. Par exemple, quelles sont les relances paniers abandonnés qui convertissent le mieux ? Celles envoyées 30 minutes après l’abandon ou celles routées le jour suivant ? 

Enfin, pourquoi pas en profiter pour également étudier le nombre de relances utiles ? Par exemple, quelles sont les séquences de bienvenue qui déclenchent le plus grand volume d’achats ? Celles séquencées en 2 emails ou celles composées de 4 envois ? Vous pouvez aussi analyser en parallèle quelle version génère le plus de demandes de désinscription. Le suivi de ce dernier KPI peut s’avérer très judicieux pour monitorer l’insatisfaction potentielle de vos clients. Vous pourrez réagir ainsi très rapidement et éviter de créer des mécaniques qui génèrent un sentiment négatif à cause d’un effet de sur-sollicitation ou de matraquage publicitaire.

Retour au Sommaire

A partir du moment où l’on s’apprête à mener des analyses chiffrées, il est important de toujours fixer en amont des objectifs précis. Ces derniers permettent de structurer vos réflexions et votre batterie de tests. 

Pour l’A/B test d’un emailing, vous pouvez par exemple souhaiter : 

• Accroître le nombre d’ouvertures pour obtenir une meilleure visibilité
• Augmenter les clics pour faire grossir le nombre de visiteurs sur votre site
• Maximiser les conversions pour augmenter le ROI de vos campagnes
• Booster le taux de réachat de certaines cibles pour accroître leur fidélité
• Faire baisser le nombre de demandes de désinscription pour valider si vos scénarios de campagne correspondent aux attentes de vos clients

Retour au Sommaire

Pour chacun des objectifs fixés, vous formalisez une hypothèse à tester. Il peut s’agir de : 

• Modifier l’objet pour obtenir un plus gros volume d’ouvertures.
• Vérifier si offrir les frais de port est plus efficace qu’accorder une remise de 10% pour le segment des petits paniers.
• Changer la couleur du bouton d’action pour augmenter le nombre de clics.
• Intégrer à l’email de confirmation de livraison un tutoriel sur comment utiliser un service pour faire baisser le nombre d’appels au SAV.

Poser des hypothèses revient à cadrer les tests A/B et les prises de décisions qui vont en découler en restant concentré sur un seul objectif à la fois.

Ensuite, vous devez déterminer dans quel ordre mener vos campagnes de test. Nous vous recommandons d’utiliser la méthode ICE (Impact, Confidence & Ease) qui va vous aider à identifier quel test est à prioriser, c’est-à-dire quelle action peut rapporter le plus tout en sollicitant le moins de moyens. Voici un exemple concret : 

• Impact : pensez-vous, par exemple, qu’inclure le prénom du client dans votre objet va énormément booster les ouvertures ?
• Confidence : que disent les tendances du marché sur ce genre de pratique ? Campaign Monitor annonce par exemple 14% d’ouvertures en plus grâce aux objets personnalisés.
• Ease : Quel est le temps/homme nécessaire pour effectuer  un changement d’objet ? Moins de 5 minutes ? Cette modification est donc plus économique que la création d’un nouveau visuel inspirant. 

Retour au Sommaire

Vous devez maintenant choisir les indicateurs de performance clés à suivre pour chaque vague de test. Ces KPI doivent directement découler de vos objectifs et hypothèses préalablement fixés.

Liste des KPI utiles pour mesurer les performances d’un test A/B en emailing.

Même si vous cherchez à augmenter uniquement les taux de performances de vos emailings, ne manquez pas d’élargir vos analyses jusqu’au suivi des conversions. Par exemple, il est possible que le changement de la variable objet améliore votre taux d’ouvertures et déclenche également des actes d’achat plus rapides dus à la mention d’une date de fin de remise.

Retour au Sommaire

Lors de cette phase, vous devez déterminer : 

• Quelle est la version de référence (A) et sa ou ses variantes (A,B,C…). Les outils de routage vous permettront facilement de les différencier.
• S’assurer que les liens de tracking de chaque version sont biens différents pour, en sortie de test, pouvoir comparer avec fiabilité les résultats.
• Isoler les segments de population à tester (mono-acheteurs/multi-acheteurs, petits,moyens, gros paniers, familles/célibataires, Paris/villes de province, 20-30 ans/30-40 ans…).

Retour au Sommaire

Pour un test A/B en emailing, vous avez la possibilité d’organiser votre campagne de plusieurs manières : 

• Si votre base de contacts n’est pas volumineuse, vous divisez simplement la population en deux groupes pour tester la version de référence et sa variable. Le but étant d’avoir suffisamment de retours sur les 2 cibles pour produire des statistiques pertinentes. Vous passerez ensuite à la généralisation de la version gagnante lors d’une prochaine campagne.
• Si vous avez du volume en base, vous créez deux échantillons de population à exposer à vos deux messages (10% + 10%)  puis passer à la phase de la généralisation sur les 80% restants avec le contenu qui aura généré les meilleurs résultats. Chez CustUp, nous utilisons par exemple deux échantillons de 20% puis généralisons sur les 60% qui restent. Vous pouvez créer des splits aléatoires représentatifs de l’intégralité de votre base ou bien travailler un segment de population précis. Rappelons que la taille minimum d’un échantillon est de 1000 contacts et qu’il est préférable de calculer vous-même la taille de l’échantillon représentatif pour votre contexte.

Avec les plateformes de routage qui possèdent la fonctionnalité A/B test en natif, c’est souvent l’outil lui-même qui détermine la version gagnante puis, passe à la phase de généralisation de manière automatisée. C’est une fonction très utile pour des campagnes de split test classique et sans complexité. Veillez toutefois à vérifier quelles sont vos possibilités de paramétrages manuels si vous voulez mener des analyses plus fines ou monitorer des résultats qui sortent de l’environnement de la campagne comme, par exemple, mesurer l’évolution d’un taux d’engagement.

La phase de généralisation peut intervenir au bout de quelques heures seulement quand il s’agit de monitorer les ouvertures et les clics. Pour les conversions, nous vous conseillons cependant d’attendre plus longtemps, jusqu’à 7 jours. Il n’est pas rare de voir des internautes consulter leur boite mail uniquement une fois par semaine. Déterminez la durée de votre première phase de test en fonction de votre cycle de vente habituel (certains peuvent s’étaler sur plusieurs semaines) ou bien fixez un seuil (volume ou pourcentage d’ouvertures, de clics ou de ventes) à partir duquel on peut affirmer avec certitude que l’un des deux contenus se démarque nettement.

Retour au Sommaire

Au moment de passer à l’étude des résultats, gardez un état d’esprit humble et objectif. Il est possible que vos idées d’optimisation n’apportent pas les résultats escomptés ou que les chiffres obtenus vous emmènent vers une direction totalement opposée à vos hypothèses de départ. De plus, il arrive aussi fréquemment que certains tests ne fournissent pas de résultats suffisamment pertinents pour prendre une décision. C’est le jeu de l’A/B test, il existe aussi bien pour confirmer qu’infirmer des partis pris. 

Vous pourrez également être confronté à des résultats que l’on appelle “faux positifs”. Cela signifie que la version A d’un emailing a été déclarée gagnante alors qu’en réalité, elle ne l’est pas. A quoi est due cette erreur ? Plusieurs éléments peuvent être impliqués dont notamment la taille de l’échantillon qui n’est pas assez conséquente pour tirer des conclusions objectives ou bien à la significativité statistique accordée à l’hypothèse d’origine. Pour réduire la marge d’erreur, il convient de se fixer une intervalle de confiance à 95%. Cela signifie, par exemple, que vous indiquez être sûr à 95% que le changement d’objet générera plus d’ouvertures. Donc, dès que vous avez atteint 95% du résultat escompté pour le test, vous déclarez la version A ou B gagnante. Seulement, il faut aussi être conscient qu’il reste tout de même 5% de chances d’être en réalité confronté à un faux positif. 

Pour limiter au maximum les erreurs, nous vous conseillons d’augmenter votre taux de confiance jusqu’à 99% quand vous pensez n’obtenir qu’une amélioration légère de vos taux (environ 1%). A l’inverse, quand le changement d’une variable peut entraîner une augmentation des performances beaucoup plus importante, vous pouvez abaisser votre intervalle de confiance et la fixer à 90% par exemple. Vous pourrez normalement gérer ces ajustements directement dans votre outil de routage.

A noter : nous vous recommandons de vérifier en amont la réputation de votre adresse expéditeur avec l’outil Sender Score. La réputation affectant directement la délivrabilité de vos emailings, si vos communications n’atteignent pas les boîtes de messagerie de vos contacts, cela a un impact direct sur les performances de vos campagnes. 

Retour au Sommaire

Tout dépend de votre stratégie d’optimisation. Elle peut être ponctuelle et ne porter que sur un ou deux éléments d’un emailing ou elle peut être plus complexe et viser l’amélioration d’une séquence relationnelle complète. Comme on ne teste de préférence qu’un élément après l’autre, dès qu’une variable est considérée comme gagnante, elle est définitivement intégrée et on passe à la suivante. Vous pouvez également mener de temps en temps des A/B tests de contrôle pour vérifier si les effets positifs de vos précédentes optimisations sont toujours au rendez-vous.

Nous vous invitons bien sûr à documenter, archiver et partager les résultats de toutes vos campagnes d’A/B testing pour à la fois enrichir la connaissance de vos équipes marketing ou, tout simplement, ne pas perdre du temps à refaire les mêmes tests.

Retour au Sommaire