Ce que rapporte réellement un programme e-mail

D'où vient le fameux multiple

Le chiffre n'est pas inventé, et ce n'est pas un secret. L'enquête State of Email de Litmus annonce un retour de l'e-mail de l'ordre de 36 pour 1, auprès d'environ cinq cents professionnels du marketing ; le Marketer Email Tracker britannique de la Data & Marketing Association interroge quelque 250 marketeurs et annonce un ordre de grandeur comparable. Les deux nomment leur échantillon et leur méthode. La méthode est le problème : ils demandent aux marketeurs quel est leur retour, et ils publient les réponses.

Litmus est franc sur un détail qui devrait voyager avec le chiffre et ne le fait jamais : environ un cinquième des répondants ont déclaré ne pas connaître leur ROI actuel. Une enquête où un cinquième de l'échantillon ignore la réponse reste utile pour décrire un ressenti. Ce n'est pas une mesure de canal. Et les quatre cinquièmes qui ont répondu n'ont pas été audités ; ils ont rapporté ce que leur outil d'attribution leur disait, ce qui nous amène aux deux erreurs systématiques.

Le dénominateur : ce que coûte un programme e-mail quand on compte les personnes

Si le retour affiché de l'e-mail dépasse à ce point celui de tout autre canal, c'est que son coût est en général réduit à un abonnement logiciel. Tout le reste — la personne qui écrit les campagnes, le graphiste qui construit les gabarits, le développeur qui maintient l'intégration, l'honoraire d'agence, l'argent dépensé pour acquérir les abonnés au départ — se trouve sur une autre ligne budgétaire et n'atteint jamais le calcul.

Chiffre honnêtement le programme sur un an : 24 000 € de plateforme d'envoi, 135 000 € pour 1,5 personne en coût chargé, 30 000 € de création et d'agence, 60 000 € consacrés à l'acquisition d'abonnés, et 11 000 € d'outillage de délivrabilité et de données. Cela fait 260 000 € — plus de dix fois l'abonnement à la plateforme, et cet abonnement est la seule ligne que contiennent la plupart des calculs. La ligne d'acquisition d'abonnés est celle qui fait débat, et elle a sa place : une liste n'est pas un stock gratuit, c'est un actif que quelqu'un a payé, et en exclure le coût revient à valoriser un canal en faisant comme si son intrant était arrivé par magie.

Le numérateur : le revenu mesuré n'est pas le revenu incrémental

Tout modèle d'attribution répond à la question « quel point de contact a précédé l'achat ». Aucun modèle d'attribution ne répond à la question « l'achat aurait-il eu lieu de toute façon ». Ce sont deux questions différentes, et seule la seconde parle de retour. Pour l'e-mail en particulier l'écart est large, car l'e-mail atteint des gens qui te connaissent déjà, ont déjà acheté une fois, et sont déjà en chemin — c'est-à-dire précisément la population la plus susceptible d'acheter sans qu'on lui écrive.

Le dernier clic est le pire coupable ici, et particulièrement pour l'e-mail. Une personne décide d'acheter, part chercher le produit, retrouve ton message dans sa boîte parce que c'est le lien le plus commode qu'elle possède, clique et achète. Chaque étape de cette histoire est réelle, et chaque étape se serait produite sans le message. Le dernier clic la lit comme une conversion causée par l'e-mail. Le dernier clic non direct aussi, qui est la valeur par défaut de la plupart des outils d'analytics.

Le réglage de la fenêtre aggrave le tout. Suppose que les conversions tombent à 62 % le jour du clic, 18 % les jours un et deux, 11 % les jours trois à sept et 9 % les jours huit à trente. Une fenêtre d'attribution d'un jour mesure 920 000 € de revenu e-mail, une fenêtre de sept jours 1 046 500 €, et une fenêtre de trente jours 1 150 000 €. Rien n'a changé dans l'entreprise entre ces trois nombres ; un écart de 25,0 % vient entièrement d'un menu déroulant dans un outil de reporting.

Le groupe témoin, et ce qu'il révèle

Un groupe témoin est une tranche d'audience tirée au sort et exclue du programme. Comme l'affectation est aléatoire, les deux groupes ne diffèrent que par le fait d'avoir reçu ou non les e-mails : la différence de dépense est donc causée par les e-mails. C'est toute l'inférence causale en une phrase, et c'est le seul instrument qui réponde à la question que pose le ROI.

Déroule le calcul. Une audience de 500 000 personnes, un groupe témoin de 10 %, donc 450 000 exposés et 50 000 non, sur un an. Les abonnés exposés dépensent 4,20 € chacun, soit 1 890 000 €. Le groupe témoin dépense 3,10 € chacun, soit 155 000 € — remarque que ce n'est pas zéro, et c'est tout le sujet. Le revenu incrémental vaut 1,10 € par personne, soit 495 000 € sur la base exposée. Or l'attribution au dernier clic créditait l'e-mail de 1 150 000 €. Le chiffre incrémental en représente 43,0 %, donc le dernier clic a surestimé la contribution du programme de 132,3 %.

Divise maintenant de trois façons pour le même programme. Le revenu au dernier clic sur le seul abonnement à la plateforme donne 47,92 pour 1, et voilà comment on produit un chiffre du même ordre que ceux des enquêtes. Le revenu incrémental sur le coût complet donne 1,90 pour 1. Et comme le revenu n'est pas le profit, applique une marge brute de 45 % : la marge brute incrémentale vaut 222 750 € contre 260 000 € de coût, un rapport de 0,86 pour 1 et une contribution nette de moins 37 250 €. Un programme, trois arithmétiques défendables, et seule la troisième te dit s'il faut continuer à le financer.

Quelle taille doit avoir le groupe témoin ?

Assez grand pour que l'écart qui t'intéresse dépasse le bruit, et pas plus, car chaque personne du groupe témoin est du revenu que tu as choisi de ne pas gagner. Le revenu par personne est fortement asymétrique — la plupart des abonnés ne dépensent rien et quelques-uns beaucoup — donc l'écart type est grand par rapport à la moyenne. Prends-le à 18,00 € par personne contre une moyenne de 4,20 €, et l'erreur type de la différence vaut l'écart type multiplié par la racine de la somme des inverses des tailles de groupe.

Sur l'audience de 500 000 personnes avec un groupe témoin de 10 %, cette erreur type vaut 0,0849 € par personne. L'écart observé de 1,10 € fait donc environ treize erreurs types — écrasant, et signe que le groupe témoin est plus grand que nécessaire. Le plus petit effet que ce dispositif détecte à 80 % de puissance et 5 % de seuil bilatéral vaut 0,238 € par personne, soit 5,66 % de la dépense de base et 106 975 € de revenu incrémental annuel sur la base exposée. Faire tourner ce groupe témoin pendant un an coûte 55 000 € de revenu abandonné.

Réduis-le et l'arbitrage devient visible. Un groupe témoin de 2 % sur la même liste n'abandonne que 11 000 € mais ne détecte que 0,509 € par personne : il aurait donc largement attrapé l'effet de ce programme pour un cinquième du coût. Dans l'autre sens — une liste de 50 000 personnes avec un groupe témoin de 10 % — l'effet détectable monte à 0,752 € par personne, 17,9 % de la base, ce qui signifie qu'une petite liste ne peut mesurer qu'un gros effet. Ce n'est pas un défaut de la méthode ; c'est l'énoncé honnête que les petits programmes ne peuvent pas se mesurer finement et devraient faire tourner le groupe témoin plus longtemps plutôt que pas du tout.

Le mettre en place sans rien casser

Randomise sur un identifiant stable pour qu'un abonné ne dérive pas d'un bras à l'autre en cours d'année, et exclus du groupe témoin les messages transactionnels et légalement requis — tu testes le programme marketing, tu ne retiens pas une confirmation de commande. Garde l'affectation des bras hors de la logique de segment de l'outil d'envoi et dans la fiche client, car un segment construit sur le comportement réaffectera en silence les gens qui se comportent différemment, c'est-à-dire précisément la population que tu cherches à comparer.

Mesure sur une fenêtre assez longue pour contenir le cycle d'achat et cesse de regarder le résultat avant sa fin — consulter un groupe témoin chaque semaine et conclure dès que l'écart paraît significatif est la même erreur que d'arrêter un test A/B trop tôt, et l'article compagnon de cette série sur le dimensionnement des tests explique ce que cela fait au taux de faux positifs. Publie le chiffre incrémental à côté du chiffre attribué plutôt qu'à sa place, car le chiffre attribué est celui que tout le reste de l'organisation regarde, et une métrique qui arrive sans sa devancière se fait contester au lieu d'être utilisée.

Questions fréquentes

Le chiffre de ROI de l'e-mail largement cité est-il faux ?

Il n'est pas fabriqué, il mesure simplement autre chose. Le State of Email de Litmus situe le retour autour de 36 pour 1 à partir d'une enquête auprès d'environ cinq cents professionnels du marketing, dont un cinquième ont déclaré ne pas connaître leur propre ROI ; le tracker britannique de la DMA interroge quelque 250 marketeurs et annonce un ordre de grandeur comparable. Les deux sont déclaratifs, non audités, et calculés par les répondants avec l'attribution et la base de coûts qu'ils utilisent. Considère-les comme une mesure de ce que croient les praticiens, ce qui est réellement intéressant, et non comme un repère que ton programme devrait atteindre.

Que doit contenir le côté coût d'un calcul de ROI e-mail ?

Tout ce que tu cesserais de payer si tu arrêtais le programme. Dans l'exemple déroulé, cela fait 24 000 € de plateforme d'envoi, 135 000 € pour 1,5 personne en coût chargé, 30 000 € de création et d'agence, 60 000 € consacrés à l'acquisition d'abonnés et 11 000 € d'outillage de délivrabilité et de données — 260 000 € au total, face à un abonnement de 24 000 €. La ligne des personnes est celle qui manque d'ordinaire et le plus gros poste. La ligne d'acquisition d'abonnés est celle qui fait débat : une liste est un actif que quelqu'un a payé, et en omettre le coût revient à valoriser le canal comme si son intrant était gratuit.

Quelle taille pour le groupe témoin, et combien me coûte-t-il ?

Dimensionne-le à partir du plus petit effet sur lequel tu agirais, pas d'un pourcentage rond. Avec un revenu par personne de 4,20 € en moyenne et un écart type de 18,00 €, un groupe témoin de 10 % sur une liste de 500 000 personnes détecte des effets jusqu'à 0,238 € par personne — 5,66 % de la base — et abandonne 55 000 € de revenu par an. Un groupe témoin de 2 % sur la même liste descend à 0,509 € et abandonne 11 000 €. Sur une liste de 50 000 personnes, un groupe témoin de 10 % n'atteint que 0,752 €, soit 17,9 % de la base : les programmes plus petits ont donc besoin d'une part plus grande ou d'une fenêtre plus longue. Le coût est réel et calculable, ce qui en fait une décision et non une dispute.

Pourquoi l'attribution au dernier clic est-elle particulièrement généreuse avec l'e-mail ?

Parce que l'e-mail est très souvent le dernier lien commode avant un achat déjà décidé. Quelqu'un a l'intention d'acheter, cherche le produit, et le message dans sa boîte est le chemin le plus court pour y aller ; il clique, il achète, et le modèle enregistre une conversion causée par l'e-mail. Dans le programme déroulé, le dernier clic créditait 1 150 000 € alors que le groupe témoin montrait 495 000 € de revenu incrémental : 57,0 % du revenu crédité serait donc arrivé de toute façon. La fenêtre d'attribution aggrave le tout : avec le délai de conversion posé, une fenêtre d'un jour affiche 920 000 € et une fenêtre de trente jours 1 150 000 € — une différence de 25,0 % produite par un réglage.

Un programme e-mail vaut-il encore la peine si le ratio honnête frôle 1 ?

Cela dépend de ce que l'arithmétique te dit de changer, pas de savoir s'il faut arrêter. Un programme à 1,90 pour 1 en revenu incrémental et 0,86 pour 1 en marge brute incrémentale n'est pas un canal à abandonner ; c'est un canal dont la base de coûts est trop lourde pour ce qu'il produit aujourd'hui, et les leviers sont visibles dans le même calcul. Réduis la fréquence d'envoi vers le segment qui ne répond pas, transforme le coût créatif fixe en gabarits réutilisés, ou augmente l'effet incrémental en ciblant les gens que le groupe témoin montre réellement déplacés. Puis remesure. L'intérêt du ratio honnête est de rendre ces choix calculables, ce que le chiffre de 36 pour 1 n'a jamais fait.