Was ein E-Mail-Programm tatsächlich einbringt

Woher das berühmte Vielfache stammt

Die Zahl ist nicht erfunden und kein Geheimnis. Litmus' State-of-Email-Umfrage nennt eine E-Mail-Rendite in der Größenordnung von 36 zu 1, erhoben bei rund fünfhundert Marketing-Fachleuten; der britische Marketer Email Tracker der Data & Marketing Association befragt etwa 250 Marketer und nennt eine ähnliche Größenordnung. Beide benennen Stichprobe und Methode. Die Methode ist das Problem: Sie fragen Marketer, wie hoch ihre Rendite sei, und veröffentlichen die Antworten.

Litmus ist offen bei einem Detail, das mit der Zahl reisen sollte und es nie tut: Rund ein Fünftel der Befragten gab an, den eigenen aktuellen ROI nicht zu kennen. Eine Umfrage, in der ein Fünftel der Stichprobe die Antwort nicht kennt, ist zur Beschreibung einer Stimmung weiterhin brauchbar. Eine Kanalmessung ist sie nicht. Und die vier Fünftel, die antworteten, wurden nicht geprüft; sie berichteten, was ihr Attributionstool ihnen sagte, was uns zu den zwei systematischen Fehlern führt.

Der Nenner: was ein E-Mail-Programm kostet, wenn man die Menschen mitzählt

Dass die berichtete Rendite von E-Mail die jedes anderen Kanals so weit übersteigt, liegt daran, dass ihre Kosten meist auf ein Software-Abo reduziert werden. Alles andere — die Person, die die Kampagnen schreibt, der Designer, der die Templates baut, der Entwickler, der die Integration pflegt, das Agenturhonorar, das Geld, mit dem die Abonnenten überhaupt erst gewonnen wurden — steht in einer anderen Budgetzeile und erreicht die Rechnung nie.

Kalkuliere das Programm für ein Jahr ehrlich: 24 000 € für die Versandplattform, 135 000 € für 1,5 vollbelastete Personen, 30 000 € Kreation und Agentur, 60 000 € für die Gewinnung von Abonnenten und 11 000 € für Zustellbarkeits-Werkzeuge und Daten. Das sind 260 000 € — mehr als das Zehnfache der Plattformgebühr, und die Plattformgebühr ist die einzige Zeile, die die meisten Rechnungen enthalten. Über die Zeile Abonnentengewinnung wird gestritten, und sie gehört hinein: Eine Liste ist kein Gratisbestand, sie ist ein Vermögenswert, den jemand bezahlt hat, und ihre Kosten auszuschließen heißt, einen Kanal zu bewerten, indem man so tut, als sei sein Input durch Zauberei erschienen.

Der Zähler: gemessener Umsatz ist nicht inkrementeller Umsatz

Jedes Attributionsmodell beantwortet die Frage „welcher Kontaktpunkt ging dem Kauf voraus“. Kein Attributionsmodell beantwortet die Frage „wäre der Kauf ohnehin passiert“. Das sind verschiedene Fragen, und nur die zweite handelt von Rendite. Speziell bei E-Mail ist die Lücke groß, weil E-Mail Menschen erreicht, die dich bereits kennen, bereits einmal gekauft haben und bereits auf dem Rückweg sind — also genau die Gruppe, die am ehesten auch ohne Mail kauft.

Last Click ist hier der schlimmste Übeltäter, und speziell der schlimmste für E-Mail. Jemand entscheidet sich zu kaufen, sucht dann das Produkt, findet deine Nachricht im Postfach, weil sie der bequemste Link ist, den er besitzt, klickt und kauft. Jeder Schritt dieser Geschichte ist real, und jeder Schritt wäre auch ohne die Nachricht passiert. Last Click liest das als eine von E-Mail verursachte Konversion. Der letzte nicht-direkte Klick ebenso, der in den meisten Analytics-Werkzeugen die Voreinstellung ist.

Die Fenstereinstellung verschärft das. Angenommen, 62 % der Konversionen fallen auf den Klicktag, 18 % auf Tag eins und zwei, 11 % auf Tag drei bis sieben und 9 % auf Tag acht bis dreißig. Ein Attributionsfenster von einem Tag misst 920 000 € E-Mail-Umsatz, ein Sieben-Tage-Fenster 1 046 500 € und ein Dreißig-Tage-Fenster 1 150 000 €. Am Geschäft hat sich zwischen diesen drei Zahlen nichts geändert; ein Ausschlag von 25,0 % kam vollständig aus einem Auswahlmenü in einem Reporting-Werkzeug.

Die Kontrollgruppe und was sie offenlegt

Eine Kontrollgruppe ist ein zufällig gewählter Teil des Publikums, der aus dem Programm ausgeschlossen wird. Weil die Zuteilung zufällig ist, unterscheiden sich die beiden Gruppen nur darin, ob sie die Mails erhielten, also wird der Unterschied in ihren Ausgaben von den Mails verursacht. Das ist die gesamte Kausalinferenz in einem Satz und das einzige Instrument, das die Frage beantwortet, die ROI stellt.

Rechne es durch. Ein Publikum von 500 000 Personen, eine Kontrollgruppe von 10 %, also 450 000 bespielt und 50 000 nicht, über ein Jahr. Bespielte Abonnenten geben je 4,20 € aus, zusammen 1 890 000 €. Die Kontrollgruppe gibt je 3,10 € aus, zusammen 155 000 € — beachte, dass es nicht null ist, und genau darum geht es. Der inkrementelle Umsatz beträgt 1,10 € pro Person oder 495 000 € über die bespielte Basis. Die Last-Click-Zuordnung schrieb E-Mail derweil 1 150 000 € gut. Die inkrementelle Zahl sind 43,0 % davon, Last Click überschätzte den Beitrag des Programms also um 132,3 %.

Teile nun dasselbe Programm auf drei Arten. Last-Click-Umsatz über die reine Plattformgebühr ergibt 47,92 zu 1, und so entsteht eine Zahl in der Größenordnung der Umfragewerte. Inkrementeller Umsatz über Vollkosten ergibt 1,90 zu 1. Und weil Umsatz kein Gewinn ist, lege eine Rohmarge von 45 % an: Der inkrementelle Rohertrag beträgt 222 750 € gegen 260 000 € Kosten, ein Verhältnis von 0,86 zu 1 und ein Nettobeitrag von minus 37 250 €. Ein Programm, drei vertretbare Rechenwege, und nur der dritte sagt dir, ob du es weiter finanzieren sollst.

Wie groß muss die Kontrollgruppe sein?

Groß genug, dass der Unterschied, der dich interessiert, größer ist als das Rauschen, und nicht größer, denn jede Person in der Kontrollgruppe ist Umsatz, den du bewusst nicht verdienst. Der Umsatz je Person ist stark schief verteilt — die meisten Abonnenten geben nichts aus und wenige viel —, die Standardabweichung ist also groß im Verhältnis zum Mittelwert. Nimm sie mit 18,00 € je Person gegen einen Mittelwert von 4,20 €, und der Standardfehler der Differenz ist die Standardabweichung mal die Wurzel aus der Summe der Kehrwerte der Gruppengrößen.

Beim Publikum von 500 000 Personen mit 10 % Kontrollgruppe beträgt dieser Standardfehler 0,0849 € je Person. Die beobachtete Lücke von 1,10 € sind also rund dreizehn Standardfehler — erdrückend, und ein Zeichen, dass die Kontrollgruppe größer ist als nötig. Der kleinste Effekt, den dieses Design bei 80 % Power und 5 % zweiseitigem Niveau erkennt, sind 0,238 € je Person, also 5,66 % der Basisausgaben und 106 975 € jährlicher inkrementeller Umsatz über die bespielte Basis. Diese Kontrollgruppe ein Jahr laufen zu lassen kostet 55 000 € entgangenen Umsatz.

Verkleinere sie, und der Handel wird sichtbar. Eine 2-%-Kontrollgruppe auf derselben Liste verzichtet nur auf 11 000 €, erkennt aber nur 0,509 € je Person: Sie hätte den Effekt dieses Programms noch bequem gefangen und ein Fünftel gekostet. In die andere Richtung — eine Liste von 50 000 Personen mit 10 % Kontrollgruppe — steigt der erkennbare Effekt auf 0,752 € je Person, 17,9 % der Basis, was heißt, dass eine kleine Liste nur einen großen Effekt messen kann. Das ist kein Mangel der Methode; es ist die ehrliche Aussage, dass kleine Programme sich nicht präzise messen können und die Kontrollgruppe lieber länger laufen lassen sollten als gar nicht.

Sie betreiben, ohne etwas kaputtzumachen

Randomisiere auf einem stabilen Identifikator, damit ein Abonnent nicht mitten im Jahr zwischen den Armen driftet, und nimm transaktionale und gesetzlich vorgeschriebene Nachrichten aus der Kontrollgruppe heraus — du testest das Marketingprogramm, du hältst keine Bestellbestätigung zurück. Halte die Armzuweisung aus der Segmentlogik des Versandwerkzeugs heraus und im Kundendatensatz, denn ein auf Verhalten gebautes Segment weist Leute, die sich anders verhalten, stillschweigend neu zu — und genau diese Gruppe willst du vergleichen.

Miss über ein Fenster, das lang genug ist, um den Kaufzyklus zu enthalten, und hör auf, das Ergebnis vor dessen Ende anzuschauen — eine Kontrollgruppe wöchentlich zu prüfen und beim ersten signifikant wirkenden Abstand abzubrechen ist derselbe Fehler wie ein zu früh gestoppter A/B-Test, und der Begleitartikel dieser Reihe zur Testgrößenbestimmung erklärt, was das mit der Falsch-Positiv-Rate macht. Berichte die inkrementelle Zahl neben der zugeordneten statt an ihrer Stelle, denn die zugeordnete Zahl ist die, auf die alle anderen im Unternehmen schauen, und eine Kennzahl, die ohne ihre Vorgängerin auftaucht, wird bestritten statt benutzt.

Häufige Fragen

Ist die viel zitierte E-Mail-ROI-Zahl falsch?

Sie ist nicht erfunden, sie misst nur etwas anderes. Litmus' State of Email nennt eine Rendite von rund 36 zu 1 aus einer Umfrage unter etwa fünfhundert Marketing-Fachleuten, von denen rund ein Fünftel angab, den eigenen ROI nicht zu kennen; der britische Tracker der DMA befragt etwa 250 Marketer und nennt eine ähnliche Größenordnung. Beide sind selbstberichtet, ungeprüft und von den Befragten mit jeweils eigener Attribution und eigener Kostenbasis gerechnet. Nimm sie als Maß dafür, was Praktiker glauben — das ist durchaus interessant — und nicht als Zielmarke für dein eigenes Programm.

Was gehört in die Kostenseite einer E-Mail-ROI-Rechnung?

Alles, was du nicht mehr zahlen würdest, wenn du das Programm einstellst. Im durchgerechneten Beispiel sind das 24 000 € Versandplattform, 135 000 € für 1,5 vollbelastete Personen, 30 000 € Kreation und Agentur, 60 000 € für die Gewinnung von Abonnenten und 11 000 € für Zustellbarkeits-Werkzeuge und Daten — insgesamt 260 000 €, gegenüber einer Plattformgebühr von 24 000 €. Die Personalzeile fehlt üblicherweise und ist der größte Einzelposten. Über die Zeile Abonnentengewinnung wird üblicherweise gestritten: Eine Liste ist ein Vermögenswert, den jemand bezahlt hat, und ihre Kosten wegzulassen heißt, den Kanal zu bewerten, als wäre sein Input gratis.

Wie groß soll die Kontrollgruppe sein, und was kostet sie mich?

Bemiss sie am kleinsten Effekt, auf den du reagieren würdest, nicht an einem runden Prozentsatz. Bei einem Umsatz je Person von durchschnittlich 4,20 € und einer Standardabweichung von 18,00 € erkennt eine 10-%-Kontrollgruppe auf einer Liste von 500 000 Personen Effekte bis hinunter zu 0,238 € je Person — 5,66 % der Basis — und verzichtet auf 55 000 € Umsatz pro Jahr. Eine 2-%-Kontrollgruppe auf derselben Liste kommt bis 0,509 € und verzichtet auf 11 000 €. Auf einer Liste von 50 000 Personen erreicht eine 10-%-Kontrollgruppe nur 0,752 €, also 17,9 % der Basis; kleinere Programme brauchen daher entweder einen größeren Anteil oder ein längeres Fenster. Der Preis ist real und berechenbar, und genau das macht daraus eine Entscheidung statt eines Streits.

Warum ist die Last-Click-Zuordnung besonders großzügig zu E-Mail?

Weil E-Mail sehr oft der letzte bequeme Link vor einem bereits beschlossenen Kauf ist. Jemand will kaufen, sucht das Produkt, und die Nachricht im Postfach ist der kürzeste Weg dorthin; er klickt, er kauft, und das Modell verbucht eine von E-Mail verursachte Konversion. Im durchgerechneten Programm schrieb Last Click 1 150 000 € gut, während die Kontrollgruppe 495 000 € inkrementellen Umsatz zeigte; 57,0 % des gutgeschriebenen Umsatzes wären also ohnehin gekommen. Das Attributionsfenster verschärft es: Bei der angenommenen Konversionsverzögerung meldet ein Ein-Tages-Fenster 920 000 € und ein Dreißig-Tage-Fenster 1 150 000 € — ein Unterschied von 25,0 %, erzeugt von einer Einstellung.

Lohnt sich ein E-Mail-Programm noch, wenn das ehrliche Verhältnis nahe 1 liegt?

Es hängt davon ab, was die Rechnung dir zu ändern sagt, nicht davon, ob du aufhören sollst. Ein Programm mit 1,90 zu 1 auf inkrementellem Umsatz und 0,86 zu 1 auf inkrementellem Rohertrag ist kein Kanal zum Aufgeben; es ist ein Kanal, dessen Kostenbasis für das, was er derzeit erzeugt, zu schwer ist, und die Hebel stehen in derselben Rechnung. Senke die Sendefrequenz für das Segment, das nicht reagiert, überführe die fixen Kreationskosten in wiederverwendete Templates, oder erhöhe den inkrementellen Effekt, indem du die Leute ansprichst, die laut Kontrollgruppe tatsächlich bewegt werden. Dann miss erneut. Der Sinn des ehrlichen Verhältnisses ist, diese Entscheidungen berechenbar zu machen — was die 36-zu-1-Zahl nie tat.