Wie viele Besucher braucht ein A/B-Test?

Vier Eingaben, und du wählst sie alle

Eine Stichprobengröße wird nicht entdeckt, sie wird festgelegt. Vier Zahlen gehen hinein. Die Ausgangs-Konversionsrate ist die, die du bereits hast — miss sie über eine ganze Zahl von Wochen, damit Wochentags- und Wochenendverkehr beide vertreten sind. Der minimal erkennbare Effekt ist die kleinste Verbesserung, auf die du tatsächlich reagieren würdest, und er wird üblicherweise als relativer Zuwachs angegeben: 10 % auf eine Ausgangsrate von 3 % bedeutet eine Variantenrate von 3,3 %. Das Signifikanzniveau α ist deine Toleranz dafür, einen Gewinner auszurufen, den es nicht gibt, üblich sind 5 % zweiseitig. Und die Power ist deine Toleranz dafür, einen echten Gewinner zu übersehen, üblich sind 80 % — du akzeptierst also eine Chance von eins zu fünf, einen tatsächlich vorhandenen Effekt nicht zu entdecken.

Am häufigsten falsch gesetzt wird der minimal erkennbare Effekt, weil er sich wie ein Ergebnis anfühlt statt wie eine Eingabe. Ist er nicht. Er ist eine im Voraus getroffene Festlegung: Du erklärst, dass ein Zuwachs unterhalb dieser Schwelle den Traffic nicht wert ist, den sein Nachweis kosten würde. Ihn ehrlich zu wählen ist das Nützlichste, was du für ein Testprogramm tun kannst — optimistisch gewählt entstehen Tests, die zu kurz sind, um irgendetwas zu schließen, zaghaft gewählt entstehen Tests, für die niemand genug Traffic hat.

Die Formel, mit jedem Symbol benannt

Für zwei unabhängige Anteile bei gleich großen Gruppen lautet das übliche Normalapproximations-Ergebnis n je Variante = [z(α/2) × √(2 p̄ (1 − p̄)) + z(β) × √(p1(1 − p1) + p2(1 − p2))]² ÷ (p2 − p1)². Dabei ist p1 die Ausgangsrate, p2 die Variantenrate, die du erkennen können willst, und p̄ ihr Mittelwert, (p1 + p2) ÷ 2. Der Term z(α/2) ist der Standardnormalwert, der α/2 in jedem Rand lässt: 1,96 für einen zweiseitigen Test bei α = 0,05. Der Term z(β) ist der Wert, der β in einem Rand lässt, wobei β eins minus die Power ist: 0,84 für 80 % Power, 1,28 für 90 %.

Zwei strukturelle Tatsachen fallen unmittelbar aus der Algebra und sind mehr wert als die Formel selbst. Erstens steht die Differenz p2 − p1 quadriert im Nenner, der Traffic-Bedarf skaliert also mit eins durch das Quadrat des gesuchten Effekts. Halbiere den Effekt, und du vervierfachst grob den Traffic. Zweitens vervielfacht der Schritt von 80 % auf 90 % Power den Bedarf um einen festen Faktor von etwa 1,34, unabhängig von Ausgangsrate und Zuwachs, denn geändert hat sich nur z(β) von 0,84 auf 1,28. Zusätzliche Sicherheit ist teuer, aber berechenbar teuer; ein kleinerer Zieleffekt ist auf eine Weise teuer, die dir davonläuft.

Wie schnell es explodiert, bei 3 % Ausgangsrate

Rechne die Formel bei 3 % Ausgangsrate durch, und die Gestalt des Problems wird offensichtlich. Um einen relativen Zuwachs von 50 % zu erkennen — 3 % auf 4,5 %, ein absoluter Abstand von 1,50 Prozentpunkten — brauchst du 2 518 Besucher je Variante bei 80 % Power, also 5 036 insgesamt. Die Hälfte von zwei Tagen Traffic bei 10 000 pro Woche. Für 25 %, 3 % auf 3,75 %, fällt der Abstand auf 0,75 Punkte und der Bedarf springt auf 9 100 je Variante, 18 200 insgesamt, etwa 1,8 Wochen. Für 10 %, 3 % auf 3,3 %, ein Abstand von 0,30 Punkten, brauchst du 53 211 je Variante, 106 422 insgesamt, über zehn Wochen. Und für 5 %, 3 % auf 3,15 %, ein Abstand von 0,15 Punkten, brauchst du 207 938 je Variante, 415 876 insgesamt, mehr als 41 Wochen.

Die Ausgangsrate zählt genauso viel wie der Zuwachs, und in dieselbe Richtung: Seiten mit niedriger Konversion sind teuer zu testen. Ein relativer Zuwachs von 10 % verlangt bei 3 % Ausgangsrate 53 211 Besucher je Variante, bei 10 % nur 14 751 und bei 30 % nur 3 763 — bei 1 % dagegen 163 095. Seltene Ereignisse tragen mehr relatives Rauschen, du musst also länger hinsehen, um hindurchzublicken. Deshalb schließen Tests an einem Checkout-Schritt, die auf hochkonvertierenden Seiten laufen, in Tagen ab, während Tests von der Startseite bis zum Kauf auf derselben Website nie abschließen.

Relativ oder absolut? Der Fehler, der einen Test um das 463-Fache schrumpfen lässt

Fast jedes Stichprobenrechner fragt den Effekt in einer von zwei Formen ab und sagt nicht immer, in welcher. Ein relativer Zuwachs von 10 % auf eine Ausgangsrate von 3 % bedeutet den Sprung auf 3,3 %. Eine Verbesserung um 10 Prozentpunkte auf derselben Ausgangsrate bedeutet den Sprung auf 13 %. Die beiden liegen nicht nahe beieinander: Der erste verlangt 53 211 Besucher je Variante, der zweite 115. Gib den falschen ein, und dein Test ist 463-mal zu klein, erreicht seine geplante Stichprobengröße an einem Nachmittag und meldet das Rauschen, das an diesem Tag zufällig in den Daten lag.

Die Gewohnheit, die das verhindert, kostet nichts. Schreib beide Formen auf, bevor du den Rechner anfasst: Ausgangsrate, Variantenrate und absoluter Abstand in Prozentpunkten. Kannst du die Variantenrate nicht als Zahl hinschreiben, hast du keinen Effekt festgelegt. Das diszipliniert auch das Gespräch mit den Beteiligten, denn die Forderung nach 10 % Zuwachs klingt bescheiden — bis zu dem Moment, in dem jemand aufschreibt, dass sie 3 % auf 3,3 % bedeutet und dass ihr Nachweis zehn Wochen des gesamten Website-Traffics kostet.

Peeking: warum «es wurde signifikant» kein Ergebnis ist

Die 5 % Falsch-positiv-Rate, die Signifikanztests versprechen, gilt für einen Test, einmal durchgeführt, auf einer Stichprobe, deren Größe vorab feststand. Schaust du täglich aufs Dashboard und brichst ab, sobald der p-Wert unter 0,05 rutscht, führst du diesen Test nicht mehr durch. Du führst ein Verfahren durch, das viele Gelegenheiten bekommt, die Linie zu überschreiten, und seine Fehlerrate ist die Wahrscheinlichkeit, sie mindestens einmal zu überschreiten — die ist deutlich größer.

Das Ausmaß der Aufblähung ist messbar, und wir haben es gemessen: ein simulierter A/A-Test — beide Arme exakt bei 3 %, überhaupt kein echter Unterschied, 9 100 Besucher je Arm, 20 000 Wiederholungen — erklärte in 5,0 % der Fälle einen Gewinner, wenn die Daten einmal am Ende betrachtet wurden. Zweimal betrachtet: 8,3 %. Bei fünf gleich verteilten Blicken: 14,6 %. Bei zehn: 19,5 %. Bei zwanzig: 24,6 %. Diese Werte reproduzieren das Profil, das Armitage, McPherson und Rowe 1969 veröffentlicht haben, und das Muster setzt sich fort: Bei laufender Überwachung ohne Stoppregel nähert sich die Wahrscheinlichkeit, die Linie irgendwann zu überschreiten, der Gewissheit — selbst wenn beide Varianten identisch sind. Jeder fünfte Sieg, der auf einem zwei Wochen lang täglich geprüften Dashboard gefeiert wird, ist gar nichts.

Was stattdessen zu tun ist

Die einfachste Abhilfe: den Horizont festlegen und einhalten. Berechne die Stichprobengröße vor dem Start, rechne sie in eine ganze Zahl von Wochen um, damit jeder Wochentag gleich vertreten ist, schreib dieses Enddatum auf und lies das Ergebnis einmal — am Ende. Du darfst zwischendurch aufs Dashboard schauen, um zu prüfen, ob der Test technisch gesund ist, ob der Traffic gleichmäßig aufgeteilt wird und nichts kaputt ist. Abbrechen darfst du wegen dessen, was du dort siehst, nicht. Der Unterschied zwischen Beobachten und Entscheiden ist die ganze Absicherung.

Brauchst du wirklich die Möglichkeit, früh abzubrechen — weil die Variante dem Umsatz schaden könnte oder weil der Traffic-Preis eines vollen Durchlaufs untragbar ist — dann nimm ein dafür gebautes Verfahren, statt das vorhandene zu zerbrechen. Gruppensequenzielle Designs, deren klassisches Beispiel Pococks Grenzen von 1977 sind, erlauben eine vorab erklärte Anzahl von Zwischenblicken und verteilen dein Fehlerbudget über diese Blicke, indem sie die Schwelle bei jedem verschärfen. Sequenzielle und bayessche Ansätze mehrerer Testplattformen erreichen dasselbe mit fortlaufend gültigen Schranken. Alle kosten etwas: eine strengere Schwelle, eine größere Maximalstichprobe oder beides. Dieser Preis ist der ehrliche Preis der Flexibilität, und er ist weit geringer als ein Programm, das ein Viertel seiner Verlierer als Gewinner ausrollt.

Häufige Fragen

Meine Website hat zu wenig Traffic. Was kann ich testen?

Größere Änderungen und häufiger auftretende Ereignisse. Die beiden Hebel in der Formel, die du wirklich steuerst, sind die Effektgröße und die Ausgangsrate. Statt einer Buttonfarbe eine komplette Seitenneugestaltung zu testen, hebt den plausiblen Effekt von wenigen Prozent auf Dutzende, und ein relativer Zuwachs von 50 % auf 3 % Ausgangsrate braucht nur 2 518 Besucher je Variante statt der 207 938, die ein 5-%-Zuwachs verlangt. Das gemessene Ereignis im Funnel nach oben zu verlegen leistet dasselbe: Ein auf „In den Warenkorb“ gemessener Test, der etwa mit 10 % konvertiert, braucht für 10 % Zuwachs 14 751 Besucher je Variante gegenüber 53 211 für denselben Zuwachs auf einer Kaufrate von 3 %. Steht beides nicht zur Verfügung, roll die Änderung ohne Test aus und beurteile sie im Vorher-Nachher — nenn es aber, was es ist: eine Entscheidung, kein Beleg.

Soll ich 80 % oder 90 % Power wählen?

Achtzig Prozent sind der Standard, und das Upgrade kostet in jedem Fall feste 34 % mehr Traffic: bei 3 % Ausgangsrate und 25 % Zuwachs steigt der Bedarf von 9 100 auf 12 182 Besucher je Variante, bei 10 % Zuwachs von 53 211 auf 71 233. Das Verhältnis ändert sich nie, weil sich nur z(β) bewegt hat, von 0,84 auf 1,28. Kauf die zusätzliche Power, wenn ein falsch Negativ teuer ist — wenn die Variante ein Viertel der Entwicklungszeit gekostet hat, wenn die Entscheidung eine Roadmap blockiert, oder wenn du dieses Jahr keine zweite Gelegenheit für den Test bekommst. Bleib bei 80 %, wenn sich die Änderung günstig noch einmal aufgreifen lässt, denn der Traffic ist in einem zweiten Test besser angelegt als in einer dritten Nachkommastelle Gewissheit beim ersten.

Darf ich den Test früh abbrechen, wenn eine Variante klar führt?

Bei einem Design mit festem Horizont nein — genau das kann dieses Design nicht verkraften. Ein simulierter A/A-Test ganz ohne echten Unterschied lieferte bei einmaliger Auswertung in 5,0 % der Fälle ein signifikantes Ergebnis, bei fünf Blicken in 14,6 % und bei zehn in 19,5 %. Ein früher Vorsprung ist zudem die unzuverlässigste Art von Vorsprung, weil Unterschiede am verrauschtesten sind, wenn die Stichprobe am kleinsten ist: Ein riesiger scheinbarer Effekt in Woche eins ist eher eine kleine Stichprobe als ein großer Effekt. Ist frühes Abbrechen ein echtes Erfordernis und keine Ungeduld, nimm ein gruppensequenzielles Design mit erklärten Zwischenanalysen und angepassten Schwellen oder eine Plattform mit fortlaufend gültigen Schranken — und akzeptiere die größere Maximalstichprobe, die dazugehört.

Meint die Stichprobengröße Besucher oder Konversionen?

Besucher — genauer: die von dir randomisierten Einheiten, jede einmal gezählt. Die Zahlen in der Tabelle sind Besucher je Variante, 9 100 für 25 % Zuwachs heißt also 9 100 in der Kontrolle und 9 100 in der Variante, 18 200 insgesamt. Randomisiere auf den Besucher, nicht auf die Sitzung, sonst wird jemand, der dreimal wiederkommt, dreimal gezählt, und sein Verhalten ist über diese Besuche korreliert — das schrumpft deine echte Stichprobe still unter die Zahl, die du beobachtest. Zähle auch das Ergebnis jedes Besuchers nur einmal: Ein Besucher hat im Testfenster konvertiert oder nicht.

Warum sollte ein Test ganze Wochen laufen?

Weil Konversionsraten einen Wochenrhythmus haben und ein mitten in der Woche endender Test diesen Rhythmus ungleichmäßig abtastet. Besucher unter der Woche und am Wochenende unterscheiden sich in Absicht, Gerät und verfügbarer Zeit; ebenso die Tage rund um einen Zahltag oder einen wöchentlichen Newsletterversand. Ein elftägiger Test gibt in der Rechnung einem Wochenende mehr Gewicht als dem anderen — als Unterschied zwischen den Armen zeigt sich das nur zufällig, als Instabilität des Ergebnisses zuverlässig. Runde die berechnete Stichprobengröße auf die nächste ganze Wochenzahl auf, starte und beende am selben Wochentag, und die Saisonalität hebt sich zwischen den beiden Armen auf, statt in die Schätzung zu sickern.