Quanti visitatori servono per un test A/B?

Quattro input, e li scegli tutti

Una dimensione campionaria non si scopre, si specifica. Entrano quattro numeri. Il tasso di conversione di base è quello che hai già — misuralo su un numero intero di settimane, così che traffico infrasettimanale e del fine settimana siano entrambi rappresentati. L'effetto minimo rilevabile è il più piccolo miglioramento su cui agiresti davvero, e si enuncia normalmente come incremento relativo: un 10 % su una base del 3 % significa un tasso della variante del 3,3 %. Il livello di significatività α è la tua tolleranza nel dichiarare un vincitore che non esiste, per convenzione il 5 % bilaterale. E la potenza è la tua tolleranza nel mancare un vincitore reale, per convenzione l'80 %, cioè accetti una probabilità su cinque di non rilevare un effetto che c'è davvero.

Quello che si sbaglia più spesso è l'effetto minimo rilevabile, perché sembra un output invece che un input. Non lo è. È un impegno preso in anticipo: stai dichiarando che un incremento più piccolo di questo non vale il traffico che servirebbe a dimostrarlo. Sceglierlo con onestà è la cosa più utile che puoi fare per un programma di test, perché sceglierlo con ottimismo produce test troppo brevi per concludere alcunché e sceglierlo con timidezza produce test che nessuno ha il traffico per finire.

La formula, con ogni simbolo spiegato

Per due proporzioni indipendenti con gruppi di uguale dimensione, il risultato standard per approssimazione normale è n per variante = [z(α/2) × √(2 p̄ (1 − p̄)) + z(β) × √(p1(1 − p1) + p2(1 − p2))]² ÷ (p2 − p1)². Qui p1 è il tasso di base, p2 il tasso della variante che vuoi poter rilevare, e p̄ la loro media, (p1 + p2) ÷ 2. Il termine z(α/2) è il valore normale standard che lascia α/2 in ciascuna coda: 1,96 per un test bilaterale con α = 0,05. Il termine z(β) è il valore che lascia β in una coda, con β pari a uno meno la potenza: 0,84 per l'80 % di potenza, 1,28 per il 90 %.

Due fatti strutturali escono direttamente dall'algebra e valgono più della formula stessa. Primo, la differenza p2 − p1 compare al quadrato al denominatore, quindi il traffico necessario scala come uno diviso il quadrato dell'effetto che insegui. Dimezza l'effetto e quadruplichi all'incirca il traffico. Secondo, passare dall'80 % al 90 % di potenza moltiplica il fabbisogno per un fattore fisso di circa 1,34, qualunque siano la base e l'incremento, perché l'unica cosa cambiata è z(β) che passa da 0,84 a 1,28. La confidenza in più costa, ma in modo prevedibile; un effetto obiettivo più piccolo costa in un modo che ti sfugge di mano.

Con che rapidità esplode, su una base del 3 %

Applica la formula a una base del 3 % e la forma del problema salta agli occhi. Per rilevare un incremento relativo del 50 % — dal 3 % al 4,5 %, un divario assoluto di 1,50 punti percentuali — servono 2 518 visitatori per variante all'80 % di potenza, quindi 5 036 in totale. Metà di due giorni di traffico a 10 000 a settimana. Per il 25 %, dal 3 % al 3,75 %, il divario scende a 0,75 punti e il fabbisogno balza a 9 100 per variante, 18 200 in totale, circa 1,8 settimane. Per il 10 %, dal 3 % al 3,3 %, un divario di 0,30 punti, servono 53 211 per variante, 106 422 in totale, oltre dieci settimane. E per il 5 %, dal 3 % al 3,15 %, un divario di 0,15 punti, servono 207 938 per variante, 415 876 in totale, più di 41 settimane.

La base conta quanto l'incremento, e nella stessa direzione: le pagine che convertono poco sono care da testare. Un incremento relativo del 10 % richiede 53 211 visitatori per variante su una base del 3 %, ma solo 14 751 su una base del 10 % e 3 763 su una del 30 % — mentre su una base dell'1 % ne richiede 163 095. Gli eventi rari portano più rumore relativo, quindi devi osservare più a lungo per vederci attraverso. È per questo che i test su uno step di checkout, che girano su pagine ad alta conversione, si chiudono in giorni mentre i test dalla home all'acquisto sullo stesso sito non si chiudono mai.

Relativo o assoluto? L'errore che riduce un test di 463 volte

Quasi ogni strumento per la dimensione campionaria chiede l'effetto in una di due forme e non sempre dice quale. Un incremento relativo del 10 % su una base del 3 % significa passare al 3,3 %. Un miglioramento di 10 punti percentuali sulla stessa base significa passare al 13 %. Non sono vicini: il primo richiede 53 211 visitatori per variante, il secondo 115. Inserisci quello sbagliato e il tuo test è 463 volte troppo piccolo, raggiungerà la dimensione prevista in un pomeriggio e riporterà il rumore che quel giorno si trovava nei dati.

L'abitudine che lo evita non costa nulla. Scrivi entrambe le forme prima di toccare il calcolatore: il tasso di base, il tasso della variante e il divario assoluto in punti percentuali. Se non riesci a enunciare il tasso della variante come numero, non hai specificato un effetto. Farlo disciplina anche la conversazione con gli stakeholder, perché chiedere un incremento del 10 % suona modesto fino al momento in cui qualcuno mette per iscritto che significa passare dal 3 % al 3,3 % e che dimostrarlo costa dieci settimane dell'intero traffico del sito.

Il peeking: perché «è diventato significativo» non è un risultato

Il tasso di falsi positivi del 5 % promesso dal test di significatività vale per un test, eseguito una volta, su un campione la cui dimensione era fissata in anticipo. Guarda la dashboard ogni giorno e fermati appena il valore p scende sotto 0,05, e non stai più eseguendo quel test. Stai eseguendo una procedura che riceve molte occasioni di superare la linea, e il suo tasso di errore è la probabilità di superarla almeno una volta — molto più grande.

L'entità dell'inflazione è misurabile, e l'abbiamo misurata: un test A/A simulato — entrambi i bracci esattamente al 3 %, nessuna differenza reale, 9 100 visitatori per braccio, 20 000 ripetizioni — ha dichiarato un vincitore nel 5,0 % dei casi quando i dati venivano esaminati una sola volta alla fine. Esaminati due volte, l'8,3 %. Con cinque sguardi equidistanti, il 14,6 %. Con dieci, il 19,5 %. Con venti, il 24,6 %. Quelle cifre riproducono il profilo che Armitage, McPherson e Rowe pubblicarono nel 1969, e lo schema prosegue: con monitoraggio continuo e senza regola di arresto, la probabilità di superare prima o poi la linea si avvicina alla certezza anche quando le due varianti sono identiche. Una vittoria su cinque festeggiata su una dashboard consultata ogni giorno per due settimane non è nulla.

Che cosa fare invece

La soluzione più semplice è fissare l'orizzonte e rispettarlo. Calcola la dimensione campionaria prima del lancio, convertila in un numero intero di settimane così che ogni giorno della settimana sia rappresentato allo stesso modo, annota quella data di fine e leggi il risultato una volta sola — alla fine. Nel frattempo puoi guardare la dashboard per verificare che il test sia tecnicamente sano, che il traffico si divida equamente e che nulla si sia rotto. Ciò che non puoi fare è fermarti per quello che vedi lì. La differenza fra monitorare e decidere è tutta la salvaguardia.

Se ti serve davvero l'opzione di fermarti presto — perché la variante potrebbe danneggiare il fatturato, o perché il costo in traffico di una corsa completa è proibitivo — usa un metodo costruito per questo invece di rompere quello che hai. I disegni sequenziali a gruppi, di cui i confini di Pocock del 1977 sono l'esempio classico, ti lasciano guardare un numero di volte dichiarato in anticipo e distribuire il tuo budget di errore su quegli sguardi stringendo la soglia a ciascuno. Gli approcci sequenziali e bayesiani offerti da diverse piattaforme di test ottengono lo stesso risultato con limiti validi in modo continuo. Tutti costano qualcosa: una soglia più severa, un campione massimo più grande, o entrambi. Quel costo è il prezzo onesto della flessibilità, ed è molto più basso di un programma che manda in produzione un quarto dei suoi perdenti come vincitori.

Domande frequenti

Il mio sito non ha traffico sufficiente. Che cosa posso testare?

Cambiamenti più grandi ed eventi che accadono più spesso. Le due leve della formula che controlli davvero sono la dimensione dell'effetto e il tasso di base. Testare il rifacimento completo di una pagina invece del colore di un bottone alza l'effetto plausibile da qualche punto percentuale a decine, e un incremento relativo del 50 % su una base del 3 % richiede solo 2 518 visitatori per variante contro i 207 938 che pretende un incremento del 5 %. Spostare più in alto nel funnel l'evento misurato fa lo stesso lavoro: un test misurato sull'aggiunta al carrello, che può convertire al 10 %, richiede 14 751 visitatori per variante per un incremento del 10 %, contro 53 211 per lo stesso incremento misurato su un tasso di acquisto del 3 %. Se non hai nessuna delle due, lancia il cambiamento senza test e giudicalo su un prima e dopo, ma chiamalo con il suo nome — una decisione, non una prova.

Devo usare l'80 % o il 90 % di potenza?

L'ottanta per cento è il valore predefinito, e l'aggiornamento costa un fisso 34 % di traffico in più in ogni caso: su una base del 3 % con un incremento del 25 % il fabbisogno passa da 9 100 a 12 182 visitatori per variante, e con un incremento del 10 % da 53 211 a 71 233. Il rapporto non cambia mai perché si è mosso solo z(β), da 0,84 a 1,28. Compra la potenza in più quando un falso negativo costa caro — quando la variante ha assorbito un quarto del tempo dello sviluppo, quando la decisione blocca una roadmap, o quando non avrai un'altra occasione di lanciare il test quest'anno. Resta all'80 % quando il cambiamento è economico da riprendere, perché il traffico rende di più in un secondo test che in un terzo decimale di certezza sul primo.

Posso fermare il test in anticipo se una variante sta chiaramente vincendo?

Su un disegno a orizzonte fisso no — è esattamente la mossa che quel disegno non può assorbire. Un test A/A simulato senza alcuna differenza reale fra i bracci ha prodotto un risultato significativo nel 5,0 % dei casi con lettura unica, nel 14,6 % con cinque sguardi e nel 19,5 % con dieci. Un vantaggio precoce è inoltre il tipo di vantaggio meno affidabile, perché le differenze sono più rumorose quando il campione è più piccolo, e un effetto apparente enorme nella settimana uno è più probabilmente un campione piccolo che un effetto grande. Se fermarsi presto è un'esigenza reale e non impazienza, adotta un disegno sequenziale a gruppi con analisi intermedie dichiarate e soglie corrette, o una piattaforma che pubblichi limiti validi in modo continuo, e accetta il campione massimo più grande che ne consegue.

La dimensione campionaria indica visitatori o conversioni?

Visitatori — o più precisamente le unità che hai randomizzato, contate una volta ciascuna. Le cifre in tabella sono visitatori per variante, quindi 9 100 per un incremento del 25 % significa 9 100 nel controllo e 9 100 nella variante, 18 200 in totale. Randomizza sul visitatore, non sulla sessione, altrimenti chi torna tre volte viene contato tre volte e il suo comportamento è correlato fra quelle visite, il che riduce in silenzio il tuo campione reale sotto il numero che stai osservando. Conta una volta sola anche l'esito di ogni visitatore: un visitatore ha convertito nella finestra del test oppure no.

Perché un test dovrebbe durare settimane intere?

Perché i tassi di conversione hanno un ritmo settimanale e un test che si ferma a metà settimana campiona quel ritmo in modo diseguale. I visitatori infrasettimanali e del fine settimana differiscono per intento, dispositivo e tempo a disposizione; lo stesso vale per i giorni intorno a una data di stipendio o a un invio settimanale di newsletter. Un test di undici giorni dà a un fine settimana più peso dell'altro nell'aritmetica, il che si traduce in una differenza fra bracci solo per fortuna, ma si traduce in instabilità del risultato in modo affidabile. Arrotonda la dimensione calcolata al numero intero di settimane successivo, inizia e finisci nello stesso giorno della settimana, e la stagionalità si annulla fra i due bracci invece di filtrare nella stima.