Quantos visitantes precisa um teste A/B?

Quatro entradas, e escolhe-as todas

Uma dimensão de amostra não se descobre, especifica-se. Entram quatro números. A taxa de conversão de base é a que já tem — meça-a sobre um número inteiro de semanas para que o tráfego de dias úteis e de fim de semana estejam ambos representados. O efeito mínimo detetável é a menor melhoria sobre a qual agiria mesmo, e enuncia-se normalmente como ganho relativo: 10 % sobre uma base de 3 % significa uma taxa de variante de 3,3 %. O nível de significância α é a sua tolerância a declarar um vencedor que não existe, convencionalmente 5 % bilateral. E a potência é a sua tolerância a falhar um vencedor real, convencionalmente 80 %, o que significa aceitar uma hipótese em cinco de não detetar um efeito que existe mesmo.

Aquele em que as pessoas erram é o efeito mínimo detetável, porque parece uma saída e não uma entrada. Não é. É um compromisso assumido de antemão: está a declarar que um ganho menor do que esse não vale o tráfego que custaria prová-lo. Escolhê-lo com honestidade é a coisa mais útil que pode fazer por um programa de testes, porque escolhê-lo com otimismo produz testes demasiado curtos para concluir seja o que for, e escolhê-lo com timidez produz testes que ninguém tem tráfego para terminar.

A fórmula, com cada símbolo nomeado

Para duas proporções independentes com grupos de igual dimensão, o resultado padrão por aproximação normal é n por variante = [z(α/2) × √(2 p̄ (1 − p̄)) + z(β) × √(p1(1 − p1) + p2(1 − p2))]² ÷ (p2 − p1)². Aqui p1 é a taxa de base, p2 a taxa da variante que quer poder detetar, e p̄ a média das duas, (p1 + p2) ÷ 2. O termo z(α/2) é o valor normal padrão que deixa α/2 em cada cauda: 1,96 para um teste bilateral com α = 0,05. O termo z(β) é o valor que deixa β numa cauda, sendo β um menos a potência: 0,84 para 80 % de potência, 1,28 para 90 %.

Dois factos estruturais saem diretamente da álgebra e valem mais do que a própria fórmula. Primeiro, a diferença p2 − p1 aparece ao quadrado no denominador, pelo que o tráfego necessário escala como um sobre o quadrado do efeito que persegue. Reduza o efeito a metade e quadruplica aproximadamente o tráfego. Segundo, passar de 80 % para 90 % de potência multiplica a exigência por um fator fixo de cerca de 1,34, seja qual for a base ou o ganho, porque a única coisa que mudou foi z(β) passar de 0,84 para 1,28. A confiança extra é cara, mas de forma previsível; um efeito-alvo mais pequeno é caro de uma maneira que lhe foge das mãos.

Com que rapidez explode, sobre uma base de 3 %

Aplique a fórmula a uma base de 3 % e a forma do problema salta à vista. Para detetar um ganho relativo de 50 % — de 3 % para 4,5 %, uma diferença absoluta de 1,50 pontos percentuais — precisa de 2 518 visitantes por variante a 80 % de potência, 5 036 no total. Metade de dois dias de tráfego a 10 000 por semana. Para 25 %, de 3 % para 3,75 %, a diferença cai para 0,75 pontos e a exigência salta para 9 100 por variante, 18 200 no total, cerca de 1,8 semanas. Para 10 %, de 3 % para 3,3 %, uma diferença de 0,30 pontos, precisa de 53 211 por variante, 106 422 no total, mais de dez semanas. E para 5 %, de 3 % para 3,15 %, uma diferença de 0,15 pontos, precisa de 207 938 por variante, 415 876 no total, mais de 41 semanas.

A base conta tanto como o ganho, e no mesmo sentido: páginas que convertem pouco são caras de testar. Um ganho relativo de 10 % exige 53 211 visitantes por variante com uma base de 3 %, mas apenas 14 751 com uma base de 10 % e 3 763 com uma de 30 % — ao passo que com uma base de 1 % exige 163 095. Os eventos raros carregam mais ruído relativo, pelo que é preciso observar mais tempo para o atravessar. É por isso que os testes num passo de finalização de compra, que correm em páginas de alta conversão, concluem em dias, enquanto os testes de página inicial até compra no mesmo site nunca concluem.

Relativo ou absoluto? O erro que encolhe um teste 463 vezes

Quase toda a ferramenta de dimensão de amostra pede o efeito numa de duas formas e nem sempre diz qual. Um ganho relativo de 10 % sobre uma base de 3 % significa passar a 3,3 %. Uma melhoria de 10 pontos percentuais sobre a mesma base significa passar a 13 %. Não são próximos: o primeiro exige 53 211 visitantes por variante, o segundo 115. Introduza o errado e o seu teste fica 463 vezes pequeno demais, atingirá a dimensão prevista numa tarde e reportará o ruído que calhou estar nos dados nesse dia.

O hábito que o evita não custa nada. Escreva ambas as formas antes de tocar na calculadora: a taxa de base, a taxa da variante e a diferença absoluta em pontos percentuais. Se não conseguir enunciar a taxa da variante como um número, não especificou um efeito. Fazê-lo disciplina também a conversa com as partes interessadas, porque pedir um ganho de 10 % soa modesto até ao momento em que alguém escreve que isso significa passar de 3 % para 3,3 % e que prová-lo custa dez semanas da totalidade do tráfego do site.

O peeking: porque «tornou-se significativo» não é um resultado

A taxa de falsos positivos de 5 % que o teste de significância promete aplica-se a um teste, feito uma vez, sobre uma amostra cuja dimensão foi fixada de antemão. Veja o painel todos os dias e pare assim que o valor p descer abaixo de 0,05, e já não está a fazer aquele teste. Está a executar um procedimento que recebe muitas oportunidades de atravessar a linha, e a sua taxa de erro é a probabilidade de a atravessar pelo menos uma vez — muito maior.

A dimensão da inflação é mensurável, e medimo-la: um teste A/A simulado — ambos os braços exatamente a 3 %, nenhuma diferença real, 9 100 visitantes por braço, 20 000 repetições — declarou um vencedor 5,0 % das vezes quando os dados foram examinados uma só vez no fim. Examinados duas vezes, 8,3 %. Com cinco olhadelas equidistantes, 14,6 %. Com dez, 19,5 %. Com vinte, 24,6 %. Esses números reproduzem o perfil que Armitage, McPherson e Rowe publicaram em 1969, e o padrão continua: com monitorização contínua e sem regra de paragem, a probabilidade de acabar por atravessar a linha aproxima-se da certeza mesmo quando as duas variantes são idênticas. Uma em cada cinco vitórias celebradas num painel consultado diariamente durante quinze dias não é nada.

O que fazer em vez disso

A correção mais simples é fixar o horizonte e cumpri-lo. Calcule a dimensão da amostra antes do lançamento, converta-a num número inteiro de semanas para que cada dia da semana esteja representado igualmente, anote essa data de fim e leia o resultado uma só vez — no fim. Pode olhar para o painel entretanto para verificar que o teste está tecnicamente saudável, que o tráfego se reparte por igual e que nada se partiu. O que não pode é parar pelo que vir ali. A diferença entre monitorizar e decidir é toda a salvaguarda.

Se precisa mesmo da opção de parar cedo — porque a variante pode estar a prejudicar a receita, ou porque o custo em tráfego de uma corrida completa é proibitivo — use um método construído para isso em vez de partir o que tem. Os desenhos sequenciais por grupos, de que os limites de Pocock de 1977 são o exemplo clássico, deixam-no olhar um número de vezes declarado de antemão e repartir o seu orçamento de erro por essas olhadelas apertando o limiar em cada uma. As abordagens sequenciais e bayesianas oferecidas por várias plataformas de teste conseguem o mesmo com limites continuamente válidos. Todas custam alguma coisa: um limiar mais apertado, uma amostra máxima maior, ou ambos. Esse custo é o preço honesto da flexibilidade, e é muito mais barato do que um programa que lança um quarto dos seus perdedores como vencedores.

Perguntas frequentes

O meu site não tem tráfego suficiente. O que posso testar?

Mudanças maiores e eventos que acontecem mais vezes. As duas alavancas da fórmula que controla de facto são a dimensão do efeito e a taxa de base. Testar a remodelação completa de uma página em vez da cor de um botão eleva o efeito plausível de alguns por cento para dezenas, e um ganho relativo de 50 % sobre uma base de 3 % exige apenas 2 518 visitantes por variante, contra os 207 938 que um ganho de 5 % exige. Subir o evento medido no funil faz o mesmo trabalho: um teste medido no adicionar ao carrinho, que pode converter a 10 %, exige 14 751 visitantes por variante para um ganho de 10 %, contra 53 211 para o mesmo ganho medido numa taxa de compra de 3 %. Se nenhuma das duas estiver disponível, lance a mudança sem teste e julgue-a num antes e depois, mas chame-lhe o que é — uma decisão, não uma prova.

Devo usar 80 % ou 90 % de potência?

Oitenta por cento é o valor por omissão, e subir custa invariavelmente mais 34 % de tráfego: com uma base de 3 % e um ganho de 25 %, a exigência passa de 9 100 para 12 182 visitantes por variante, e com um ganho de 10 %, de 53 211 para 71 233. A proporção nunca muda porque só z(β) se mexeu, de 0,84 para 1,28. Compre a potência extra quando um falso negativo sair caro — quando a variante consumiu um quarto do tempo de engenharia, quando a decisão bloqueia um roteiro, ou quando não terá outra oportunidade de lançar o teste este ano. Fique nos 80 % quando a mudança for barata de revisitar, porque o tráfego rende mais num segundo teste do que numa terceira casa decimal de certeza sobre o primeiro.

Posso parar o teste cedo se uma variante estiver claramente a ganhar?

Num desenho de horizonte fixo, não — é exatamente o gesto que esse desenho não consegue absorver. Um teste A/A simulado sem diferença real entre os braços produziu um resultado significativo 5,0 % das vezes em leitura única, 14,6 % com cinco olhadelas e 19,5 % com dez. Uma vantagem precoce é também a menos fiável, porque as diferenças são mais ruidosas quando a amostra é mais pequena, e um efeito aparente grande na semana um é mais provavelmente uma amostra pequena do que um efeito grande. Se parar cedo for uma necessidade real e não impaciência, adote um desenho sequencial por grupos com análises intermédias declaradas e limiares ajustados, ou uma plataforma que publique limites continuamente válidos, e aceite a amostra máxima maior que vem com isso.

A dimensão da amostra são visitantes ou conversões?

Visitantes — ou, mais exatamente, as unidades que aleatorizou, contadas uma vez cada. Os números da tabela são visitantes por variante, pelo que 9 100 para um ganho de 25 % significa 9 100 no controlo e 9 100 na variante, 18 200 no total. Aleatorize sobre o visitante, não sobre a sessão, ou quem volta três vezes é contado três vezes e o seu comportamento fica correlacionado entre essas visitas, o que encolhe em silêncio a sua amostra real abaixo do número que está a observar. Conte também o resultado de cada visitante uma só vez: um visitante converteu durante a janela do teste ou não converteu.

Porque é que um teste deve durar semanas inteiras?

Porque as taxas de conversão têm um ritmo semanal e um teste que para a meio da semana amostra esse ritmo de forma desigual. Os visitantes de dias úteis e de fim de semana diferem em intenção, dispositivo e tempo disponível; o mesmo vale para os dias em torno de um dia de pagamento ou de um envio semanal de newsletter. Um teste de onze dias dá a um fim de semana mais peso do que ao outro na aritmética, o que só por acaso se traduz numa diferença entre braços, mas se traduz de forma fiável em instabilidade no resultado. Arredonde a dimensão calculada para o número inteiro de semanas seguinte, comece e acabe no mesmo dia da semana, e a sazonalidade cancela-se entre os dois braços em vez de fugir para a estimativa.