¿Cuántos visitantes necesita un test A/B?

Cuatro entradas, y las eliges todas

Un tamaño de muestra no se descubre, se especifica. Entran cuatro números. La tasa de conversión de base es la que ya tienes — mídela sobre un número entero de semanas para que el tráfico de entre semana y el de fin de semana estén ambos representados. El efecto mínimo detectable es la menor mejora sobre la que actuarías de verdad, y normalmente se enuncia como incremento relativo: un 10 % sobre una base del 3 % significa una tasa de variante del 3,3 %. El nivel de significación α es tu tolerancia a declarar un ganador que no existe, convencionalmente el 5 % bilateral. Y la potencia es tu tolerancia a perderte un ganador real, convencionalmente el 80 %, lo que significa aceptar una probabilidad de uno entre cinco de no detectar un efecto que sí está ahí.

El que la gente falla es el efecto mínimo detectable, porque parece una salida y no una entrada. No lo es. Es un compromiso adquirido por adelantado: estás declarando que un incremento menor que ese no merece el tráfico que costaría demostrarlo. Elegirlo con honestidad es lo más útil que puedes hacer por un programa de tests, porque elegirlo con optimismo produce tests demasiado cortos para concluir nada y elegirlo con timidez produce tests que nadie tiene tráfico para terminar.

La fórmula, con cada símbolo nombrado

Para dos proporciones independientes con grupos de igual tamaño, el resultado estándar por aproximación normal es n por variante = [z(α/2) × √(2 p̄ (1 − p̄)) + z(β) × √(p1(1 − p1) + p2(1 − p2))]² ÷ (p2 − p1)². Aquí p1 es la tasa de base, p2 la tasa de variante que quieres poder detectar, y p̄ su media, (p1 + p2) ÷ 2. El término z(α/2) es el valor normal estándar que deja α/2 en cada cola: 1,96 para un test bilateral con α = 0,05. El término z(β) es el valor que deja β en una cola, siendo β uno menos la potencia: 0,84 para el 80 % de potencia, 1,28 para el 90 %.

Dos hechos estructurales salen directamente del álgebra y valen más que la propia fórmula. Primero, la diferencia p2 − p1 aparece elevada al cuadrado en el denominador, así que el tráfico necesario escala como uno partido por el cuadrado del efecto que persigues. Reduce el efecto a la mitad y cuadruplicas aproximadamente el tráfico. Segundo, pasar del 80 % al 90 % de potencia multiplica la exigencia por un factor fijo de en torno a 1,34, sea cual sea la base o el incremento, porque lo único que cambió es z(β) al pasar de 0,84 a 1,28. La confianza extra sale cara, pero de forma predecible; un efecto objetivo más pequeño sale caro de una manera que se te escapa de las manos.

Con qué rapidez explota, sobre una base del 3 %

Aplica la fórmula a una base del 3 % y la forma del problema salta a la vista. Para detectar un incremento relativo del 50 % — del 3 % al 4,5 %, una brecha absoluta de 1,50 puntos porcentuales — necesitas 2 518 visitantes por variante al 80 % de potencia, 5 036 en total. La mitad de dos días de tráfico a 10 000 por semana. Para un 25 %, del 3 % al 3,75 %, la brecha cae a 0,75 puntos y la exigencia salta a 9 100 por variante, 18 200 en total, unas 1,8 semanas. Para un 10 %, del 3 % al 3,3 %, una brecha de 0,30 puntos, necesitas 53 211 por variante, 106 422 en total, más de diez semanas. Y para un 5 %, del 3 % al 3,15 %, una brecha de 0,15 puntos, necesitas 207 938 por variante, 415 876 en total, más de 41 semanas.

La base importa tanto como el incremento, y en la misma dirección: las páginas que convierten poco son caras de testear. Un incremento relativo del 10 % necesita 53 211 visitantes por variante con una base del 3 %, pero solo 14 751 con una base del 10 % y 3 763 con una del 30 % — mientras que con una base del 1 % necesita 163 095. Los eventos raros llevan más ruido relativo, así que hay que mirar más tiempo para atravesarlo. Por eso los tests sobre un paso del checkout, que corren en páginas de alta conversión, concluyen en días mientras que los tests de portada a compra en el mismo sitio no concluyen nunca.

¿Relativo o absoluto? El error que encoge un test 463 veces

Casi toda herramienta de tamaño de muestra pide el efecto en una de dos formas y no siempre dice cuál. Un incremento relativo del 10 % sobre una base del 3 % significa pasar al 3,3 %. Una mejora de 10 puntos porcentuales sobre la misma base significa pasar al 13 %. No se parecen: el primero necesita 53 211 visitantes por variante, el segundo 115. Introduce el equivocado y tu test es 463 veces demasiado pequeño, alcanzará su tamaño previsto en una tarde y reportará el ruido que hubiera ese día en los datos.

El hábito que lo evita no cuesta nada. Escribe ambas formas antes de tocar la calculadora: la tasa de base, la tasa de la variante y la brecha absoluta en puntos porcentuales. Si no puedes enunciar la tasa de la variante como número, no has especificado un efecto. Hacerlo además disciplina la conversación con los responsables, porque pedir un incremento del 10 % suena modesto justo hasta que alguien escribe que significa pasar del 3 % al 3,3 % y que demostrarlo cuesta diez semanas de todo el tráfico del sitio.

El peeking: por qué «se volvió significativo» no es un resultado

La tasa de falsos positivos del 5 % que promete el contraste de significación se aplica a un test, hecho una vez, sobre una muestra cuyo tamaño se fijó de antemano. Mira el panel cada día y para en cuanto el valor p baje de 0,05, y ya no estás haciendo ese test. Estás ejecutando un procedimiento que recibe muchas oportunidades de cruzar la línea, y su tasa de error es la probabilidad de cruzarla al menos una vez — mucho mayor.

El tamaño de la inflación es medible, y lo medimos: un test A/A simulado — ambas ramas exactamente al 3 %, ninguna diferencia real, 9 100 visitantes por rama, 20 000 repeticiones — declaró un ganador el 5,0 % de las veces cuando los datos se examinaron una sola vez al final. Examinados dos veces, el 8,3 %. Con cinco miradas equiespaciadas, el 14,6 %. Con diez, el 19,5 %. Con veinte, el 24,6 %. Esas cifras reproducen el perfil que Armitage, McPherson y Rowe publicaron en 1969, y el patrón continúa: con monitorización continua y sin regla de parada, la probabilidad de acabar cruzando la línea se acerca a la certeza aunque ambas variantes sean idénticas. Una de cada cinco victorias celebradas en un panel consultado a diario durante quince días no es nada.

Qué hacer en su lugar

El arreglo más simple es fijar el horizonte y respetarlo. Calcula el tamaño de muestra antes de lanzar, conviértelo en un número entero de semanas para que cada día de la semana esté representado por igual, apunta esa fecha de fin y lee el resultado una sola vez — al final. Puedes mirar el panel mientras tanto para comprobar que el test está técnicamente sano, que el tráfico se reparte por igual y que nada se ha roto. Lo que no puedes es parar por lo que veas allí. La diferencia entre monitorizar y decidir es toda la salvaguarda.

Si de verdad necesitas la opción de parar antes — porque la variante podría estar dañando los ingresos, o porque el coste en tráfico de una tirada completa es prohibitivo — usa un método construido para eso en vez de romper el que tienes. Los diseños secuenciales por grupos, cuyo ejemplo clásico son los límites de Pocock de 1977, te permiten mirar un número de veces declarado de antemano y repartir tu presupuesto de error entre esas miradas endureciendo el umbral en cada una. Los enfoques secuenciales y bayesianos que ofrecen varias plataformas de testeo logran lo mismo con límites válidos de forma continua. Todos cuestan algo: un umbral más estricto, una muestra máxima mayor, o ambos. Ese coste es el precio honesto de la flexibilidad, y es mucho más barato que un programa que despliega como ganadores a la cuarta parte de sus perdedores.

Preguntas frecuentes

Mi sitio no tiene tráfico suficiente. ¿Qué puedo testear?

Cambios más grandes y eventos que ocurren más a menudo. Las dos palancas de la fórmula que de verdad controlas son el tamaño del efecto y la tasa de base. Testear el rediseño completo de una página en vez del color de un botón eleva el efecto plausible de unos pocos por ciento a decenas, y un incremento relativo del 50 % sobre una base del 3 % necesita solo 2 518 visitantes por variante frente a los 207 938 que exige un 5 %. Subir el evento medido en el embudo hace el mismo trabajo: un test medido sobre añadir al carrito, que puede convertir al 10 %, necesita 14 751 visitantes por variante para un incremento del 10 %, frente a 53 211 para el mismo incremento medido sobre una tasa de compra del 3 %. Si no dispones de ninguna de las dos, lanza el cambio sin test y júzgalo en un antes y después, pero llámalo por su nombre — una decisión, no una evidencia.

¿Debo usar 80 % o 90 % de potencia?

El 80 % es el valor por defecto, y subir cuesta invariablemente un 34 % más de tráfico: con una base del 3 % y un incremento del 25 %, la exigencia pasa de 9 100 a 12 182 visitantes por variante, y con un incremento del 10 %, de 53 211 a 71 233. La proporción no cambia nunca porque solo se movió z(β), de 0,84 a 1,28. Compra la potencia extra cuando un falso negativo salga caro — cuando la variante consumió un cuarto del tiempo de ingeniería, cuando la decisión bloquea una hoja de ruta, o cuando no vas a tener otra ocasión de lanzar el test este año. Quédate en el 80 % cuando el cambio sea barato de revisar, porque el tráfico rinde más en un segundo test que en un tercer decimal de certeza sobre el primero.

¿Puedo parar el test antes si una variante gana claramente?

En un diseño de horizonte fijo, no — es exactamente el movimiento que ese diseño no puede absorber. Un test A/A simulado sin diferencia real entre las ramas produjo un resultado significativo el 5,0 % de las veces leído una vez, el 14,6 % con cinco miradas y el 19,5 % con diez. Una ventaja temprana es además la menos fiable, porque las diferencias son más ruidosas cuando la muestra es más pequeña, y un efecto aparente grande en la semana uno es más probablemente una muestra pequeña que un efecto grande. Si parar antes es una necesidad real y no impaciencia, adopta un diseño secuencial por grupos con análisis intermedios declarados y umbrales ajustados, o una plataforma que publique límites válidos de forma continua, y acepta la muestra máxima mayor que lo acompaña.

¿El tamaño de muestra son visitantes o conversiones?

Visitantes — o, más exactamente, las unidades que aleatorizaste, contadas una vez cada una. Las cifras de la tabla son visitantes por variante, así que 9 100 para un incremento del 25 % significa 9 100 en el control y 9 100 en la variante, 18 200 en total. Aleatoriza sobre el visitante, no sobre la sesión, o quien vuelva tres veces se contará tres veces y su comportamiento estará correlacionado entre esas visitas, lo que encoge en silencio tu muestra real por debajo del número que estás mirando. Cuenta también el resultado de cada visitante una sola vez: un visitante convirtió durante la ventana del test o no lo hizo.

¿Por qué un test debe durar semanas enteras?

Porque las tasas de conversión tienen un ritmo semanal y un test que para a mitad de semana muestrea ese ritmo de forma desigual. Los visitantes de entre semana y de fin de semana difieren en intención, dispositivo y tiempo disponible; igual ocurre en los días alrededor de una nómina o de un envío semanal de newsletter. Un test de once días da a un fin de semana más peso que al otro en la aritmética, lo que solo por azar se traduce en una diferencia entre ramas, pero de forma fiable se traduce en inestabilidad del resultado. Redondea el tamaño calculado al siguiente número entero de semanas, empieza y termina el mismo día de la semana, y la estacionalidad se cancela entre las dos ramas en vez de filtrarse a la estimación.