O que um programa de e-mail realmente rende

De onde vem o famoso múltiplo

O número não é inventado, e não é segredo. O inquérito State of Email da Litmus declara um retorno do e-mail da ordem de 36 para 1, sobre cerca de quinhentos profissionais de marketing; o Marketer Email Tracker britânico da Data & Marketing Association pergunta a cerca de 250 marketeers e declara algo da mesma ordem. Ambos nomeiam a sua amostra e o seu método. O método é o problema: perguntam aos marketeers qual é o seu retorno, e publicam as respostas.

A Litmus é franca sobre um detalhe que devia viajar com o número e nunca viaja: cerca de um quinto dos inquiridos disse que não sabia o seu ROI atual. Um inquérito em que um quinto da amostra não sabe a resposta continua a ser útil para descrever uma perceção. Não é uma medição de um canal. E os quatro quintos que responderam não foram auditados; reportaram aquilo que a sua ferramenta de atribuição lhes dizia, o que nos leva aos dois erros sistemáticos.

O denominador: quanto custa um programa de e-mail quando conta as pessoas

Se o retorno declarado do e-mail supera tanto o de qualquer outro canal é porque o seu custo costuma reduzir-se a uma subscrição de software. Todo o resto — a pessoa que escreve as campanhas, o designer que constrói os modelos, o programador que mantém a integração, a avença de agência, o dinheiro gasto a angariar subscritores de início — vive noutra linha orçamental e nunca chega ao cálculo.

Orce o programa com honestidade para um ano: 24 000 € de plataforma de envio, 135 000 € por 1,5 pessoas a custo carregado, 30 000 € de criatividade e agência, 60 000 € gastos a angariar subscritores e 11 000 € de ferramentas de entregabilidade e dados. São 260 000 € — mais de dez vezes a mensalidade da plataforma, e essa mensalidade é a única linha que quase todos os cálculos contêm. A linha de angariação de subscritores é a que se discute, e é ali que pertence: uma lista não é inventário grátis, é um ativo que alguém pagou, e excluir o seu custo equivale a avaliar um canal fingindo que o seu insumo chegou por magia.

O numerador: a receita medida não é a receita incremental

Todo o modelo de atribuição responde à pergunta «que ponto de contacto precedeu a compra». Nenhum modelo de atribuição responde à pergunta «a compra teria acontecido de qualquer forma?». São perguntas diferentes, e só a segunda fala de retorno. Para o e-mail em concreto a diferença é larga, porque o e-mail atinge pessoas que já o conhecem, já compraram uma vez e já vêm a caminho — ou seja, precisamente a população mais propensa a comprar sem que lhe escrevam.

O último clique é o pior culpado aqui, e especificamente o pior para o e-mail. Uma pessoa decide comprar, vai procurar o produto, encontra a sua mensagem na caixa porque é a ligação mais cómoda que possui, clica e compra. Cada passo dessa história é real, e cada passo teria acontecido sem a mensagem. O último clique lê-o como uma conversão causada pelo e-mail. Também o último clique não direto, que é o valor por omissão na maioria das ferramentas de analítica.

A definição da janela agrava tudo. Suponha que as conversões caem 62 % no dia do clique, 18 % nos dias um e dois, 11 % nos dias três a sete e 9 % nos dias oito a trinta. Uma janela de atribuição de um dia mede 920 000 € de receita de e-mail, uma de sete dias 1 046 500 €, e uma de trinta dias 1 150 000 €. Nada do negócio mudou entre esses três números; uma oscilação de 25,0 % veio inteiramente de um menu numa ferramenta de relatórios.

O grupo de controlo, e o que revela

Um grupo de controlo é uma fatia do público escolhida ao acaso e excluída do programa. Como a atribuição é aleatória, os dois grupos só diferem em terem ou não recebido os e-mails, por isso a diferença na sua despesa é causada pelos e-mails. É toda a inferência causal numa frase, e é o único instrumento que responde à pergunta que o ROI coloca.

Desenvolva. Um público de 500 000 pessoas, um grupo de controlo de 10 %, ou seja 450 000 expostos e 50 000 não, durante um ano. Os subscritores expostos gastam 4,20 € cada, isto é 1 890 000 €. O grupo de controlo gasta 3,10 € cada, isto é 155 000 € — repare que não é zero, e é esse todo o ponto. A receita incremental é de 1,10 € por pessoa, ou seja 495 000 € sobre a base exposta. Entretanto a atribuição ao último clique creditava o e-mail com 1 150 000 €. O número incremental é 43,0 % disso, por isso o último clique sobrestimou a contribuição do programa em 132,3 %.

Agora divida de três maneiras com o mesmo programa. A receita ao último clique sobre a mensalidade da plataforma sozinha dá 47,92 para 1, e é assim que se produz um número da mesma ordem dos dos inquéritos. A receita incremental sobre o custo total dá 1,90 para 1. E como receita não é lucro, aplique uma margem bruta de 45 %: a margem bruta incremental é de 222 750 € contra 260 000 € de custo, um rácio de 0,86 para 1 e uma contribuição líquida de menos 37 250 €. Um programa, três aritméticas defensáveis, e só a terceira lhe diz se deve continuar a financiá-lo.

Que tamanho tem de ter o grupo de controlo?

Suficientemente grande para que a diferença que lhe interessa ultrapasse o ruído, e não mais, porque cada pessoa do grupo de controlo é receita que escolheu não ganhar. A receita por pessoa é fortemente assimétrica — a maioria dos subscritores não gasta nada e alguns gastam muito — por isso o desvio-padrão é grande face à média. Tome-o como 18,00 € por pessoa contra uma média de 4,20 €, e o erro-padrão da diferença é o desvio-padrão vezes a raiz da soma dos inversos dos tamanhos de grupo.

No público de 500 000 pessoas com um grupo de controlo de 10 %, esse erro-padrão é de 0,0849 € por pessoa. A diferença observada de 1,10 € são, portanto, cerca de treze erros-padrão — esmagador, e sinal de que o grupo de controlo é maior do que precisa de ser. O menor efeito que este desenho deteta com 80 % de potência e um nível bilateral de 5 % é de 0,238 € por pessoa, ou seja 5,66 % da despesa de base e 106 975 € de receita incremental anual sobre a base exposta. Manter esse grupo de controlo durante um ano custa 55 000 € de receita abdicada.

Reduza-o e a troca torna-se visível. Um grupo de controlo de 2 % sobre a mesma lista abdica apenas de 11 000 € mas só deteta 0,509 € por pessoa: teria apanhado com folga o efeito deste programa custando um quinto. No sentido inverso — uma lista de 50 000 pessoas com um grupo de controlo de 10 % — o efeito detetável sobe para 0,752 € por pessoa, 17,9 % da base, o que significa que uma lista pequena só consegue medir um efeito grande. Não é um defeito do método; é a afirmação honesta de que os programas pequenos não se conseguem medir com precisão e deviam manter o grupo de controlo mais tempo em vez de o não ter.

Pô-lo a funcionar sem partir nada

Aleatorize sobre um identificador estável para que um subscritor não vá mudando de braço a meio do ano, e exclua do grupo de controlo as mensagens transacionais e legalmente exigidas — está a testar o programa de marketing, não a reter uma confirmação de encomenda. Mantenha a atribuição de braços fora da lógica de segmentos da ferramenta de envio e dentro do registo de cliente, porque um segmento construído sobre comportamento reatribuirá em silêncio quem se comporta de forma diferente, que é justamente a população que tenta comparar.

Meça sobre uma janela suficientemente longa para conter o ciclo de compra e deixe de olhar para o resultado antes de ela acabar — consultar um grupo de controlo todas as semanas e dá-lo por concluído assim que a diferença parece significativa é o mesmo erro que parar cedo um teste A/B, e o artigo companheiro desta série sobre dimensionamento de testes explica o que isso faz à taxa de falsos positivos. Publique o número incremental ao lado do atribuído em vez de o substituir, porque o número atribuído é o que todo o resto da organização olha, e uma métrica que chega sem a sua antecessora é contestada em vez de usada.

Perguntas frequentes

O número de ROI do e-mail amplamente citado está errado?

Não é fabricado, simplesmente mede outra coisa. O State of Email da Litmus coloca o retorno em torno de 36 para 1 a partir de um inquérito a cerca de quinhentos profissionais de marketing, e cerca de um quinto disse não saber o próprio ROI; o tracker britânico da DMA pergunta a cerca de 250 marketeers e declara uma ordem de grandeza semelhante. Ambos são autodeclarados, não auditados, e calculados pelos inquiridos com a atribuição e a base de custos que cada um usa. Trate-os como medida daquilo em que os profissionais acreditam, o que é genuinamente interessante, e não como uma fasquia que o seu programa deva atingir.

O que deve ir no lado do custo de um cálculo de ROI de e-mail?

Tudo aquilo que deixaria de pagar se fechasse o programa. No exemplo desenvolvido são 24 000 € de plataforma de envio, 135 000 € por 1,5 pessoas a custo carregado, 30 000 € de criatividade e agência, 60 000 € gastos a angariar subscritores e 11 000 € de ferramentas de entregabilidade e dados — 260 000 € no total, face a uma mensalidade de plataforma de 24 000 €. A linha das pessoas é a que costuma faltar e a maior rubrica isolada. A linha de angariação de subscritores é a que costuma ser discutida: uma lista é um ativo que alguém pagou, e deixar de fora o seu custo equivale a avaliar o canal como se o seu insumo fosse grátis.

Que tamanho deve ter o grupo de controlo e quanto me custa?

Dimensione-o a partir do menor efeito sobre o qual agiria, não de uma percentagem redonda. Com uma receita por pessoa de 4,20 € em média e um desvio-padrão de 18,00 €, um grupo de controlo de 10 % sobre uma lista de 500 000 pessoas deteta efeitos até 0,238 € por pessoa — 5,66 % da base — e abdica de 55 000 € de receita por ano. Um grupo de controlo de 2 % sobre a mesma lista desce a 0,509 € e abdica de 11 000 €. Numa lista de 50 000 pessoas um grupo de controlo de 10 % só chega a 0,752 €, 17,9 % da base, por isso os programas mais pequenos precisam ou de uma fração maior ou de uma janela mais longa. O custo é real e calculável, o que faz disto uma decisão e não uma discussão.

Porque é a atribuição ao último clique especialmente generosa com o e-mail?

Porque o e-mail é muitas vezes a última ligação cómoda antes de uma compra já decidida. Alguém tenciona comprar, procura o produto, e a mensagem na sua caixa é o caminho mais curto até ele; clica, compra, e o modelo regista uma conversão causada pelo e-mail. No programa desenvolvido o último clique creditava 1 150 000 € enquanto o grupo de controlo mostrava 495 000 € de receita incremental, por isso 57,0 % da receita creditada teria chegado de qualquer forma. A janela de atribuição piora tudo: com o atraso de conversão suposto, uma janela de um dia declara 920 000 € e uma de trinta dias 1 150 000 € — uma diferença de 25,0 % produzida por uma definição.

Vale a pena um programa de e-mail se o rácio honesto rondar 1?

Depende do que a aritmética lhe diz para mudar, não de saber se deve parar. Um programa que rende 1,90 para 1 em receita incremental e 0,86 para 1 em margem bruta incremental não é um canal para abandonar; é um canal cuja base de custos pesa demasiado para o que produz hoje, e as alavancas veem-se no mesmo cálculo. Baixe a frequência de envio para o segmento que não responde, converta o custo criativo fixo em modelos reutilizados, ou suba o efeito incremental visando as pessoas que o grupo de controlo mostra que se movem mesmo. Depois volte a medir. A graça do rácio honesto é tornar essas escolhas calculáveis, coisa que o número de 36 para 1 nunca fez.