Modulo 6. Aula 2. Estatísticas: Testes A/B

Olá e bem-vindo de volta ao Módulo 6. Esta parte do nosso curso é dedicada à análise de dados, e continuaremos a explorar o assunto na aula de hoje.

Na aula anterior, explicamos as métricas importantes a serem rastreadas ao executar uma campanha de marketing por e-mail. Agora, vamos nos concentrar em uma maneira comprovada de impulsionar essas métricas: testes A/B.

Então, o que exatamente é o teste A/B?

O teste A/B, também conhecido como teste dividido, é um método de pesquisa baseado na comparação de duas versões ligeiramente diferentes de algo — por exemplo, uma página da web, um e-mail ou um aplicativo — e descobrir qual deles tem o melhor desempenho.

No marketing por e-mail, o teste A/B se resume a:

• Enviar duas versões diferentes de um e-mail para dois pequenos grupos de assinantes

• Comparar as métricas relevantes

• Escolher a versão vencedora

Uma vez que você tenha a versão vencedora, você pode enviá-la para o restante da sua lista de contatos. Mas por que você faria isso, afinal?

#1. Ajuda a melhorar seus e-mails e oferecer conteúdo de mais valor aos seus clientes

Como resultado, suas campanhas se tornam mais eficientes, e o ROI do seu marketing por e-mail aumenta.

De acordo com pesquisas da Litmus, marcas que fazem testes A/B em cada e-mail veem um aumento de 37% no ROI do marketing por e-mail em comparação com marcas que nunca realizam esses testes.

#2 E um método baseado em dados que fornece resultados confiáveis

O teste A/B é um método de pesquisa quantitativa, o que torna seus resultados altamente confiáveis porque não deixam muito espaço para a imaginação. É pura matemática, na maioria das vezes – e você nem precisa fazer essa matemática sozinho. O que nos leva a outro benefício do teste A/B: facilidade de uso.

#3 Facilidade de uso

Embora você possa (em teoria) realizar um manualmente um teste com divisões, a maioria dos ESPs, incluindo a Selzy, tem um recurso que permite automatizar o processo em grande medida. Falaremos sobre isso em detalhes mais tarde nesta aula. Agora, vamos voltar aos benefícios do teste A/B.

Mais um benefício – talvez não tão óbvio quanto os dois anteriores – é que tais testes ajudam a entender melhor seu público.

Após vários testes, você provavelmente identificará as preferências típicas e padrões de comportamento dos seus assinantes. Isso o ajudará a, no futuro, gerar ideias de e-mail mais relevantes.

Por exemplo, você pode perceber que seu público geralmente prefere linhas de assunto diretas em vez das mais vagas, ou que menos é mais em termos de design no seu caso particular. Mas, é claro, você terá que testar esses padrões novamente depois de um tempo para garantir que ainda funcionem, porque o público pode mudar ao longo do tempo.

O que você pode testar?

#1 Os elementos que seus destinatários veem ANTES de abrir seu e-mail

Os elementos disponíveis para teste A/B no marketing por e-mail incluem linhas de assunto e o preheader, conteúdo do e-mail, imagens, horário de envio e muito mais. Todos esses elementos podem ser divididos em dois grupos.

No primeiro grupo, existem elementos que seus destinatários veem ANTES de abrir seu e-mail. Estes são:

• o nome do remetente

• a linha de assunto e o texto de prévia

• também conhecido como preheader

Com o teste A/B, você pode aproveitar ao máximo esses elementos e, por fim, melhorar suas taxas de abertura. Além disso, também é possível testar outro parâmetro importante que pode afetar seriamente as taxas de abertura: os horários de envio.

#2 Os elementos que seus destinatários veem DEPOIS de abrir o e-mail

Estes são:

• o conteúdo do e-mail

• o design e o layout

• elementos visuais — imagens, vídeos e GIFs, bem como o posicionamento deles

• links de CTA (Call to Action) ou botões

Testar elementos deste grupo é uma maneira eficaz de melhorar as taxas de cliques. Claro, melhorar as taxas de abertura e as taxas de cliques nem sempre é o objetivo final. No entanto, essas métricas ainda são essenciais. Por quê?

• Porque se seus assinantes não abrem seus e-mails ou clicam nos links, isso diminui a eficiência das suas campanhas como um todo.

• As pessoas não estão lendo o que você escreve, elas não estão avançando no funil. No final das contas, você está desperdiçando dinheiro e esforço. E realizar testes desse tipo é uma maneira de evitar esse cenário.

Então, vamos dar uma olhada mais de perto em como exatamente você pode testar os diferentes elementos dos seus e-mails?

Vamos compartilhar algumas ideias de testes, mostrar alguns exemplos de testes A/B da vida real e explicar como testar cada elemento funciona com mais detalhes.

Elementos que afetam as taxas de abertura:

Nome do remetente

O primeiro elemento é o nome do remetente. De acordo com pesquisas da SuperOffice, a maioria das pessoas abre um e-mail com base em quem o enviou. Outros estudos confirmam isso – portanto, é provável que o nome do remetente tenha o maior impacto nas taxas de abertura do seu e-mail também. Quando se trata de testar este elemento, as opções comuns incluem:

• Nome da marca versus nome do representante

• Você pode mostrar o Nome da marca com nome de um representante versus apenas o nome do representante e, claro, você pode mostrar

• O primeiro nome do representante versus o nome completo.

Linha de assunto

A linha de assunto é o segundo fator mais importante que afeta as taxas de abertura. Mas ao contrário dos nomes dos remetentes, que têm um número limitado de variações, as linhas de assunto podem ter todas as formas e tamanhos. Então, o que exatamente podemos testar?

Aqui estão algumas ideias: é possível ter linhas curtas ou longas, pode redigir assuntos direto ao ponto ou vagos (por exemplo “Experimente nosso novo app de colaboração” versus “Você está aproveitando ao máximo o seu trabalho remoto?”), com ou sem personalização, com ou sem emojis, com variadas capitalizações – ou sem elas – e muito mais.

Vamos ver como uma loja online de cosméticos compara duas linhas de assunto que apelam para duas emoções diferentes:

O texto de prévia, também conhecido como preheader, é o terceiro e último elemento que seus contatos veem antes de abrir o e-mail. Este elemento funciona melhor em conjunto com a linha de assunto, para que você possa brincar com diferentes combinações para encontrar a vencedora.

Por exemplo, você pode experimentar uma linha de assunto mais vaga junto de um preheader mais informativo, ou uma linha de assunto direta combinada com o texto de prévia que apele a alguma emoção.

Horário de envio

O próximo item a ser testado é o horário de envio. Mais um fator que pode impactar seriamente suas taxas de abertura é o horário de envio, ou o dia e a hora em que você dispara seus e-mails. Seus assinantes costumam ler e-mails de manhã ou durante um intervalo para café ao meio-dia? Ou talvez até mesmo à noite, antes de dormir? Teste para descobrir.

Você pode usar dados de pesquisa como referência. Por exemplo, esta pesquisa da Omnisend mostra que terça-feira é o melhor dia para enviar e-mails, enquanto sábado é o pior. Outras fontes confirmam que sábado, juntamente com domingo, são os piores dias para o envio. Ao longo do dia, as taxas de abertura geralmente são melhores de manhã. No entanto, cada negócio é único, então seus resultados podem ser diferentes.

Оs elementos que impactam as taxas de cliques:

Conteúdo do e-mail

Você conseguiu que seus assinantes abrissem seu e-mail, afinal. Agora, seu trabalho é manter a atenção deles tempo suficiente para chegar ao seu CTA. E seu aliado principal aqui é o conteúdo do e-mail – em outras palavras, o texto do e-mail. Aqui você pode comparar uma versão mais longa e uma mais curta desse texto.

Tipicamente, as versões mais curtas têm melhor desempenho, mas isso depende – então, simplesmente teste. Outros parâmetros para testar incluem:

• Longo ou curto

• Personalização

• Tom de voz

• Sentimento geral, ou emoção

Formalidade

Veja como funciona. Neste exemplo da Campaign Monitor, a diferença é sutil – mas os resultados são bem impressionantes. De acordo com o estudo da empresa, o uso de linguagem positiva aumentou a taxa de conversão do email em 22%.

Design e layout

Dados de pesquisa mostram que o cérebro humano pode processar uma imagem em apenas 13 milissegundos. Portanto, é provável que a primeira impressão dos seus contatos sobre seu e-mail, depois de clicarem para abrir, dependa em grande parte – senão inteiramente – da aparência dele.

E não se trata apenas do design. O layout, ou a maneira como diferentes partes do seu e-mail estão organizadas, também é crucial. A opinião geral é que o design “limpo” e o layout simples muitas vezes têm um desempenho melhor do que os mais elaborados. Isso é verdade no seu caso? Execute um teste para descobrir.

Isso é exatamente o que a Litmus fez – e o e-mail mais simples venceu no final das contas. Você pode seguir este exemplo e comparar uma versão “limpa” com uma mais elaborada. Outras ideias incluem:

• Experimentar cores diferentes

• Destacar diferentes seções do e-mail

• Rearranjar as partes do e-mail

• Testar um design totalmente diferente, ou até mesmo uma versão com texto puro e simples

Elementos visuais

Como já dissemos, nosso cérebro processa imagens muito rapidamente. Portanto, se você usar elementos visuais, como imagens, vídeos, GIFs ou infográficos, muitas vezes faz sentido testar diferentes variações. Por exemplo, você pode comparar:

• Duas imagens diferentes

• Uma imagem estática e um GIF

• Uma imagem estática e um vídeo

Além disso, você também pode comparar uma versão com elementos visuais e outra sem eles.

Neste exemplo do hotel The Papandayan, o teste revelou que os assinantes preferem ver o interior do quarto do hotel e as pessoas na piscina ao ar livre do hotel. Este é um bom exemplo porque a diferença entre as imagens é imediatamente visível; comparar duas imagens semelhantes dificilmente vale o esforço.

Chamadas para ação

Seu CTA é o elemento mais importante do seu e-mail porque é o fator decisivo para mover seu possível cliente ou cliente pelo funil em direção à ação desejada. Em outras palavras, quer você queira que os assinantes façam uma compra ou qualquer outra coisa, eles primeiro precisam clicar no CTA. Para garantir os melhores resultados, teste os seguintes parâmetros do seu CTA:

• Link ou botão

• Texto

• Fonte

• Formato do botão

• Cor do botão

• Localização do CTA

Сomo exatamente se executa um teste A/B? Vamos detalhar o processo passo a passo

Como mencionado anteriormente, o teste A/B é altamente automatizado em ESPs profissionais. Por exemplo, fazer testes A/B na Selzy é assim.

• Basta ir para a aba “Campanhas”, escolher a ferramenta “Teste A/B” no menu e clicar em “Criar teste A/B”

• Em seguida, nomeie seu teste, escolha as duas versões de um email que você vai comparar, configure os parâmetros do teste

• Clique em “Lançar” – ou agende seu teste para ser lançado mais tarde

• Lembre-se de preparar as duas versões do seu e-mail antecipadamente, copiando o e-mail de controle e fazendo as alterações necessárias. E é isso!

No entanto, você ainda precisa fazer mais algumas coisas para garantir bons resultados. Veja quais são…

• escolha um objetivo

• escolha uma métrica específica para testar

Passo 1: Escolha os objetivos

No marketing por e-mail, as métricas populares para teste A/B geralmente são as seguintes:

• Taxa de abertura

• Taxa de cliques

• Taxa de conversão
  Mas, nesse caso, você também precisará dos dados do Google Analytics do seu site, além das métricas de marketing por e-mail.

Digamos que você tenha percebido que, embora muitas pessoas abram seus e-mails, apenas uma fração delas clica nos seus CTAs. Como resultado, você não está atingindo a meta com o número de vendas. Então, você decide realizar testes para melhorar a taxa de cliques. Esse é o seu objetivo.

Passo 2: Escolha as variáveis

Em seguida, escolha as variáveis. Se o seu objetivo é melhorar as taxas de cliques, você precisa testar os elementos do segundo grupo. Para taxas de abertura e conversão, escolha os do primeiro grupo.

Além disso, certifique-se de que a sua hipótese está bem definida. Por exemplo, você deseja melhorar a taxa de cliques e acredita que mudar a colocação do CTA pode ser a solução. Essa é a sua hipótese. Mas isso não necessariamente funcionará. Nesse caso, existem outras variáveis – e hipóteses – para testar.

Veja um gráfico que você pode usar como referência para escolher a variável certa.

Para obter o resultado mais preciso, escolha apenas uma variável por teste. A razão é que testar várias variáveis ao mesmo tempo dificulta discernir qual delas impactou os resultados. Por exemplo, se você testar o texto, a imagem e o layout juntos, como pode ter certeza de qual dos três elementos afetou o resultado e quanto? Para testar várias variáveis, basta executar vários testes.

Agora, defina os parâmetros.

Para preparar seu teste para um lançamento bem-sucedido, especifique os parâmetros necessários, a saber:

• Parâmetros necessários

• A amostra da audiência

• A duração do teste

• Os critérios de sucesso

Vamos analisá-los mais detalhadamente.

A amostra da audiência é uma parte dos seus assinantes que receberá os e-mails de teste. Essa amostra será dividida em dois subconjuntos, e cada um receberá uma versão do seu email – A ou B. Para que os resultados do teste sejam confiáveis, sua amostra deve ser:

• Representativa – ou seja, deve representar seu público típico como um todo

• Estatisticamente significativa, ou seja, grande o bastante em comparação com o tamanho da sua lista de contatos

Por exemplo, se a amostra da sua audiência consistir apenas de adolescentes, enquanto na realidade você tem clientes com idades entre 12 e 35 anos, essa amostra não estará representativa. Da mesma forma, realizar um teste com 10 de 15 assinantes não será estatisticamente significativo.

Em ESPs como a Selzy, o tamanho da amostra é calculado automaticamente. Como alternativa, você pode usar calculadoras online* para determinar o tamanho da sua amostra. Eis como o cálculo costuma ser feito:

• Então, é preciso decidir a duração do teste, ou quanto tempo seu teste dura antes de você (ou sua ferramenta de teste A/B) determinar o vencedor. Na Selzy, você pode escolher a opção “Enviar versão vencedora do teste A/B”. Nesse caso, o e-mail vencedor será enviado automaticamente para o restante dos seus contatos quando o tempo especificado acabar.

• Para determinar o período de tempo adequado, analise quanto tempo normalmente se passa entre o envio dos e-mails e quando eles são abertos. Tenha cuidado para não encerrar seu teste muito cedo, pois os resultados podem ser afetados – por exemplo, uma hora é geralmente um período curto demais para obter resultados confiáveis.

• Por fim, os critérios de sucesso, ou o efeito que você deseja obter com seus testes. Por exemplo, um aumento de 5% na sua variável escolhida, que é o menor efeito estatisticamente significativo. Você pode querer mirar um pouco mais alto, mas certifique-se de definir metas realistas para seus testes (por exemplo, um aumento de 80% nas taxas de cliques dificilmente é alcançável).

Quando tudo estiver configurado, você estará pronto para começar. Então é só iniciar seu teste e aguardar os resultados.

Com um ESP, você também pode optar por agendar seu teste. Precisa de mais informações sobre como executar testes A/B de email na Selzy? Siga o link abaixo deste vídeo na seção de Leitura Recomendada para estudar nosso guia detalhado.

Depois que o teste terminar, há mais uma etapa essencial a ser realizada: analisar os resultados.

Quais são os dados? Você obteve os resultados esperados? Ou precisa elaborar outra hipótese e executar mais um teste? Se você executar um teste automatizado na Selzy, os resultados ficarão próximos disto:

E isso é tudo o que você precisa saber para começar a executar testes A/B para suas campanhas de marketing por email. No próximo módulo, vamos falar sobre como ajudar seus e-mails a chegarem às caixas de entrada dos seus contatos e evitar as pastas de spam.

Veja algumas calculadoras online de tamanho de amostra para testes divididos:

• Calculadora de Teste A/B (Survey Monkey)

• Calculadora de Testes A/B (Neil Patel)

• Calculadora de Tamanho de Amostra (A/B Tasty)

Leitura recomendada:

• Por que testes A/B são importantes para o e-mail marketing?

• Como fazer teste A/B para e-mail marketing?