Teste A/B é mostrar duas versões de uma página a grupos diferentes de visitantes e deixar o resultado medido decidir qual fica.
No teste A/B, o tráfego de uma página é dividido de forma aleatória entre a versão atual e uma variação, e a conversão das duas é comparada. Serve para empresas que já têm volume de visitas suficiente e querem parar de decidir mudanças pela opinião de quem está na sala. O problema que resolve é o das alterações feitas no escuro: a página muda, a conversão sobe ou cai, e ninguém sabe se foi a mudança, a sazonalidade ou uma campanha que entrou no mesmo período.
Um teste confiável exige hipótese escrita antes de começar, tamanho de amostra calculado para a diferença que se quer detectar e duração que cubra semanas completas, porque o comportamento muda entre dias úteis e fim de semana. Olhar o resultado todo dia e parar quando parece bom é o erro mais comum e produz falsos vencedores. Testar várias variáveis de uma vez sem tráfego para isso também invalida a leitura. Em páginas com pouco volume, às vezes o mais honesto é não testar e implementar a mudança com acompanhamento antes e depois.
Na M3, cada teste nasce de uma hipótese vinda da análise de conversão, com a métrica principal, a amostra necessária e a duração definidas antes do início. Configuramos a ferramenta de teste, conferimos se a divisão do tráfego e a medição estão corretas e não encerramos antes do prazo. Ao final, registramos o resultado, inclusive os testes que não mostraram diferença, e explicamos ao cliente o que se aprendeu. A versão vencedora é implementada de forma definitiva e o próximo teste entra na fila.
O que fazemos- Hipótese escrita com métrica principal definida
- Cálculo de amostra e duração mínima do teste
- Configuração da divisão de tráfego e da medição
- Criação das variações de texto, layout ou formulário
- Leitura do resultado sem encerrar o teste antes da hora
- Registro de todos os testes, inclusive os sem diferença
- Entregável
- Testes planejados e executados, com relatório de cada um contendo hipótese, amostra, resultado e decisão tomada.
- Acompanhamento
- Resultado dos testes em andamento e o histórico dos encerrados são apresentados no relatório mensal da M3 Intelligence.