Como construir uma estrutura de experimentação escalonável
Um fundador abriu seu painel de experimentação para mim no mês passado, orgulhoso disso. Quarenta e um testes em execução. Pedi a ele que citasse três que mudaram uma decisão real no último trimestre. Ele ficou quieto, rolou a tela por um tempo e pousou em um. Talvez.
Ele não é descuidado. Ele chegou cedo para um problema que está surgindo para todas as equipes de crescimento. A parte difícil de conduzir um experimento era construí-lo. Você informou um designer, esperou pelas variantes do anúncio, conectou o rastreamento e construiu a página. Uma semana de trabalho para fazer um teste ao vivo, talvez com uma hora de reflexão real por trás dele. A semana de construção já passou. Ele pode lançar 40 testes no tempo que antes levava para lançar um, e ele o faz, e quase nenhum deles lhe ensina nada.
O volume nunca foi o que impediu as equipes. O que os impediu foi dizer um resultado real a partir de ruídos aleatórios e encontrar coragem para matar os perdedores antes que esgotassem o orçamento. A IA resolveu o problema do barato e deixou o caro exatamente onde estava. Então proporcionou a todos uma maneira mais rápida de errar.
Então, aqui está a regra que importa agora. A estrutura que você deseja é aquela que fica mais difícil de passar à medida que os testes ficam mais fáceis de executar.
O que ficou mais barato
A assimetria sobre a qual escrevi na formação de equipes passa direto pelo pipeline de experimentação. Criar variantes custa quase nada hoje. Escrever uma hipótese que valha a pena testar custa o que sempre custou. Um modelo dimensionará seu teste em segundos e elaborará a leitura semanal em um minuto, e ainda não consegue dizer se você deve acreditar nessa leitura. Isso leva uma pessoa que foi queimada por curvas bonitas o suficiente para desconfiar da próxima.
Aponte a IA para o trabalho de produção e mantenha a cabeça clara sobre a hipótese, o design e a decisão final, e tudo se complica. Aponte-o para tudo e você construirá uma máquina para enviar ruído mais rápido do que você consegue captá-lo.
Comece com menos apostas
Meu primeiro passo com uma nova equipe é reduzir o backlog de testes, e não alimentá-lo. Peça ideias a um modelo e ele lhe entregará alegremente 200. Uma lista de 200 ideias não classificadas não é uma estratégia. É uma forma de se sentir ocupado enquanto as apostas importantes aguardam a sua vez. O trabalho é escolher os cinco que contam neste trimestre e dizer não aos outros 195 em voz alta, onde a equipe possa ouvir.
Classificamos cada ideia por três perguntas:
- Qual será o tamanho da vitória se acertar?
- Quão certo vamos entrar?
- Quanto custará para funcionar?
Ideias baratas, de alta confiança e de alto valor vão para a frente. Aquele que um fundador viu no LinkedIn no café da manhã espera na fila como todo o resto, a menos que passe pela mesma barra. A folha de pontuação não é a disciplina. A disciplina está matando uma ideia que parece boa antes que ela demore três semanas.
Um cliente quis interromper todo o seu fluxo de integração por instinto. A pontuação foi ruim em confiança e pior em custo, então fizemos um teste de três telas contra o fluxo que ele já tinha. Seu instinto estava errado. O teste barato recuperou um quarto do tempo de engenharia que ele estava prestes a incendiar.
Um modelo pode escrever as ideias e até mesmo rascunhar as pontuações. Ele não pode dizer qual aposta sua empresa pode se dar ao luxo de errar. Essa ligação é sua.
Construa o teste para que a resposta conte
A maioria dos experimentos que “fracassam” nunca teve chance de sucesso, porque não foram construídos para responder a nada. Um teste limpo move uma variável contra um controle real, executa um tamanho de amostra que você fixou antes de começar e mantém uma proteção no número que você se recusa a prejudicar. Mude o título, o layout e o público de uma só vez, e um elevador simplesmente encolhe os ombros para você. Você nunca saberá qual movimento funcionou. Leia o resultado no segundo dia porque a linha está subindo e você promoveu ruído à estratégia.
É aqui que a IA ajuda, de uma forma restrita e real. Eu me apoio nele para descobrir quanto tempo um teste precisa ser executado antes que ele possa dizer alguma coisa, para simular o resultado antes de gastar um dólar e para detectar a confusão óbvia que sinto falta às seis da manhã. A única coisa que nunca deixo fazer é escolher a métrica. Entregue a meta a um modelo e ele lhe dará uma bela vitória em um número pelo qual ninguém paga, enquanto o número que mantém as luzes acesas desliza silenciosamente para o outro lado. A regra humana que todos repetem sobre o conteúdo de IA é igualmente difícil para o design de testes.
Execute a máquina, não o julgamento
É aqui que a IA mais do que merece seu lugar. A construção, as permutações de variantes, o controle de qualidade, o redimensionamento, a formatação da plataforma, o primeiro rascunho da leitura: entregue tudo isso às ferramentas. Meta Advantage+ e Google Performance Max geram variações por meio de criativos e lances. GrowthBook e Statsig executam as estatísticas e mantêm seus grupos de teste honestos. O Google Analytics 4 com Mixpanel ou Heap contém os dados do evento. Um modelo pode transformar resultados brutos em inglês simples, de modo que seu analista passe uma hora lendo-os em vez de formatar slides. Coloquei a pilha mais completa em outro lugar e não vou repeti-la aqui.
O que nunca sai de um ser humano: a hipótese, a definição métrica, o julgamento sobre se um resultado é real e o chamado para escalá-lo ou enterrá-lo. Livre-se do trabalho. Mantenha o julgamento. A maior parte desta estrutura reside nessa linha.
Uma cadência em que você pode confiar
Ir rápido e sem ritmo apenas leva você aos destroços mais cedo. Realizamos uma leitura por semana. Cada teste ao vivo sai daquela sala com um único veredicto: dimensionar, eliminar ou iterar. Não há como “esperar mais alguns dias”, a menos que o teste honestamente não tenha atingido o tamanho da amostra que definimos. E cada veredicto vai para um registro, ao lado da hipótese que testou e do que concluímos.
Esse registro faz o trabalho silencioso e nada glamoroso que mantém todo o sistema honesto. Um ano depois, é por isso que o discurso entusiasmado de um novo contratado é recebido com “fizemos isso em março, eis o que aconteceu” e por que uma vitória real do último trimestre não desaparece na semana seguinte ao envio. Executar experimentos é barato agora. O registro é o que transforma uma pilha deles em algo que você realmente conhece.
Um cliente da Série B veio até nós realizando mais de 20 “testes” por mês e quase não confiando em nenhum deles. Reduzimos para seis testes devidamente alimentados, transferimos a produção para ferramentas e apresentamos um único veredicto semanal de dimensionamento ou eliminação diante de um tomador de decisão. Dentro de um trimestre, a taxa de acerto nos testes que eles escalaram subiu de um sorteio para cerca de dois em cada três, e o custo por aquisição caiu 24%. Eles realizaram um terço do número de testes e finalmente confiaram naqueles que realizaram.
Como o orçamento realmente vaza
O mesmo punhado de erros aparece em quase todas as contas, e a IA acelera todos eles. As equipes consideram o vencedor no segundo dia porque o painel é atualizado ao vivo e a curva parece amigável. Eles executam testes pequenos demais para alcançar significância e depois lêem a sorte na estática. Eles perseguem um número que o modelo pode alterar, enquanto o número que importa segue na direção errada. E o hábito mais caro de todos: eles nunca matam nada, então o acúmulo aumenta, os gastos se espalham e nenhum teste tem uma chance justa.
Nada disso é novo. A IA acaba de colocá-lo em um relógio mais rápido, que é a razão pela qual a estrutura precisa manter sua forma sob velocidade.
A conclusão
As equipes que vencem no marketing de desempenho na era da IA não são aquelas com mais experimentos em execução. São eles que ainda conseguem acreditar nos próprios resultados quando o volume aumenta. A execução barata é um verdadeiro presente. Só compensa se os seus padrões aumentarem tão rapidamente quanto a sua produção. Torne o sistema mais difícil de ser aprovado à medida que ele fica mais fácil de operar, mantenha um ser humano no julgamento e deixe a máquina fazer o resto. É isso que acontece quando o preço de mais um teste cai para quase nada.
Mais recursos:
Imagem em destaque: Prostock-studio/Shutterstock
