Resposta curta
Análise de experimentos estima o efeito causado por uma mudança controlada ao verificar alocação, exposição, resultados, incerteza e relevância prática em conjunto.
Sobre Análise de experimentos
Análise de experimentos examina testes controlados para estimar efeitos, incerteza e relevância prática. A competência protege a interpretação causal ao verificar tanto a execução quanto a estimativa final.
Use esta competência para
- Funções que planejam, validam ou analisam testes randomizados em produto, marketing ou operações.
- Trabalhos em que uma comparação controlada orienta lançar, interromper ou ajustar uma mudança.
Não use esta competência para
- Use raciocínio estatístico quando o trabalho não estiver centrado em testes controlados e interpretação causal.
Diferenças importantes
Raciocínio estatístico
Raciocínio estatístico cobre métodos e incerteza de forma ampla; análise de experimentos foca testes controlados e causalidade.
Análise de dados
Análise de dados pode descrever diferenças observadas; análise de experimentos verifica se uma mudança controlada causou o efeito.
Expectativas por nível
IC1
IC1: Experimentos definidos
Analisa um experimento bem definido, com orientação e conceitos aprovados de alocação, exposição e resultado. Confere a execução e informa efeito e incerteza.
Comportamentos observáveis
- Confere tamanho dos grupos, equilíbrio da alocação e datas antes de ler resultados.
- Calcula a métrica principal e a incerteza a partir dos grupos designados.
- Separa o resultado planejado dos recortes exploratórios no relatório.
Exemplos
- Ao analisar um teste no pagamento, encontra desequilíbrio na alocação e interrompe a interpretação.
- Relata pequena variação de conversão com intervalo amplo, sem declarar uma opção vencedora.
IC2
IC2: Decisões experimentais
Planeja e analisa de forma independente experimentos da equipe com trocas ambíguas. Define critérios de decisão, investiga ameaças à validade e explica consequências práticas.
Comportamentos observáveis
- Define métricas principais, proteções, unidade de alocação e plano antes de conhecer o resultado.
- Confere exposição, abandono, interferência e consultas repetidas durante o teste.
- Converte estimativa e incerteza em opções de lançar, ajustar ou coletar mais dados.
Exemplos
- Desenha um teste de notificações por usuário para evitar que mensagens atravessem grupos.
- Ao testar preço, inclui o efeito em reembolsos junto com o efeito em compras.
IC3
IC3: Padrões de experimentação
Define métodos usados por várias equipes e lidera testes de alto impacto com alocação complexa ou efeitos tardios. Revisa se a alegação causal corresponde ao desenho.
Comportamentos observáveis
- Estabelece padrões de métricas, planejamento amostral, validade e relato de resultados.
- Desenha experimentos com alocação por grupo, efeitos de rede ou resultados atrasados.
- Revisa o conjunto de testes para detectar tratamentos concorrentes e erros repetidos de decisão.
Exemplos
- Cria uma revisão que identifica sobreposição de tratamentos antes do lançamento de duas equipes.
- Desenha um teste operacional por região e considera a variação entre grupos no plano e na análise.