Meça o impacto dos features que você lança com este framework

Em 5 passos você fecha o loop de testar -> medir -> iterar

→ Se você precisar de ajuda com qualquer tema de product analytics, me escreva em guido@bildungdata.com

É comum que times de produto lancem features em produção sem ter definido como vão medir o impacto.

Compartilho um framework que me ajudou bastante a fechar o loop de testar → medir → iterar

1) Passo #1: Hipótese

No documento de escopo do feature, comece com uma seção de Hipótese

• Aqui explicamos o objetivo do feature e seu impacto esperado.
• O impacto esperado precisa ter um KPI + um valor numérico (expectativa de melhora)

→ Exemplo:

• Feature: com o objetivo de aumentar a Conversion Rate dos usuários, vamos adicionar uma seção de Produtos Populares na Home.
• Hipótese: muitos usuários chegam na Home e não sabem onde encontrar os melhores produtos, por isso não compram. Assim, a Conversion Rate vai aumentar de 2,5% para 3%.

👉 Dica: se você já tem seu metric tree montado, identifique em qual ramo você está agindo. Assim fica claro o input e o output que você vai gerar. Exemplos:

• Produtos Populares → ramo de Conversion Rate (output)
• Feature de cross-selling → ramo de Average Ticket (output)

2) Passo #2: Métricas para acompanhar

O KPI da hipótese é uma output metric. Ela é composta por diferentes métricas input que impactam diretamente nela. Essas são as métricas a medir:

• Conversion Rate (output)
• Conversion Rate Novos Usuários (input)
• Conversion Rate Usuários Recorrentes (input)
• CTR na categoria Produtos Populares (input)

3) Passo #3: Eventos para trackear

Para o output definido na hipótese, e seus inputs, defina quais eventos você precisa trackear para poder medi-los depois que o feature for lançado

• Conversion Rate = compradores únicos / DAUs
• Conversion Rate Novos Usuários = novos compradores únicos / novos usuários
• Conversion Rate Recorrente = compradores únicos recorrentes / usuários recorrentes
• CTR na categoria Produtos Populares = clicks na categoria / aberturas do app

👉 Dica: o tracking dos eventos precisa ir para produção junto com o feature.

4) Passo #4: Lançar em produção + medir

• Depois que o feature vai para produção e você começa a ter dados, meça se a hipótese é rejeitada ou validada → a Conversion Rate aumentou de 2,5% para 3%?
• Use as métricas input para explicar o crescimento / queda da métrica.

👉 Dica: garanta que você tem dados suficientes para que os resultados sejam estatisticamente significativos.

👉 Dica 2: use uma ferramenta como o Mixpanel para trackear eventos e medir o impacto dos features

5) Passo #5: Compartilhar resultados e iterar

• Compartilhe os resultados com os stakeholders: o time de tecnologia e quem pediu o feature.
• Use os resultados das métricas input para propor iterações do feature até chegar no objetivo definido