Medí el impacto de los features que lanzás con este framework

En 5 pasos te asegurás de cerrar el loop de testear -> medir -> iterar

→ Si necesitás ayuda con cualquier tema de product analytics, escribime a guido@bildungdata.com

Es común que los equipos de producto lancen features a producción sin tener definido cómo van a medir el impacto.

Les comparto un framework que me resultó muy útil para cerrar el loop de testear → medir → iterar

1) Paso #1: Hipótesis

En el documento de alcance del feature empezá con una sección de Hipótesis

• Acá explicamos el objetivo del feature y su impacto esperado.
• El impacto esperado tiene que estar compuesto por KPI + Valor numérico (expectativa de mejora)

→ Ejemplo:

• Feature: con el objetivo de aumentar el Conversion Rate de los usuarios, vamos a agregar una sección de Productos Populares en la Home.
• Hipótesis: hay muchos usuarios que llegan a la Home y no saben dónde encontrar los mejores productos, por ende no terminan comprando. Así, el Conversion Rate va a aumentar de 2,5% a 3%.

👉 Pro tip: si tenés armado tu metric tree, identificá en qué rama del metric tree estás accionando. Así está claro el input y el output que vas a generar. Ejemplos:

• Productos Populares → rama de Conversion Rate (output)
• Feature de cross-selling → rama de Average Ticket (output)

2) Paso #2: Métricas a trackear

El KPI de la hipótesis es un output metric. Está compuesto por distintas métricas input que impactan directamente sobre ella. Estas son las métricas a medir:

• Conversion Rate (output)
• Conversion Rate New Users (input)
• Conversion Rate Recurring Users (input)
• CTR en categoría productos populares (input)

3) Paso #3: Eventos a trackear

Para el output definido en la hipótesis, y sus inputs, definir cuáles son los eventos que tenés que trackear para poder medirlos una vez lanzado el feature

• Conversion Rate = unique buyers / DAUs
• Conversion Rate New Users = new unique buyers / new users
• Conversion Rate Recurring = recurring unique buyers / recurring users
• CTR en categoría productos populares = clicks en categoría / app opens

👉 Pro Tip: el tracking de los eventos tiene que salir a prod junto al feature.

4) Paso #4: Salir a producción + medir

• Una vez que se hace el release a prod y empezás a tener data, medir si se rechaza o valida la hipótesis → ¿aumentó el Conversion Rate de 2,5% a 3%?
• Usar las métricas input para explicar el crecimiento / decrecimiento de la métrica.

👉 Pro Tip: asegurate de que tengas suficiente data para que los resultados sean estadísticamente significativos.

👉 Pro Tip2: usá una herramienta como Mixpanel para trackear eventos, y medir impacto de features

5) Paso #5: Compartir resultados e iterar

• Compartir resultados a stakeholders: célula de tecnología y equipos que pidieron el feature.
• Usar los resultados de las métricas input para plantear iteraciones del feature para llegar al objetivo planteado