En 5 pasos te asegurás de cerrar el loop de testear -> medir -> iterar
→ Si necesitás ayuda con cualquier tema de product analytics, escribime a guido@bildungdata.com
Es común que los equipos de producto lancen features a producción sin tener definido cómo van a medir el impacto.
Les comparto un framework que me resultó muy útil para cerrar el loop de testear → medir → iterar
1) Paso #1: Hipótesis
En el documento de alcance del feature empezá con una sección de Hipótesis
- Acá explicamos el objetivo del feature y su impacto esperado.
- El impacto esperado tiene que estar compuesto por KPI + Valor numérico (expectativa de mejora)
→ Ejemplo:
- Feature: con el objetivo de aumentar el Conversion Rate de los usuarios, vamos a agregar una sección de Productos Populares en la Home.
- Hipótesis: hay muchos usuarios que llegan a la Home y no saben dónde encontrar los mejores productos, por ende no terminan comprando. Así, el Conversion Rate va a aumentar de 2,5% a 3%.
👉 Pro tip: si tenés armado tu metric tree, identificá en qué rama del metric tree estás accionando. Así está claro el input y el output que vas a generar. Ejemplos:
- Productos Populares → rama de Conversion Rate (output)
- Feature de cross-selling → rama de Average Ticket (output)
2) Paso #2: Métricas a trackear
- El KPI de la hipótesis es un output metric. Está compuesto por distintas métricas input que impactan directamente sobre ella. Estas son las métricas a medir:
- Conversion Rate (output)
- Conversion Rate New Users (input)
- Conversion Rate Recurring Users (input)
- CTR en categoría productos populares (input)
3) Paso #3: Eventos a trackear
- Para el output definido en la hipótesis, y sus inputs, definir cuáles son los eventos que tenés que trackear para poder medirlos una vez lanzado el feature
- Conversion Rate = unique buyers / DAUs
- Conversion Rate New Users = new unique buyers / new users
- Conversion Rate Recurring = recurring unique buyers / recurring users
- CTR en categoría productos populares = clicks en categoría / app opens
👉 Pro Tip: el tracking de los eventos tiene que salir a prod junto al feature.
4) Paso #4: Salir a producción + medir
- Una vez que se hace el release a prod y empezás a tener data, medir si se rechaza o valida la hipótesis → aumentó el conversion rate de 2,5% a 3%?
- Usar las métricas input para explicar el crecimiento / decrecimiento de la métrica.
👉 Pro Tip: asegurate de que tengas suficiente data para que los resultados sean estadísticamente significativos.
👉 Pro Tip2: usá una herramienta como Mixpanel para trackear eventos, y medir impacto de features
5) Paso #5: Compartir resultados e iterar
- Compartir resultados a stakeholders: célula de tecnología y equipos que pidieron el feature.
- Usar los resultados de las métricas input para plantear iteraciones del feature para llegar al objetivo planteado
