Un product analytics check usa el comportamiento que tu producto ya registra para confirmar o cuestionar una hipótesis antes de encargar una prueba nueva. Anotas el número que esperas, sacas el real de una herramienta como Amplitude, PostHog o Mixpanel y los comparas. Lleva más o menos un día, no cuesta nada y te da evidencia orientativa: qué pasó, no por qué pasó.
Ideas clave
Escribe la métrica, el grupo, el periodo y la señal de éxito antes de abrir un dashboard.
Los datos pasados muestran cosas que ocurren a la vez, no la causa. El equipo de experimentación de Microsoft describió el análisis post hoc como «mayormente limitado a la identificación de correlaciones» (Kohavi et al., 2009).
«Retención al día 30» puede significar dos números distintos. Amplitude y Mixpanel separan los usuarios que vuelven exactamente el día 30 de los que vuelven el día 30 o después.
Si revisas 20 segmentos con una tasa de falsos positivos del 5 %, la probabilidad de que al menos uno parezca ganador por pura suerte es de alrededor del 64 %.
Con 100 usuarios por grupo, la diferencia entre dos tasas de retención debe rondar los 14 puntos para que puedas distinguirla del ruido.
¿Qué es un product analytics check?
Es la prueba más barata de la serie: sin reclutar a nadie y sin desarrollar nada. Tomas una hipótesis que sostiene una apuesta de producto, como «las personas que invitan a un compañero en la primera semana se quedan más tiempo», la reescribes como un número y lo buscas.
La biblioteca de experimentos de Strategyzer para Testing Business Ideas clasifica este tipo de trabajo como experimentos de descubrimiento de «análisis de datos». No tiene ninguna ficha llamada product analytics check. Su pariente más cercano, el análisis de tráfico web, puntúa 2 de 5 en coste y 2 de 5 en solidez de la evidencia (póster de Strategyzer). Barato y rápido, pero más débil que cambiar algo a propósito.
Responde a preguntas sobre adopción, frecuencia, secuencia, retención y segmentos. Si el comportamiento no se registra, empieza con un análisis de tráfico web o añade el evento y espera.
¿Cuándo usar un product analytics check y cuándo no?
Úsalo primero, siempre que la hipótesis trate de algo que tu producto ya registra. Lleva un día, no cuesta nada y a menudo zanja la pregunta o te enseña cuál es la pregunta correcta.
No lo uses en productos con muy pocos usuarios, donde las cifras pequeñas oscilan mucho. No lo uses para cosas que no mides, y no des por hecho que un evento significa lo que dice su nombre hasta comprobarlo. Y si necesitas demostrar que un cambio causó un resultado, necesitas un test A/B, porque los datos pasados solo pueden mostrar que dos cosas ocurrieron a la vez.
¿Qué riesgo pone a prueba y qué fuerza tiene la evidencia?
Pone a prueba la deseabilidad: ¿los usuarios actuales se comportan como suponías? La evidencia es orientativa. Es comportamiento real, pero miras hacia atrás, nada estuvo controlado y solo ves lo que se registró.
Aun así, es mejor que una corazonada. Kohavi y sus colegas informaron de que, medidas de forma objetiva, la mayoría de las ideas no mejoran las métricas que debían mejorar (Kohavi et al., 2009). Una comprobación de un día que descarta una creencia débil antes de un mes de desarrollo es un buen trato, sobre todo cuando la métrica es tu north star metric. Nuestra guía para elegir un experimento de producto explica por qué suele ser el mejor primer paso.
Plantilla de product analytics check (copia y usa)
Abre la imagen a tamaño completo o copia la versión en texto de abajo.
A quién reclutar y cuántos
A nadie nuevo. Usa tus datos existentes, normalmente de al menos 30 días. Define el grupo con precisión, por ejemplo «cuentas creadas desde marzo que terminaron la configuración».
Plan paso a paso
Escribe la hipótesis como un número que puedas consultar.
Nombra la métrica, el grupo y el periodo.
Fija tu señal de éxito.
Comprueba que el evento se dispara cuando crees.
Saca el número y divídelo por uno o dos grupos.
Compáralo con la señal de éxito.
Anota una posible explicación alternativa.
Preguntas que responder
«De los usuarios que podían hacerlo, ¿cuántos lo hicieron?»
«¿Con qué frecuencia lo hacen?»
«¿Qué hicieron distinto antes quienes lo hicieron?»
«¿Se cumple tanto en usuarios nuevos como en antiguos?»
«¿Qué más cambió durante este periodo?»
Qué medir
La única métrica que nombraste, el tamaño del grupo y el mismo número dividido por un segmento relevante.
Señal de éxito que debes fijar antes de empezar
Punto de partida de Specky: el número que nombraste se mueve en la dirección esperada en la cantidad que fijaste. Es un punto de partida, no un benchmark. Escribe la dirección y la cantidad antes de abrir el dashboard.
Registro de resultados
Métrica
Grupo
Periodo
Esperado
Real
Tamaño del grupo
Otras explicaciones
¿Cómo defines la métrica para que el número signifique algo?
El paso 2 es donde la mayoría de las comprobaciones se tuercen. «Retención» suena a un solo número, pero las herramientas de analítica ofrecen varios:
La pregunta que te haces
Amplitude
Mixpanel
¿Volvieron exactamente el día 30?
Return On (antes N-Day)
«On»
¿El día 30 o en cualquier momento después?
Return On or After (antes Unbounded)
«On or After»
¿Dentro de un rango, como los días 28-35?
Intervalos personalizados, hasta 100 por gráfico
Intervalos personalizados
¿Qué pone en marcha el reloj?
El evento inicial (fecha de entrada a la cohorte)
El primer «A event» del usuario
Fuentes: Amplitude, Mixpanel. PostHog construye el mismo gráfico a partir de un evento inicial y un evento de regreso (PostHog).
Tres detalles cambian la respuesta:
«On or after» siempre es al menos tan alto como «on». Suma a todos los que vuelven más tarde. Nunca compares el «on» de un equipo con el «on or after» de otro.
Días móviles frente a días naturales. En el modo móvil de Mixpanel, el día 1 significa de 24 a 48 horas después del primer evento. En el modo calendario significa el siguiente día natural. Un registro a las 23:50 puede contar como retenido el día 1 en uno y no en el otro.
Primera vez frente a recurrente. La retención de primera vez de PostHog cuenta a un usuario en una cohorte solo la primera vez que hizo el evento inicial; la recurrente cuenta cada periodo en que lo hizo. Para «¿los usuarios nuevos se quedan?», usa primera vez.
Mixpanel deja fuera los periodos sin terminar en la retención media. Si la última semana parece un desplome, comprueba si ya ha terminado.
¿Cómo compruebas que un evento significa lo que dice su nombre?
El paso 4 lleva unos 30 minutos y ahorra días:
Haz la acción en una cuenta de prueba y mira cómo llega el evento. Después haz algo parecido que no debería dispararlo.
Compara una semana de recuentos del evento con tu propia base de datos. Una diferencia de más de unos pocos puntos porcentuales necesita explicación.
Averigua el día en que se envió el evento por primera vez. Los usuarios anteriores parecerán no haberlo hecho nunca.
Filtra a tu equipo, las cuentas de prueba y los bots.
¿Cuántos usuarios necesitas para un product analytics check?
No hay que reclutar, pero el tamaño del grupo sigue decidiendo si el número significa algo. La tabla usa la aproximación habitual al 95 % para una tasa cercana al 50 %, el peor caso:
Usuarios por grupo
Margen en una tasa
Margen en la diferencia entre dos grupos
30
± 18 puntos
± 25 puntos
100
± 10 puntos
± 14 puntos
400
± 5 puntos
± 7 puntos
1.000
± 3 puntos
± 4 puntos
Así que fija la señal de éxito por encima del margen: con 100 usuarios por grupo, «5 puntos mejor» no se distingue del ruido. Por debajo de unos 100 por grupo, trata la comprobación como un borrador que te dice qué preguntar en una entrevista con clientes, no como un veredicto.
¿Cómo evitas engañarte a ti mismo con la analítica?
¿Por qué una diferencia puede reducirse o invertirse al dividir los datos?
Porque un tercer factor puede impulsar ambos números. En el caso extremo, la paradoja de Simpson, una asociación aparece, desaparece o se invierte al dividir una población en grupos (Stanford Encyclopedia of Philosophy). El ejemplo clásico son las admisiones de posgrado de Berkeley, estudiadas por Bickel, Hammel y O'Connell en 1975. Los hombres eran admitidos en mayor proporción en el conjunto, pero ningún departamento discriminaba a las mujeres: ellas habían solicitado con más frecuencia plaza en departamentos que admitían a menos gente.
En los datos de producto, el tercer factor habitual es el tipo de plan, el tamaño de la empresa, el canal de registro o la antigüedad. Por eso el paso 5 dice que dividas por uno o dos grupos.
¿Cuántos cortes son demasiados?
Cada corte es otro boleto de lotería. Si tratas como hallazgo cualquier casualidad del 5 %, la probabilidad de que al menos un segmento «gane» por suerte es del 23 % con 5 segmentos, del 40 % con 10 y del 64 % con 20. Nombra de antemano tus uno o dos cortes y registra cualquier corte emocionante no planificado como una hipótesis nueva, no como un resultado. Después enumera los lanzamientos, cambios de precios y campañas de esa ventana: un pico que coincide con un correo de lanzamiento tiene que ver con el correo.
¿Cómo es un product analytics check en la práctica?
Este ejemplo es inventado para mostrar el método. Un equipo que crea una herramienta de revisión de diseño cree que los usuarios que invitan a un compañero en su primera semana tienen muchas más probabilidades de quedarse. Dicen: «Los usuarios que invitan deberían retener al menos 20 puntos más el día 30».
Sacan los números. Los usuarios que invitaron a alguien en la primera semana retuvieron un 61 % el día 30, frente al 33 % de los que no lo hicieron, una diferencia de 28 puntos. Pero el grupo que invitó también estaba mayoritariamente en planes de pago. Solo entre las cuentas de pago, la diferencia baja a 9 puntos.
La primera lectura pasa y la segunda no. Lo registran como no concluyente y anotan que el tipo de plan podría estar detrás. El siguiente paso es una prueba controlada de un empujón para invitar a compañeros.
Aquí tienes el mismo ejemplo con el tamaño de los grupos:
Grupo
Cuentas
En planes de pago
Retención al día 30
Invitó en la primera semana
420
80 %
61 %
No invitó
1.580
Alrededor del 33 %
33 %
Solo de pago: invitó
336
100 %
69 %
Solo de pago: no invitó
514
100 %
60 %
La diferencia de 28 puntos queda muy fuera del ruido (unos ± 5 puntos), pero mezcla invitar con pagar. La diferencia de 9 puntos entre las cuentas de pago (margen de unos ± 6,5) es real, pero no llega a la mitad de los 20 puntos exigidos.
Product analytics check frente a análisis de tráfico web frente a test A/B
Visitas y recorridos de visitantes en su mayoría anónimos
Datos nuevos de un cambio que haces
Responde
¿Los usuarios se comportan como supusimos?
¿De dónde llegan los visitantes y dónde abandonan?
¿Este cambio causa un mejor resultado?
Evidencia
Solo asociación
Solo asociación
Causa, si es aleatorio y suficientemente grande
Puntuación de Strategyzer
Sin ficha
Discovery; coste 2/5, evidencia 2/5
Validation; coste 2/5, evidencia 3/5
Hazlos en ese orden: el product analytics check te dice si una creencia merece un test A/B.
¿Cuáles son los errores más comunes de la analítica de producto?
Abrir primero el dashboard. Decide el número antes de ver los datos.
Creerse los nombres de los eventos. Comprueba que «project_created» significa lo que crees.
Confundir correlación con causa. Quienes hacen X quizá simplemente estén más comprometidos desde el principio.
Dividir hasta que algo funcione. Si revisas 20 segmentos, uno parecerá genial por casualidad.
Reportar el promedio. Los promedios esconden quién hizo qué.
Cuándo no funciona: con menos de unos 100 usuarios por grupo, para comportamientos que no registras y para cualquier pregunta que exija demostrar una causa.
¿Es justo con los usuarios analizar su comportamiento de este modo?
Normalmente sí, si te mantienes dentro de lo que los usuarios aceptaron. Comprueba que tu aviso de privacidad cubre la analítica de producto y que se respetaron las opciones de consentimiento. Trabaja con grupos, no con personas con nombre: un gráfico de cohortes está bien; una diapositiva que enumera qué cliente hizo qué, no.
Cómo hacerlo en Specky
En la página Assumptions, haz clic en la nota y elige Pick a test, y luego Analytics. Specky rellena los pasos, la señal de éxito y un calendario de un día.
Specky lee los números de las herramientas de analítica conectadas, como PostHog, Mixpanel, Amplitude o Pendo. Esta prueba no tiene ejecución con un clic: pide el número en el chat, o sácalo tú, y después adjúntalo como evidencia.
Si no hay nada conectado, pega los números con la fuente y la fecha.
Haz clic en Start running y luego registra el resultado.
Un resultado favorable aparece en el tablero como Early signal, no como Supported, porque leer datos pasados es solo orientativo.
¿Qué hacer con cada resultado?
Supported (aparece como Early signal): los datos coinciden. Si necesitas demostrar la causa, haz un test A/B. Si necesitas saber por qué, haz unas cuantas entrevistas.
Unclear: el resultado depende del grupo. Anota los grupos y decide cuál importa.
Contradicted: los usuarios no se comportan como suponías. Deja de diseñar para esa creencia. Cualquier apuesta que se apoye en esta nota aparece ahora como Contradicted.
Preguntas frecuentes
¿Qué es un product analytics check?
Un product analytics check usa datos que ya recoges para confirmar o cuestionar una hipótesis de producto. Primero escribes el número esperado, el grupo y el periodo; después lo buscas en tu herramienta de analítica y comparas. Suele ser el primer paso más rápido cuando el comportamiento ya se mide.
¿Puede la analítica demostrar que una función causó un resultado?
No. La analítica pasada solo puede mostrar que dos cosas ocurrieron a la vez. Quienes usan una función quizá simplemente estén más comprometidos desde el principio. Para demostrar que un cambio causó un resultado, necesitas un experimento controlado, como un test A/B, en el que los usuarios se asignan al azar.
¿Cómo evito engañarme a mí mismo con la analítica?
Anota la métrica, el grupo y el cambio esperado antes de abrir cualquier dashboard. Después comprueba que el evento significa lo que crees y limita de cuántas formas divides los datos. Nombra de antemano uno o dos cortes y trata cualquier corte sorprendente como una hipótesis nueva que probar.
¿Cuál es la diferencia entre la retención N-day y la unbounded?
La retención N-day, que Amplitude ahora llama Return On, cuenta a los usuarios que volvieron un día concreto, como el día 30. La retención unbounded, ahora Return On or After, cuenta a los que volvieron ese día o más tarde, así que siempre es igual o mayor. Mixpanel usa la misma división.
¿Cuántos datos necesitas para un product analytics check?
Usa al menos 30 días y busca unos cientos de usuarios en cada grupo que compares. Con 100 usuarios por grupo, la diferencia entre dos tasas tiene un margen de unos 14 puntos, así que solo las diferencias grandes significan algo. Con 1.000 por grupo, el margen baja a unos 4 puntos.
GDPR-aligned. EU workspace data is stored in Frankfurt, Germany. GDPR and EU data Built in Vienna, Austria. A product of influence solutions fm GmbH (FN 675374y). Imprint 14-day trial. Card required, and nothing is charged until day 14. 30-day refund after subscribing. See pricing