5 de julio de 2026Actualizado el Fathy Shalaby15 min de lectura
Pruebas A/B para product managers: de la hipótesis a la decisión
Cómo hacer pruebas A/B de las que aprendas algo: plantilla de hipótesis, métricas principales y de salvaguarda, un ejemplo resuelto de tamaño de muestra, la trampa del peeking y una checklist para copiar.
Las pruebas A/B para product managers consisten en mostrar un cambio a la mitad de los usuarios elegida al azar y la versión actual a la otra mitad, y decidir a partir de una única métrica acordada de antemano si el cambio causó una mejora. Bien hechas, zanjan discusiones con evidencia y te enseñan por qué se comportan así los usuarios. Mal hechas, dan falsa confianza a malas decisiones.
Ideas clave
La mayoría de las ideas fracasan cuando se prueban: solo un tercio de las ideas probadas en Microsoft mejoró la métrica que pretendía mejorar, y las tasas de éxito en Bing y Google rondaban el 10-20 % (Kohavi, Tang y Xu, 2020).
El tamaño de muestra va primero. Detectar un aumento relativo del 10 % sobre una tasa de conversión del 4 % requiere unos 38.200 usuarios por variante con un 95 % de significancia y un 80 % de potencia.
El peeking rompe las matemáticas. Parar en el primer resultado «significativo», comprobando tras cada visitante, produjo falsos positivos el 26,1 % de las veces en lugar del 5 % (Evan Miller, 2010).
Comprueba la asignación antes que el resultado: alrededor del 6 % de los experimentos de Microsoft mostró un desajuste en la proporción de muestra (sample ratio mismatch) (Lukas Vermeer).
Una métrica principal, unas pocas métricas de salvaguarda, una fecha de fin por escrito y una nota posterior a la prueba sobre el porqué: esa es toda la disciplina.
¿Qué son las pruebas A/B para product managers y cuándo conviene usarlas?
Usa una prueba A/B cuando se cumplan cuatro condiciones:
Tienes el tráfico. Kohavi, Tang y Xu recomiendan miles de unidades experimentales; cuantas más tengas, menor será el efecto que puedas detectar.
El resultado se ve rápido. Aconsejan un criterio de evaluación global (OEC) que pueda medirse en una o dos semanas.
El cambio es reversible. Puedes lanzar cualquiera de las dos versiones y dar marcha atrás.
No coincidís sobre el efecto. Si todos ya están de acuerdo y el riesgo es bajo, lanza el cambio y monitorízalo.
El beneficio puede ser grande. En Bing, en 2012, una idea para alargar las líneas de título de los anuncios estuvo más de seis meses en el backlog. Cuando un desarrollador por fin la probó, los ingresos subieron un 12 %, más de 100 millones de dólares al año solo en Estados Unidos (Kohavi, Tang y Xu, 2020). Nadie lo había previsto.
¿Por qué la mayoría de las pruebas A/B fracasan antes de empezar?
El fallo ocurre en la fase de la hipótesis, o más bien por su ausencia. «Probemos el botón de llamada a la acción» no es una hipótesis. Es una tarea.
Planteamiento como tarea: probar el botón verde contra el botón azul.
Planteamiento como hipótesis: creemos que «Empieza la prueba gratis» funcionará mejor que «Regístrate» porque los usuarios de nuestro segmento son reacios al riesgo y «gratis» reduce el compromiso percibido. Mediremos la tasa de clics y la activación posterior de la prueba.
La versión como hipótesis te dice tres cosas que la versión como tarea no te dice: qué crees, por qué lo crees y qué evidencia te haría cambiar de opinión. Sin una hipótesis falsable puedes actuar a partir de una prueba, pero no puedes aprender de ella.
Además, toda prueba debería remontarse a un problema del usuario, no a una opinión sobre el producto. Antes de escribir la hipótesis, ánclala en evidencia:
¿Con qué dicen los usuarios que tienen dificultades?
¿Dónde abandonan?
¿Qué hacen los usuarios que tienen éxito y los que no, no?
¿Cómo se escribe la hipótesis de una prueba A/B?
Usa esta plantilla:
Creemos que [cambio] provocará [resultado] en [segmento], porque [razonamiento]. Sabremos que es cierto si [métrica] se mueve [umbral] en [plazo].
Amplía el formato de desarrollo guiado por hipótesis que Barry O'Reilly publicó en Thoughtworks en 2014: creemos que esta capacidad dará este resultado, y sabremos que hemos tenido éxito cuando veamos una señal medible (Thoughtworks, 2014). El equipo de experimentación de Microsoft añade dos reglas: mantener la hipótesis simple (dividir un cambio complejo en varias pruebas) y asegurarse de que las métricas elegidas realmente pueden refutarla (Microsoft Research, 2020).
Ejemplo ilustrativo:
Creemos que mostrar en la página de precios el número de equipos activos que usan Specky aumentará los inicios de prueba entre los visitantes que han visto la demo del producto, porque la prueba social reduce la duda en las decisiones de compra B2B. Sabremos que es cierto si la tasa de inicio de prueba aumenta ≥10 % para ese segmento en 14 días.
Fíjate a qué se compromete esa última frase: una métrica, un segmento, un umbral y un plazo. La sección sobre tamaño de muestra que sigue comprueba si 14 días es realista.
¿Cuántas métricas debería tener una prueba A/B?
Una métrica principal. Todo lo demás son métricas de salvaguarda.
El pecado capital es tener varias métricas de éxito. Mira cinco métricas y probablemente una parecerá significativa por casualidad, y acabarás convenciéndote de que esa era la que importaba.
Kohavi, Tang y Xu llaman a la métrica principal criterio de evaluación global (OEC): una medida cuantitativa del objetivo del experimento. Las métricas de salvaguarda protegen lo que la organización no está dispuesta a sacrificar. El equipo ExP de Microsoft calcula un conjunto básico en cada experimento, sea cual sea la funcionalidad: satisfacción del usuario, salvaguarda, funcionalidad y engagement, y calidad de los datos (Microsoft Research, 2020).
Métrica principal
Métrica de salvaguarda
Por qué importa la salvaguarda
Tasa de registro
Tasa de activación
No quieres atraer usuarios que se van enseguida
Duración de la sesión
Tasa de finalización de tareas
Sesiones más largas no deberían significar usuarios confundidos
Adopción de una funcionalidad
Tickets de soporte
La adopción no debería lograrse a costa de la confusión
Inicios de prueba
Conversión de prueba a pago
Más pruebas con menor intención pueden reducir los ingresos
Ingresos por visitante
Tiempo de carga de la página, tasa de errores
Las regresiones de rendimiento dañan todas las demás métricas
Si tu métrica principal está lejos de los ingresos o de la retención, comprueba que los predice. Nuestra guía sobre métricas de product-led growth explica qué comportamientos suelen hacerlo.
¿Cómo se calcula el tamaño de muestra de una prueba A/B?
Aquí es donde la mayoría de los PM le pasan el problema a un data scientist y dejan de pensar. No lo hagas. Necesitas tres conceptos y un número.
Significancia estadística (α). La tasa de falsos positivos que aceptas. El estándar es el 5 %: si no hay una diferencia real, declararás por error un ganador el 5 % de las veces. La significancia no dice nada sobre si el efecto es lo bastante grande como para importar.
Potencia estadística (1 − β). La probabilidad de que tu prueba detecte un efecto real del tamaño que te interesa. El objetivo habitual es el 80 %. Una potencia baja significa que a menudo concluirás «no hay ganador» cuando lo había.
Efecto mínimo detectable (MDE). La mejora más pequeña que merece la pena detectar. Es una decisión de negocio, no estadística. Si un aumento de 0,1 puntos no compensa el coste de ingeniería, no diseñes una prueba lo bastante sensible como para encontrarlo.
Introduce tu tasa base, el MDE, la significancia y la potencia en una calculadora como la calculadora de tamaño de muestra de Evan Miller. Para una estimación rápida, Evan Miller da una regla práctica: n = 16 × σ² ÷ δ² por variante, donde δ es el efecto mínimo y σ² = p × (1 − p) para una tasa de conversión p (Evan Miller, 2010).
Ejemplo resuelto: ¿son realistas 14 días?
Toma la hipótesis de la página de precios de arriba. Supongamos que la tasa base de inicio de prueba en ese segmento es del 4 %. Con la fórmula de la calculadora al 5 % de significancia y 80 % de potencia:
Aumento relativo que quieres detectar
Cambio absoluto
Usuarios por variante
Usuarios totales
Semanas con 4.000 visitantes a la semana
5 %
4,0 % → 4,2 %
~151.800
~303.600
~76
10 %
4,0 % → 4,4 %
~38.200
~76.400
~19
20 %
4,0 % → 4,8 %
~9.700
~19.400
~5
La regla práctica coincide: 16 × 0,04 × 0,96 ÷ 0,004² = 38.400 por variante para el aumento del 10 %.
Para terminar en 14 días, el segmento necesita unos 76.400 ÷ 14 ≈ 5.460 visitantes elegibles al día. Un equipo con 4.000 a la semana tiene tres opciones honestas:
Subir el MDE. Prueba solo cambios lo bastante audaces como para mover la métrica un 20 % o más.
Mover la métrica aguas arriba. Prueba en un paso de mayor volumen, como los clics en la página de precios, y trata los inicios de prueba como métrica de salvaguarda.
No hacer una prueba A/B. Lanza, monitoriza y aprende en su lugar de las conversaciones con los clientes.
Si no puedes alcanzar la muestra necesaria en un tiempo razonable, la prueba no merece la pena.
¿Cuánto debería durar una prueba A/B y por qué no hay que hacer peeking?
Decide la fecha de fin antes del lanzamiento, a partir del cálculo del tamaño de muestra. Después, deja correr semanas completas, para que estén representados tanto los usuarios de entre semana como los de fin de semana.
No mires los resultados a diario ni pares cuando tengan buena pinta. Eso se llama peeking y arruina tu tasa de falsos positivos. Evan Miller demostró que, si compruebas tras cada observación y paras en el primer resultado significativo, un cambio que no hace nada se declara ganador el 26,1 % de las veces, no el 5 %. Si miras 10 veces, un resultado comunicado con un 1 % de significancia está en realidad en el 5 % (Evan Miller, 2010).
Escribe la fecha de fin y resiste la tentación. Si de verdad necesitas parar antes porque hay un ganador, usa un método pensado para ello, como las pruebas secuenciales o un diseño bayesiano, configurado antes del lanzamiento.
Hay una excepción: vigila las métricas de salvaguarda por si hay un daño grave. Si una prueba provoca una caída del 40 % en una métrica crítica, detenla por la métrica de salvaguarda, no porque la métrica principal esté oscilando.
¿Y el efecto novedad?
Los usuarios se comportan de otra manera cuando algo parece nuevo. Una interfaz renovada puede elevar el engagement brevemente y luego desvanecerse cuando pasa la novedad. También ocurre lo contrario: Kohavi, Tang y Xu advierten de que los rediseños sufren efectos de primacía, en los que los usuarios acostumbrados a la versión antigua reaccionan mal al principio (Kohavi, Tang y Xu, 2020). En los cambios de superficies de uso frecuente, representa el efecto por días. Si se reduce o crece de forma constante, deja correr la prueba más tiempo antes de decidir.
¿Cómo se leen los resultados de una prueba A/B sin engañarse?
Comprueba la asignación antes que el resultado
Si asignaste 50/50 pero ves 52/48 con números grandes, algo está roto: una redirección, un filtro de bots, un error de registro. Es un desajuste en la proporción de muestra (SRM). Cerca del 6 % de los experimentos de Microsoft y cerca del 10 % de los experimentos activados de LinkedIn han mostrado uno, y un producto que ejecuta 10.000 experimentos al año puede esperar al menos uno al día (Lukas Vermeer). No se puede confiar en una prueba con un SRM, sea cual sea su valor p.
Desconfía de las victorias sorprendentes
Kohavi, Tang y Xu suscriben la ley de Twyman: «Cualquier cifra que parezca interesante o diferente suele ser errónea». Un aumento del 40 % por un cambio de texto es más probablemente un error que un hallazgo. Revisa de nuevo los datos y vuelve a ejecutar la prueba.
Elige uno de los tres resultados
Gana la variante. La métrica principal mejoró de forma significativa, se alcanzó la muestra y no saltó ninguna métrica de salvaguarda. Lánzala y anota por qué crees que funcionó.
Gana el control o no hay diferencia. El cambio no movió la aguja. Sigue siendo una victoria: evitaste lanzar algo inútil. Registra por qué la hipótesis era errónea.
No concluyente. No alcanzaste la muestra prevista o el efecto es demasiado pequeño como para importar. No declares un ganador. Deja correr hasta la fecha de fin prevista, o detén la prueba y acepta que no puedes concluir nada.
Pregúntate por qué ganó
Una variante ganadora te dice que algo funcionó, pocas veces por qué. Sin el porqué, no puedes generalizar el aprendizaje. Tras una victoria:
Entrevista o encuesta a los usuarios expuestos a la variante.
Revisa los desgloses por segmento, tratándolos como nuevas hipótesis y no como pruebas; cortar en muchos segmentos crea ganadores por azar.
Mira el funnel completo, no solo la métrica principal.
Escribe una síntesis posterior a la prueba: «Creemos que funcionó por X. Evidencia: Y. Próxima prueba: Z».
¿Cuáles son los errores más comunes en las pruebas A/B?
1. Probar demasiadas cosas a la vez. Las pruebas multivariantes necesitan mucho más tráfico para alcanzar significancia en cada combinación y ocultan qué cambio provocó el resultado. A menos que tengas mucho tráfico, prueba un cambio cada vez.
2. Ejecutar pruebas solapadas sobre los mismos usuarios sin un plan. Si una prueba cambia el onboarding y otra cambia los precios para los mismos usuarios, los efectos pueden mezclarse. Ejecútalas en secuencia o usa una plataforma que gestione la asignación solapada.
3. Ignorar la novedad y la primacía. Las pruebas cortas en pantallas familiares sobreestiman o subestiman el efecto a largo plazo.
4. Optimizar la etapa equivocada del funnel. Si el problema real es la activación, una mejor tasa de registro no arregla nada. Pregúntate si la métrica predice retención e ingresos; la guía de activación en SaaS muestra cómo comprobarlo.
5. Ejecutar pruebas con poca potencia. Una prueba que solo podría detectar un aumento del 50 % devolverá «sin diferencia» para la mayoría de las mejoras reales, y el equipo concluirá erróneamente que la idea fracasó.
6. Lanzar al ganador sin el aprendizaje. El objetivo de una prueba es aprender algo cierto sobre los usuarios. Un ganador que nadie sabe explicar es una oportunidad perdida; un perdedor que el PM entiende por completo es un éxito.
¿Cómo se construye una cultura de pruebas que se acumule?
El valor real de las pruebas A/B para product managers se acumula a lo largo de muchas pruebas, así que cuenta con equivocarte la mayor parte del tiempo. Si solo un tercio de las ideas mejora su métrica objetivo en Microsoft, un equipo con un 30 % de victorias es normal, no un fracaso.
Documenta cada prueba, incluidos los fracasos. Las pruebas fallidas suelen valer más: refutan creencias que habrían llevado al equipo en la dirección equivocada.
Etiqueta las pruebas según la creencia de usuario subyacente. «Los usuarios son reacios al riesgo al registrarse». «Los power users no leen los tooltips». «El anclaje de precios funciona en nuestro segmento». Con el tiempo construyes un mapa de lo que sabes de tus usuarios.
Haz una revisión trimestral de experimentos. ¿Qué patrones han surgido? ¿Qué crees ahora que antes no creías? ¿Qué creencia antigua quedó refutada?
Vincula los resultados con las decisiones de producto. Cuando escribas una especificación, cita las pruebas en que se apoya. Antes de ejecutar una prueba, comprueba si una anterior ya respondió a la pregunta. Un registro de decisiones de producto es el lugar más sencillo para mantener ese vínculo.
Checklist de prueba A/B para copiar
Antes de empezar:
Planteamiento del problema con evidencia de apoyo (citas, datos)
Hipótesis falsable en el formato de la plantilla
Una métrica principal definida
Métricas de salvaguarda definidas
Efecto mínimo detectable acordado (decisión de negocio)
Tamaño de muestra calculado y viable dentro de tu límite de tiempo
Fecha de fin escrita (sin peeking)
Asignación de tráfico confirmada (sin pruebas en conflicto)
Al leer los resultados:
La proporción de la muestra coincide con la asignación planificada
Tamaño de muestra planificado alcanzado
Métrica principal estadísticamente significativa
Ninguna métrica de salvaguarda ha saltado
Resultado sorprendente comprobado dos veces (ley de Twyman)
¿Cuándo es una prueba A/B la herramienta equivocada?
Las pruebas A/B para product managers funcionan mejor en cambios reversibles con mucho tráfico y resultados rápidos. Son la herramienta equivocada en cuatro situaciones:
Poco tráfico. La mayoría de los productos B2B en fase temprana no pueden llegar a decenas de miles de usuarios por variante. Usa investigación cualitativa y cambios audaces.
Resultados a largo plazo. La renovación anual o la retención a 12 meses no aparecerán en una prueba de dos semanas.
Efectos de red. Cuando los usuarios interactúan, como en herramientas colaborativas o marketplaces, el tratamiento puede filtrarse al control.
Cuestiones irreversibles o éticas. Una política de precios que algunos clientes verían como injusta, o cambios que no puedes revertir, requieren otro proceso de decisión.
Dónde encaja Specky
La mayoría de los resultados de experimentos viven en una herramienta de analítica o en una hoja de cálculo, desconectados de las razones por las que se hicieron. En la vista Experimentos de Specky vinculas cada prueba a la suposición o la oportunidad que comprueba, escribes los criterios de éxito antes de que empiece y registras el resultado como validado o invalidado. El aprendizaje se guarda en el Product Graph y la decisión queda registrada, de modo que seis meses después, cuando alguien define una funcionalidad relacionada, aparecen la prueba anterior y su evidencia en lugar de repetirse. No sustituye a tu herramienta de pruebas ni a su estadística; mantiene lo que aprendiste unido a lo que decides.
Preguntas frecuentes
¿Cuánto debería durar una prueba A/B?
Una prueba A/B debería durar hasta alcanzar el tamaño de muestra que calculaste antes del lanzamiento, redondeado a semanas completas para cubrir todos los días de la semana. Kohavi, Tang y Xu sugieren métricas que puedan leerse en una o dos semanas. Nunca pares antes porque el resultado parezca significativo; eso infla los falsos positivos.
¿Qué tamaño de muestra necesito para una prueba A/B?
Depende de tu tasa base y del aumento más pequeño que merezca la pena detectar. Con una base del 4 %, detectar un aumento relativo del 10 % requiere unos 38.200 usuarios por variante al 5 % de significancia y 80 % de potencia; un aumento del 20 % requiere unos 9.700. Usa una calculadora como la de Evan Miller, o la regla práctica n = 16 × p(1 − p) ÷ δ².
¿Se pueden hacer pruebas A/B con poco tráfico?
Solo para efectos grandes sobre acciones frecuentes. Con una base del 20 %, detectar un aumento relativo del 20 % requiere unos 1.600 usuarios por variante, así que unos pocos miles de usuarios pueden responderlo; los pequeños retoques sobre acciones poco frecuentes no se pueden probar. En otro caso, usa métodos cualitativos: pruebas de usabilidad, entrevistas con clientes, pruebas de puerta falsa o pruebas concierge. Responden a preguntas distintas, pero te dan evidencia en lugar de una prueba no concluyente.
¿Qué es una métrica de salvaguarda en una prueba A/B?
Una métrica de salvaguarda es aquella a la que el cambio no debe perjudicar, aunque la métrica principal mejore. Las métricas de salvaguarda típicas son la activación, la retención, las tasas de error, el tiempo de carga de la página y los tickets de soporte. Acuérdalas antes del lanzamiento y detén una prueba antes de tiempo solo si una métrica de salvaguarda muestra un daño grave, no porque la métrica principal tenga buena pinta.
¿Qué significa peeking en las pruebas A/B?
Peeking significa comprobar la significancia mientras una prueba está en marcha y pararla cuando parece significativa. Rompe el supuesto de un tamaño de muestra fijo. Evan Miller demostró que comprobar tras cada observación y parar en el primer resultado significativo produce falsos positivos el 26,1 % de las veces en lugar del 5 %. Fija de antemano el tamaño de muestra y la fecha de fin.
¿Cómo se hace una prueba A/B de una campaña de recuperación de usuarios que se fueron?
Divide al azar a los usuarios inactivos en un grupo que recibe la oferta de recuperación y un grupo de control que no recibe nada. Usa la reactivación dentro de una ventana fija, como 30 días, como métrica principal, y el coste del descuento y la tasa de bajas de suscripción como métricas de salvaguarda. Las listas de usuarios inactivos suelen ser pequeñas, así que prueba diferencias audaces y calcula primero la muestra.
GDPR-aligned. EU workspace data is stored in Frankfurt, Germany. GDPR and EU data Built in Vienna, Austria. A product of influence solutions fm GmbH (FN 675374y). Imprint 14-day trial. Card required, and nothing is charged until day 14. 30-day refund after subscribing. See pricing