Una tienda traslada los costes de envío del último paso del proceso de compra a la cesta. El cambio parece más transparente, pero el equipo aún no sabe si aumentará las compras completadas, reducirá las sorpresas o desanimará a algunos compradores antes de tiempo. Un test A/B compara la experiencia actual con la alternativa mediante asignación aleatoria y un análisis planificado de los resultados.
El objetivo es estimar el efecto del cambio, teniendo en cuenta la incertidumbre. Un número más alto en una columna del panel es solo el principio de la interpretación; no basta por sí solo para dar por hecho que la versión propuesta es mejor.
Elige una pregunta que el experimento pueda responder
En el ejemplo de la tienda, la métrica principal podría ser el número de compras completadas por usuario apto. Otras métricas relevantes podrían ser los ingresos, los errores en el proceso de compra o las cancelaciones. Definirlas antes del experimento ayuda a evitar que un resultado secundario favorable acabe sustituyendo la pregunta original a posteriori.
Los tests A/B son útiles cuando se cuenta con una intervención específica, un resultado medible y una muestra suficiente. Si el equipo no entiende por qué los clientes tienen problemas, las pruebas de usabilidad o las entrevistas con usuarios pueden ayudar primero a dar forma a la propuesta. El experimento evalúa un cambio; no explica necesariamente todos los motivos por los que la gente reacciona a él.
El artículo de Microsoft Research sobre experimentación online describe el papel de los experimentos controlados a la hora de evaluar ideas de producto. La validez de la comparación depende de su diseño y ejecución, no solo de llamar a dos versiones A y B.
Garantiza que la asignación y la medición sean fiables
Decide qué unidad recibe cada versión: un usuario, una cuenta u otra unidad adecuada. Mantén la coherencia en la asignación cuando el diseño lo requiera y ten en cuenta si los usuarios pueden influir entre sí. Las cuentas compartidas o el trabajo colaborativo pueden hacer que una asignación en teoría individual sea más compleja de lo que parece.
Comprueba que ambas versiones carguen según lo previsto y que los eventos midan exactamente lo mismo en cada una. Un aparente aumento en las conversiones no sirve de nada si una versión registra el evento de compra dos veces. Investiga cualquier diferencia inesperada en el tamaño de los grupos o los datos de exposición que falten antes de interpretar los resultados.
Utiliza un tamaño de muestra y una duración pensados para el efecto que merece la pena detectar, la tasa de referencia o la variabilidad, y el método elegido. No existe un número universal de participantes. Los resultados poco frecuentes y los efectos pequeños suelen requerir más datos, mientras que las observaciones repetidas o la asignación por grupos necesitan un análisis adaptado a su grado de dependencia.
Respeta la regla de finalización asumida en el análisis
Un test con un tamaño de muestra fijo no debe detenerse simplemente porque varias revisiones continuas acaben mostrando significación estadística. Los métodos secuenciales bien diseñados permiten tomar decisiones intermedias, pero se rigen por sus propias reglas. Infórmate de qué procedimiento utiliza la plataforma antes de tomar su resultado como una señal definitiva para decidir.
Monitorizar posibles fallos en el seguimiento o comportamientos perjudiciales no es lo mismo que buscar un ganador. Registra las interrupciones relevantes, las exclusiones y los cambios para que el análisis refleje el experimento que realmente se llevó a cabo.
Toma decisiones basándote en el impacto y sus consecuencias
Comunica la diferencia estimada y un intervalo de confianza, junto con la significación estadística si se utiliza. Una mejora precisa pero insignificante puede no justificar los costes de mantenimiento; un resultado con demasiada incertidumbre puede dejar sin resolver tanto beneficios útiles como posibles perjuicios.
En el caso de la tienda, mostrar los costes antes podría mejorar las compras completadas, pero también alterar el valor medio de la cesta o las cancelaciones. Esas consecuencias deben formar parte de la decisión. Considera también si el resultado refleja una simple reacción a la novedad o un periodo que pasa por alto patrones de uso importantes.
Documenta qué se ha cambiado, a quién se ha incluido y qué incógnitas quedan por resolver. Un test puede respaldar una decisión de lanzamiento bien delimitada sin necesidad de demostrar que ese mismo efecto durará para siempre o se aplicará a todos los segmentos de clientes.