El resultado de un test puede superar un umbral estadístico sin llegar a ser útil, o no alcanzarlo sin que signifique que no haya pasado nada. La significancia estadística es una valoración que se hace al comparar un valor p con un nivel de significancia determinado bajo un modelo estadístico concreto. Es solo una parte de la interpretación de los datos, junto con la estimación del efecto, la incertidumbre y el diseño del estudio.
Esta distinción es importante siempre que un panel de control muestra un ganador claro sin más matices. Un cambio pequeño medido con precisión puede no tener ninguna relevancia comercial; un cambio potencialmente grande medido con poca precisión puede quedar sin resolver. La etiqueta por sí sola no le dice al equipo ante qué situación se encuentra.
Entiende qué condiciona realmente el valor p
Un valor p describe la probabilidad, asumiendo el modelo nulo definido y sus premisas, de obtener un estadístico de prueba al menos tan extremo como el observado. Los valores bajos indican una incompatibilidad entre los datos y ese modelo. No indican la probabilidad de que la hipótesis nula sea cierta ni de que el resultado se deba al azar.
La declaración de la American Statistical Association sobre los valores p explica estas diferencias y desaconseja basar las conclusiones únicamente en si se cruza o no un umbral. Un resultado por debajo de 0,05 no adquiere una garantía universal de certeza, del mismo modo que uno por encima no demuestra la ausencia de un efecto.
En una prueba bien calibrada, un nivel de significancia como 0,05 controla la tasa de falsos positivos a largo plazo bajo la hipótesis nula y las premisas del test. Esto es muy distinto a decir que un resultado significativo concreto tiene un 5 % de probabilidades de ser falso.
Analiza la magnitud y la incertidumbre antes de decidir
Imagina un experimento ficticio en el que una nueva interfaz de búsqueda genera un pequeño aumento en las búsquedas con éxito. Para interpretarlo bien, se necesita el cambio estimado y un intervalo de confianza, además del impacto en los errores, el tiempo de respuesta u otras métricas clave.
Un intervalo estrecho alrededor de un cambio insignificante y un intervalo amplio que abarca tanto pérdidas como ganancias exigen decisiones distintas, aunque ninguno de los dos resultados supere el umbral fijado. Si el objetivo es demostrar que dos experiencias son lo bastante similares, plantea un análisis de equivalencia o de no inferioridad con un margen justificado, en lugar de interpretar una diferencia no significativa como una prueba de igualdad.
El efecto relevante no tiene por qué ser una diferencia respecto a cero; la hipótesis nula depende de la pregunta que te hagas. Mantén esa hipótesis visible para que cualquiera entienda qué evaluó realmente la prueba.
Protege el análisis de falsos aciertos por insistencia
Analizar muchas métricas o subgrupos aumenta las probabilidades de obtener falsos positivos. Mirar repetidamente los datos de una prueba de muestra fija y detenerla en cuanto resulta significativa también invalida el control de errores previsto. Los métodos secuenciales permiten tomar decisiones intermedias si se diseñan para ello; no son lo mismo que revisar los datos sin límite ni control.
Define con antelación las métricas principales, las comparaciones y las reglas de parada. Gestiona los análisis no planificados de forma transparente y aplica correcciones por multiplicidad cuando sea necesario. Documenta las exclusiones y los fallos de medición antes de que un resultado favorable reste importancia a estos problemas.
En un test A/B, la decisión final debe vincular la evidencia estadística con el impacto real del cambio. La significancia ayuda a evaluar la compatibilidad con un modelo. Lo que no puede hacer es arreglar mediciones sesgadas, determinar el valor para los usuarios ni decidir cuánta incertidumbre está dispuesta a asumir la organización.