El contraste de hipótesis evalúa hasta qué punto los datos encajan con una hipótesis estadística concreta bajo un modelo determinado. Aporta una comparación formal y un método de decisión a una pregunta de investigación, pero no convierte el resultado en una decisión de producto automática.
Un equipo podría plantearse si un nuevo proceso de pago influye en las compras completadas. Las hipótesis estadísticas definen qué magnitudes se están comparando, mientras que el diseño del estudio determina si esa comparación puede interpretarse como causal. Para tomar una decisión práctica, también hace falta valorar la magnitud del cambio, la incertidumbre, los costes y el impacto en otras métricas.
Define la comparación antes de elegir el cálculo
Concreta la población, la métrica de interés, la unidad de análisis y las condiciones. Una hipótesis nula podría plantear tasas de conversión idénticas, con una alternativa bilateral que contemple tanto un aumento como una disminución. Otras preguntas requerirán distintos valores nulos o formas de comparación.
Elige una prueba adecuada para los datos y el diseño. Las medias, las proporciones, las observaciones pareadas y los datos agrupados plantean requisitos diferentes. Una prueba unilateral exige una justificación clara sobre la dirección esperada antes de mirar los resultados; no debe elegirse a posteriori solo porque la estimación apunte en una dirección conveniente.
La introducción al contraste de hipótesis del NIST detalla este marco estadístico. En la práctica, las hipótesis, los supuestos y el plan de análisis deben ser lo bastante claros como para que cualquier otra persona entienda qué se consideraría evidencia contra la hipótesis nula.
Planifica qué necesita detectar el estudio
El cálculo del tamaño de la muestra depende del efecto mínimo que merezca la pena detectar, la variabilidad o tasa base, el nivel de significación, la potencia deseada y el diseño. La potencia es la probabilidad de rechazar la hipótesis nula bajo una alternativa concreta; no es una cualidad genérica que un estudio tenga al margen del tamaño del efecto.
En un experimento ficticio sobre el proceso de compra, detectar un cambio muy pequeño en un evento poco frecuente puede requerir un volumen de tráfico enorme. Unas pocas sesiones de usabilidad pueden seguir siendo útiles para destapar problemas en el flujo, pero responden a una pregunta distinta a la de estimar con precisión el impacto en la conversión.
Aplica una regla de parada adecuada. Un procedimiento con muestra fija normalmente exige ceñirse a la recogida de datos prevista, mientras que un diseño secuencial apropiado sí permite tomar decisiones intermedias según sus propias reglas. Monitorizar la calidad técnica y la estabilidad es imprescindible, pero no debe confundirse con mirar los datos una y otra vez hasta encontrar un resultado estadístico favorable.
Interpreta el resultado sin exagerarlo
Rechazar la hipótesis nula al nivel elegido indica que el resultado es lo bastante incompatible con ese modelo como para cumplir la regla de decisión. No rechazarla no demuestra que sea cierta. Ninguno de los dos desenlaces asigna una probabilidad a que el hallazgo observado se deba al azar.
Comunica la estimación del efecto, el intervalo de confianza, el valor p (si se utiliza) y los supuestos clave. La significación estadística no mide la relevancia práctica. Analiza las métricas secundarias importantes y documenta las comparaciones múltiples o los análisis exploratorios.
El contraste de hipótesis puede utilizarse con datos observacionales, pero su valor p no resuelve el dilema entre correlación y causalidad. La interpretación causal depende del diseño de la investigación y de sus supuestos. Este procedimiento resulta realmente útil cuando el equipo es capaz de explicar tanto lo que demuestra el resultado estadístico como el criterio adicional que exige la decisión final.