Doce de cada veinte personas completan una tarea. La tasa de éxito observada es del 60 %, pero otra muestra podría dar un resultado diferente. Un intervalo de confianza refleja la incertidumbre en torno a una estimación mediante un método con una tasa de cobertura a largo plazo determinada, según sus supuestos.
El intervalo ayuda al equipo a ver con qué nivel de detalle responden los datos. Un rango estrecho puede respaldar una decisión bastante precisa; un rango amplio puede dejar abiertas opciones muy distintas que siguen encajando con los datos. Ni la amplitud ni el nivel de confianza compensan una métrica mal definida o un reclutamiento sesgado.
Qué significa un intervalo de confianza del 95 %
Si el estudio y el cálculo se repitieran bajo los mismos supuestos, un método con una cobertura del 95 % generaría intervalos que incluirían el valor real cerca del 95 % de las veces. El nivel de confianza describe ese procedimiento. No es la probabilidad de que el valor real de la población esté dentro de este intervalo concreto una vez calculado.
La explicación sobre intervalos de confianza del NIST detalla esta interpretación basada en muestreos repetidos. En los informes del día a día, conviene presentar juntos la estimación, el intervalo, el nivel de confianza y el método, en lugar de reducir el resultado a un porcentaje entre corchetes sin explicación.
Además, un intervalo para una media o una proporción es distinto de un rango que incluye resultados individuales. Un intervalo de confianza en torno al tiempo medio de una tarea no significa que el 95 % de los participantes terminen dentro de esos límites.
Interpreta el rango en función de la decisión
Para el ejemplo de 12 éxitos en 20 observaciones binarias independientes, un intervalo de Wilson al 95 % va aproximadamente del 39 % al 78 %. La tasa observada sigue siendo del 60 %; el rango muestra la precisión limitada de un conjunto de datos tan pequeño según el modelo. El NIST describe el método de Wilson para proporciones, que evita algunos de los problemas de una aproximación simétrica simple.
Si el equipo necesita pruebas sólidas de que el rendimiento supera un objetivo exigente, estas observaciones pueden dejar demasiada incertidumbre. Si las sesiones revelaron un problema de redacción evidente y fácil de corregir, tiene sentido que el equipo lo solucione sin esperar a estimar con exactitud la tasa de éxito general. El intervalo orienta la decisión; no determina qué decisiones merece la pena tomar.
Para hacer una comparación, calcula directamente el intervalo de la diferencia o del efecto que te interese. Mirar si dos intervalos independientes se solapan no es una forma fiable de evaluar la diferencia, ya que la relación depende del diseño y de cómo se relacionen las estimaciones entre sí.
Usa un método que se adapte a los datos
Varios intentos de una misma persona no son necesariamente independientes. Las respuestas de usuarios de una misma organización pueden estar relacionadas. La ponderación, la agrupación en clústeres y el análisis secuencial pueden cambiar la forma de calcularlo. Aplicar una fórmula conocida a una estructura inadecuada puede dar un rango engañosamente estrecho.
Las muestras más grandes, una menor variabilidad y un nivel de confianza más bajo pueden estrechar los intervalos, pero cambiar el nivel de confianza tras ver los resultados distorsiona el análisis previsto. Explica el método y los supuestos de partida, incluyendo cualquier desviación importante.
El sesgo de muestreo y el sesgo de respuesta quedan fuera de un intervalo de muestreo convencional. Conviene informarlos por separado. Un intervalo de confianza resulta más útil cuando visibiliza la incertidumbre de una estimación sólida, en lugar de maquillar datos dudosos con una falsa sensación de rigor matemático.