El diseño experimental define cómo se va a comparar una intervención frente a otras alternativas para que las pruebas resultantes puedan responder a una pregunta causal. Incluye las condiciones, la asignación, las métricas clave, los tiempos y el análisis. El diseño empieza antes de recoger los datos, en el momento en que el equipo decide qué comparación resolvería realmente sus dudas.
Un experimento de producto puede comparar dos interfaces, varios mensajes o combinaciones de funcionalidades. El cambio visible es solo una parte del diseño. Quién lo recibe, en qué puede influir y cómo se registran sus resultados puede tener la misma importancia.
Define la intervención y la unidad que la recibe
Imagina que una herramienta de colaboración ficticia quiere probar una nueva forma de asignar tareas. Asignar versiones a usuarios individuales puede resultar incómodo si todo un equipo comparte las mismas tareas. Asignar por equipos puede acotar mejor la experiencia, pero los resultados dentro de un mismo equipo están relacionados, y tanto el cálculo del tamaño de la muestra como el análisis deben tener en cuenta esa estructura.
Deja muy claro qué cambia entre las condiciones y quién puede participar. Mantén la comparación de forma simultánea siempre que sea adecuado, para que cambios externos a lo largo del tiempo no parezcan causados por el experimento. Comprueba que la variante prevista se entregue y se registre de verdad.
La guía del NIST sobre cómo elegir un diseño experimental describe opciones de diseño para diferentes objetivos. La clave está en plantear la estructura en función de la pregunta y de las fuentes de variación, en lugar de elegir una prueba que ya conozcas una vez que hayan llegado los datos.
Elige cómo interactúan los participantes con las condiciones
Un diseño intersujetos sitúa a distintos participantes en condiciones diferentes. Un diseño intrasujetos permite que las mismas personas pasen por varias, lo que puede mejorar ciertas comparaciones pero introduce factores como el aprendizaje, el cansancio y el arrastre de efectos. El contrabalanceo puede repartir los efectos del orden, pero no garantiza que desaparezcan todos los problemas de arrastre.
El bloqueo agrupa unidades comparables antes de asignarlas dentro de esos grupos. Los diseños factoriales varían más de un factor y permiten investigar interacciones, como si el impacto de un mensaje depende de su ubicación. Estos enfoques exigen planificar las comparaciones y contar con suficiente información para estimarlas de forma útil.
La aleatorización busca que los grupos sean comparables en expectativa, no idénticos en la práctica. Comprueba la implementación y detecta patrones de reparto inesperados, sin interpretar las diferencias normales del azar como una señal de que la aleatorización ha fallado.
Planifica a la vez los resultados, la precisión y cuándo parar
Define la métrica principal, las métricas de control clave y el tamaño del efecto que merece la pena detectar. Planifica la muestra y la duración a partir del punto de partida relevante, la variabilidad, la unidad de asignación y el método estadístico. Incluye ciclos de uso representativos cuando puedan influir en la interpretación.
Especifica los criterios de exclusión, el tratamiento de datos incompletos y las reglas de parada antes de mirar los resultados. Un análisis con muestra fija y un análisis secuencial permiten tomar decisiones intermedias de formas distintas. Monitorizar la calidad y la seguridad sigue siendo necesario, pero buscar una y otra vez un valor p favorable no sustituye a un plan de parada.
Interpreta el experimento tal y como se ejecutó realmente
Informa sobre las desviaciones, los fallos de exposición y cualquier interferencia plausible entre unidades. En el ejemplo de la herramienta de colaboración, si un equipo utiliza ambas versiones a través de cuentas compartidas, podría desvirtuar la comparación que querías hacer. Esa posibilidad debe investigarse antes de presentar el resultado como una comparación limpia.
Utiliza estimaciones del efecto e intervalos de confianza, junto con contrastes de hipótesis cuando corresponda. Ten en cuenta las implicaciones prácticas y los límites de la generalización. Un experimento puede estimar el efecto de una intervención concreta sin necesidad de explicar cada mecanismo ni garantizar que el resultado se mantenga igual en otro contexto.