La investigación causal se pregunta qué impacto real tiene algo. Si los clientes que completan la incorporación tienen más probabilidades de quedarse, esa relación no demuestra que lograr que más gente la complete vaya a mejorar la retención. Es posible que esos clientes ya tuvieran motivos de más peso para usar el producto.

La pregunta causal implica comparar lo ocurrido con lo que habría pasado en otra situación. Esa alternativa no observada es el contrafáctico, y el diseño de la investigación necesita una forma creíble de plantearlo.

Define con claridad el cambio y el resultado

En un estudio práctico sobre la incorporación, define la intervención con precisión: un flujo de configuración guiado, una invitación a una sesión formativa o el acceso a un nuevo canal de soporte. Cada opción puede influir en personas distintas a través de mecanismos diferentes.

Define a quién afecta el resultado, qué métrica se va a medir y durante cuánto tiempo. Decir «mejorar la retención» no basta si el equipo no especifica la unidad relevante, la actividad y el marco temporal. Distingue entre el efecto de ofrecer una opción y el efecto en quienes realmente la usan; fijarse solo en los usuarios que la aprovecharon puede reintroducir las diferencias que el estudio pretendía resolver.

El Magenta Book del gobierno británico explica enfoques experimentales, cuasiexperimentales y basados en teorías para evaluar efectos. La opción adecuada depende de la pregunta planteada y de las condiciones en las que se puedan recopilar los datos.

Evalúa la credibilidad de la comparación

La asignación aleatoria permite que los grupos sean comparables en promedio, lo que respalda una estimación causal si la implementación y el análisis están bien hechos. Sin embargo, no garantiza grupos idénticos en una muestra concreta ni evita problemas como la falta de datos, los efectos indirectos o los fallos de medición.

Si no es posible aleatorizar, un enfoque cuasiexperimental fiable puede apoyarse en un umbral, una tendencia de comparación u otra característica de cómo se aplicó la intervención. Es fundamental plantear y examinar los supuestos de partida; limitarse a añadir muchas variables a un modelo no soluciona por arte de magia las variables de confusión.

Una simple comparación de «antes y después» es vulnerable a otros factores que cambian con el tiempo. La estacionalidad, el perfil de los clientes y otros lanzamientos independientes pueden explicar parte o la totalidad de una aparente mejora.

Explica el efecto y su alcance

Comunica la diferencia estimada y el margen de incertidumbre, junto con datos sobre cómo se implementó la intervención. La investigación cualitativa ayuda a indagar en los mecanismos y el contexto sin caer en el error de transformar los testimonios de una entrevista en una estimación causal numérica.

Valora si el resultado puede extrapolarse a otros casos analizando su generalizabilidad. Una intervención que funciona con un público o en un momento determinado puede depender de condiciones que no se dan en otros lugares. Una explicación causal útil deja a la vista esas condiciones, de modo que la siguiente decisión se base en algo más que en un titular que afirme que el test funcionó.