La recherche causale cherche à savoir quel impact réel a un changement. Si les clients qui terminent l'onboarding ont plus de chances de rester fidèles, ce lien ne prouve pas pour autant qu'augmenter le taux de complétion améliorera la rétention. Ces clients avaient peut-être déjà de meilleures raisons d'utiliser le produit.

La question causale repose sur une comparaison avec ce qui se serait passé dans une autre situation. Cette alternative non observée est le contrefactuel, et le protocole de recherche doit proposer une méthode crédible pour l'analyser.

Préciser le changement et le résultat attendu

Dans une étude sur l'onboarding, définissez précisément l'intervention : un parcours guidé, une invitation à une session de formation ou l'accès à un nouveau canal d'assistance. Chacune peut toucher des profils différents par des mécanismes distincts.

Déterminez qui est concerné par le résultat, quel indicateur sera mesuré et sur quelle période. Dire que l'on veut « améliorer la rétention » reste trop vague tant que l'équipe ne précise pas l'unité concernée, l'activité observée et la fenêtre temporelle. Distinguez l'effet de la proposition d'une intervention de l'effet constaté chez ceux qui l'utilisent réellement ; ne retenir que ces derniers risque de réintroduire les biais que l'étude cherchait justement à éliminer.

Le Magenta Book du gouvernement britannique détaille les approches expérimentales, quasi-expérimentales et fondées sur la théorie pour évaluer ces effets. La méthode adaptée dépend de la question posée et du contexte dans lequel les données peuvent être recueillies.

Évaluer la crédibilité de la comparaison

L'assignation aléatoire permet d'obtenir des groupes comparables en espérance mathématique, ce qui permet d'estimer un lien de causalité si le déploiement et l'analyse sont rigoureux. Pour autant, elle ne garantit pas des groupes strictement identiques sur un échantillon donné, et n'empêche ni les données manquantes, ni les effets de contagion, ni les erreurs de mesure.

En l'absence de randomisation, une méthode quasi-expérimentale solide peut s'appuyer sur un seuil d'éligibilité, une tendance comparative ou une autre spécificité du déploiement de l'intervention. Il est indispensable d'expliciter et d'examiner les hypothèses de départ ; empiler les variables dans un modèle ne suffit pas à éliminer les facteurs de confusion.

Une simple comparaison avant/après reste fragile face aux autres évolutions survenues au fil du temps. La saisonnalité, l'évolution du profil des clients ou des mises en production sans rapport peuvent expliquer, en tout ou partie, une amélioration en apparence positive.

Expliquer l'effet et sa portée

Présentez la différence estimée et la marge d'incertitude, tout en expliquant comment l'intervention a été concrètement menée. La recherche qualitative permet d'explorer les mécanismes et le contexte, sans pour autant transformer les retours d'entretiens en estimations causales chiffrées.

Demandez-vous si le résultat peut être transposé ailleurs grâce à sa généralisabilité. Une intervention qui fonctionne auprès d'un public ou sur une période donnée peut reposer sur des facteurs impossibles à reproduire. Une analyse causale pertinente met ces conditions en lumière, afin que la décision suivante ne repose pas uniquement sur l'annonce sommaire que le test a fonctionné.