Le plan d'expérience précise comment une intervention sera comparée à des alternatives afin que les résultats obtenus puissent répondre à une question causale. Il englobe les conditions, l'attribution, les métriques d'impact, le calendrier et l'analyse. La démarche débute bien avant la collecte des données, dès lors que l'équipe détermine quelle comparaison permettra réellement de lever ses doutes.
Une expérimentation produit peut comparer deux interfaces, plusieurs messages ou différentes combinaisons de fonctionnalités. La modification visible ne représente qu'une partie du dispositif. L'audience ciblée, ce qu'elle peut influencer et la manière dont ses actions sont mesurées comptent tout autant.
Définir l'intervention et l'unité d'attribution
Imaginons un outil collaboratif fictif souhaitant tester une nouvelle façon d'attribuer les tâches. Assigner des versions différentes à des utilisateurs individuels peut s'avérer délicat si tous les membres d'une équipe partagent les mêmes tâches. Une attribution à l'échelle de l'équipe permet de mieux isoler l'expérience, mais les résultats au sein d'un même groupe sont alors corrélés : le dimensionnement de l'échantillon et l'analyse doivent impérativement intégrer cette structure.
Décrivez précisément ce qui distingue les conditions et qui y est éligible. Privilégiez des comparaisons simultanées dans la mesure du possible, afin d'éviter que des évolutions extérieures au fil du temps ne soient prises pour l'effet recherché. Vérifiez également que le traitement prévu est réellement appliqué et correctement mesuré.
Le guide du NIST sur le choix d'un plan d'expérience détaille les différentes options selon les objectifs visés. La règle d'or consiste à structurer le dispositif autour de la question posée et des sources de variation, plutôt que d'appliquer un test familier après coup, une fois les données recueillies.
Déterminer comment les participants découvrent les conditions
Un plan inter-sujets (between-subjects) répartit les participants dans des conditions distinctes. Un plan intra-sujets (within-subjects) expose les mêmes personnes à plusieurs variantes, ce qui affine certaines comparaisons tout en introduisant des effets d'apprentissage, de fatigue ou de rémanence. Le contrebalancement permet de répartir les effets d'ordre, sans pour autant garantir la disparition de tout biais de transfert.
La constitution de blocs regroupe des unités comparables avant de procéder à l'attribution au sein de ces groupes. Les plans factoriels font varier plusieurs facteurs simultanément et permettent d'étudier les interactions — par exemple, pour savoir si l'impact d'un message dépend de son emplacement. Ces approches exigent un plan de comparaison clair et suffisamment de données pour obtenir des estimations exploitables.
La randomisation garantit une comparabilité en espérance, et non des groupes observés strictement identiques. Contrôlez la mise en œuvre et repérez d'éventuels schémas d'attribution anormaux, sans pour autant voir dans de simples écarts dus au hasard la preuve d'un échec du tirage au sort.
Penser ensemble métriques, précision et règles d'arrêt
Définissez la métrique principale, les garde-fous essentiels et l'effet minimal qu'il vaut la peine de détecter. Calibrez la taille de l'échantillon et la durée du test à partir du niveau de référence pertinent, de la variabilité, de l'unité d'attribution et de la méthode statistique choisie. Intégrez les cycles d'usage significatifs lorsqu'ils influencent l'interprétation.
Fixez les critères d'exclusion, la gestion des données manquantes et les règles d'arrêt avant d'analyser les résultats. L'analyse à échantillon fixe et l'analyse séquentielle offrent des cadres différents pour la prise de décision intermédiaire. Si le suivi de la qualité et de la sécurité reste indispensable, scruter les données en continu dans l'espoir de voir apparaître une p-valeur favorable ne remplace en rien un véritable plan d'arrêt.
Interpréter l'expérience réellement menée
Signalez les écarts par rapport au protocole, les défauts d'exposition et toute interférence plausible entre les unités. Dans notre exemple d'outil collaboratif, une équipe utilisant les deux versions via des comptes partagés pourrait fausser la comparaison prévue. Cette éventualité doit être examinée avant de présenter le résultat comme une comparaison rigoureuse.
Appuyez-vous sur les estimations de l'effet et les intervalles de confiance, en complément des tests d'hypothèse lorsque c'est pertinent. Prenez en compte les retombées concrètes ainsi que les limites de la généralisation. Une expérience permet d'estimer l'effet d'une intervention précise sans nécessairement expliquer chaque mécanisme sous-jacent ni garantir que le résultat restera identique dans un autre contexte.