Une boutique en ligne déplace les frais de livraison de l'étape finale de paiement vers le panier. Le changement semble plus transparent, mais l'équipe ne sait pas encore s'il va augmenter les achats finalisés, réduire les mauvaises surprises ou décourager certains clients plus tôt. Un test A/B compare l'expérience actuelle à cette alternative grâce à une attribution aléatoire et une analyse planifiée des résultats.
L'objectif est d'estimer l'effet du changement, tout en intégrant la marge d'incertitude. Un chiffre plus élevé dans une colonne de tableau de bord n'est que le point de départ de l'interprétation : il ne suffit pas à lui seul pour prouver que la nouvelle version est meilleure.
Choisir une question à laquelle l'expérience peut répondre
Dans cet exemple, l'indicateur principal pourrait être le nombre d'achats finalisés par visiteur éligible. D'autres mesures clés peuvent inclure le chiffre d'affaires, les erreurs lors du paiement et les annulations. Les définir en amont évite qu'un résultat secondaire favorable ne vienne remplacer, après coup, la question de départ.
Les tests A/B sont utiles lorsqu'on dispose d'une intervention précise, d'un résultat mesurable et d'un échantillon suffisant. Si l'équipe ne comprend pas ce qui bloque les clients, des tests d'utilisabilité ou des entretiens utilisateurs peuvent d'abord aider à formuler la proposition. L'expérience évalue un changement ; elle n'explique pas nécessairement toutes les raisons pour lesquelles les gens y réagissent.
Le retour d'expérience de Microsoft Research sur l'expérimentation en ligne décrit le rôle des tests contrôlés dans l'évaluation des idées de produits. La fiabilité de la comparaison dépend de sa conception et de son exécution, pas seulement du fait d'appeler deux versions A et B.
Garantir la fiabilité de l'attribution et des mesures
Déterminez quelle unité reçoit une version : un utilisateur, un compte ou une autre entité adaptée. Veillez à ce que l'attribution reste cohérente si la méthodologie l'exige, et vérifiez si les utilisateurs peuvent s'influencer mutuellement. Les comptes partagés ou les fonctionnalités collaboratives peuvent rendre une attribution en apparence individuelle bien plus complexe qu'il n'y paraît.
Vérifiez que les deux versions se chargent correctement et que les événements mesurés ont le même sens dans chacune d'elles. Une hausse apparente des conversions n'a aucune valeur si l'une des versions déclenche deux fois l'événement d'achat. Examinez les écarts de taille inattendus entre les groupes ou les données d'exposition manquantes avant d'interpréter les résultats.
Définissez un échantillon et une durée adaptés à l'ampleur de l'effet à détecter, au taux de référence ou à la variabilité, ainsi qu'à la méthode choisie. Il n'existe pas de taille d'échantillon universelle. Les événements rares et les effets faibles demandent souvent plus de données, tandis que les observations répétées ou les attributions par grappes nécessitent une analyse adaptée à leur dépendance.
Respecter la règle d'arrêt prévue par l'analyse
Un test à échantillon fixe ne doit pas être interrompu simplement parce que des vérifications répétées finissent par montrer un résultat significatif. Des méthodes séquentielles bien conçues permettent de prendre des décisions intermédiaires, mais elles obéissent à leurs propres règles. Renseignez-vous sur la méthode employée par votre plateforme avant de considérer son résultat comme un signal de décision.
Surveiller d'éventuels bugs de tracking ou des comportements anormaux n'a rien à voir avec le fait de chercher une version gagnante. Notez les interruptions majeures, les exclusions et les modifications pour que l'analyse reflète fidèlement l'expérience telle qu'elle s'est déroulée.
Prendre une décision à partir de l'effet et de ses conséquences
Indiquez la différence estimée et un intervalle de confiance, ainsi que la significativité statistique si elle est utilisée. Une amélioration précise mais minime ne justifie pas forcément des coûts de maintenance ; à l'inverse, un résultat incertain peut laisser planer le doute sur les gains réels ou les effets indésirables.
Pour la boutique, afficher les frais plus tôt pourrait améliorer la finalisation des commandes tout en modifiant le panier moyen ou le taux d'annulation. Ces conséquences doivent faire partie de la décision. Demandez-vous également si le résultat ne reflète pas un simple effet de nouveauté, ou une période qui ne prend pas en compte les habitudes d'usage habituelles.
Documentez ce qui a été modifié, les personnes incluses et les zones d'ombre qui subsistent. Un test peut tout à fait appuyer une décision de lancement bien cadrée, sans pour autant prouver que cet effet durera indéfiniment ou s'appliquera à tous les segments de clientèle.