Une refonte est mise en ligne, le taux de complétion grimpe, et l'équipe veut savoir si son travail a porté ses fruits. Difficile d'y répondre si personne n'a mesuré ce taux avant le lancement. Même un chiffre dont on se souvient ne sert pas à grand-chose si son dénominateur, sa période de référence et sa définition du succès ont disparu.
Une mesure de référence (ou « baseline ») capture l'état initial auquel les résultats futurs seront comparés. Il peut s'agir d'un test d'utilisabilité sur le produit existant, de plusieurs semaines de données comportementales ou de la première vague d'une enquête récurrente. Tout son intérêt est de rendre la comparaison possible et interprétable, plutôt que de fournir un simple chiffre étiqueté « avant ».
Mesurez le résultat, mais aussi les conditions
Imaginons une étude fictive sur la gestion des factures : l'équipe observe si les participants réussissent à trouver et télécharger la bonne facture sans aide. Pour reproduire cette mesure, un chercheur aura besoin de l'énoncé exact de la tâche, des critères de recrutement, des appareils utilisés et de la règle définissant le succès. Sans ces détails, un simple pourcentage ne permet pas de savoir si le nouveau design est meilleur ou si le test était simplement plus facile.
Pour une métrique produit suivie dans le temps, documentez la définition des événements, les filtres d'exclusion et la fenêtre d'analyse. Conservez la taille de l'échantillon et la dispersion des résultats, pas seulement la moyenne. Le guide de Nielsen Norman Group sur la mise en place de baselines revient sur la façon de combiner analytics et recherche utilisateur pour bâtir un point de départ solide.
Une seule étude peut suffire comme référence, mais elle comporte toujours une part d'incertitude. Multiplier les points de mesure s'avère précieux pour une métrique qui varie selon les jours de la semaine, les saisons ou les cycles de mise en production. L'objectif est d'avoir assez de contexte pour identifier les variations normales, pas de s'imposer la collecte rituelle du même volume d'historique pour chaque décision.
Garantissez une comparaison équitable
Au moment de mesurer à nouveau, gardez constants les éléments qui doivent rester comparables. Si vous changez à la fois le public cible, la tâche, la formulation des questions et le produit, il devient impossible d'isoler la cause d'un écart. Si une modification inévitable interrompt la continuité des mesures, documentez-la et envisagez de recueillir des données en parallèle pour évaluer son impact.
Une baseline sert souvent de référence interne. Le benchmarking est une pratique plus large de comparaison qui s'appuie aussi sur la concurrence ou des standards du marché. Mais ni une moyenne sectorielle ni le score d'un concurrent ne pourront remplacer la mesure manquante de votre propre produit avant sa refonte.
Ne confondez pas amélioration et causalité
Constater une différence entre un avant et un après prouve que le résultat a évolué, pas que la refonte en est la cause. Une campagne marketing a pu attirer un public différent, ou une panne temporaire a pu plomber la baseline. Si le point de départ a été mesuré lors d'un creux historique, l'amélioration constatée ensuite peut simplement refléter une régression vers la moyenne.
Un groupe de contrôle simultané permet de démêler ces facteurs. Dès que possible, un test A/B compare la nouveauté à une version témoin sur une même période. Lorsque ce n'est pas envisageable, présentez vos résultats avant/après avec leurs limites et explorez d'autres pistes à l'aide de l'historique des déploiements, des données d'audience et de la recherche.
La conclusion la plus honnête sera peut-être que le nouveau parcours est plus performant dans les conditions observées, même si l'impact exact de la refonte reste incertain. C'est déjà un résultat précieux, à condition de ne pas transformer discrètement une simple corrélation en certitude causale.