Un taux de réussite de 78 % soulève une question évidente : est-ce un bon résultat ? Tout dépend de ce que les personnes essayaient de faire, de leur profil et de l'impact d'un échec. Passer à côté d'un élément lors d'une simple navigation et échouer à récupérer un document essentiel ne devraient pas avoir le même objectif sous prétexte que les deux s'expriment en pourcentages.
Le benchmarking compare les performances à une référence définie, comme une version antérieure du produit, un concurrent ou un jeu de données externe pertinent. Il facilite l'interprétation des résultats, mais seulement si la référence est assez solide pour justifier la comparaison.
Choisir une référence adaptée à la décision à prendre
Un benchmark interne est utile pour savoir si un produit progresse. Une étude concurrentielle pose une autre question : dans quelle mesure les utilisateurs atteignent-ils des objectifs comparables avec d'autres produits ? Les normes externes peuvent contextualiser une mesure établie, même si les différences d'audience, de tâche et de conditions d'étude restent déterminantes.
Avant de choisir une référence, identifiez le résultat qui compte vraiment. Le succès d'une tâche peut être central quand il s'agit d'accomplir une action précise ; l'utilisabilité perçue aide plutôt à évaluer l'expérience globale. Le temps passé sur une tâche demande quant à lui d'être interprété avec prudence : une sortie rapide peut traduire une exécution efficace comme un abandon précoce. Le guide du benchmarking de Nielsen Norman Group détaille comment sélectionner des indicateurs et les collecter de façon cohérente.
Évitez de reprendre un chiffre du secteur simplement parce qu'il existe. Vérifiez son origine, son mode de calcul et demandez-vous si la comparaison influencerait réellement une décision produit. Une moyenne précise mais hors sujet vous guidera bien moins qu'une étude modeste et bien documentée, centrée sur ce que vos clients doivent vraiment accomplir.
Concevoir l'étude pour rendre la comparaison possible
Pour comparer deux outils de reporting, donnez aux participants des objectifs équivalents plutôt que des consignes d'interface identiques. « Télécharger la facture de mars » fonctionne sur différents systèmes de navigation ; « ouvrir l'onglet Facturation » risque de favoriser le produit qui utilise précisément ce libellé.
Décidez si les mêmes personnes testeront les deux produits ou si des groupes distincts évalueront chacun d'eux. Faire appel aux mêmes participants permet de mieux neutraliser les écarts individuels, mais crée des effets d'apprentissage et d'ordre. Des groupes séparés évitent ce biais, à condition de recruter assez de participants pour absorber la variabilité entre eux. Le protocole expérimental doit refléter votre problématique et vos contraintes pratiques.
Conservez le même protocole, les mêmes critères de recrutement et les mêmes règles d'évaluation. Pour un suivi régulier, la mesure de référence initiale doit être suffisamment détaillée pour que quelqu'un d'autre puisse reproduire l'étude sans devoir en deviner les hypothèses.
Expliquer l'écart, puis analyser ses causes
Présentez toujours la taille des échantillons et la marge d'incertitude aux côtés du chiffre clé. Un faible écart peut être trop incertain pour en tirer une conclusion nette, tandis qu'une différence marquée nécessite souvent des explications. Les enregistrements de sessions et les retours des participants aident à repérer si les échecs viennent de la navigation, des termes employés ou d'une fonctionnalité manquante.
Ces observations éclairent la prochaine décision de conception ; le benchmark seul ne dicte pas à l'équipe ce qu'elle doit créer. De même, une progression entre deux études successives ne prouve pas qu'une mise à jour spécifique en soit la cause si le recrutement ou d'autres paramètres ont changé en parallèle.
Un bon programme de benchmarking préserve la comparabilité tout en sachant abandonner un indicateur devenu obsolète. Quand la vocation du produit évolue, documentez pourquoi l'ancien benchmark n'est plus adapté et posez une nouvelle référence. Garder un score obsolète sous perfusion pour le seul plaisir d'afficher une courbe continue ne vous aidera pas à comprendre vos performances.