Le test d'hypothèse évalue dans quelle mesure les données sont compatibles avec une hypothèse statistique donnée, selon un modèle choisi. Il offre un cadre formel de comparaison et une méthode de décision pour répondre à une question de recherche, mais il ne transforme pas automatiquement le résultat en décision produit.
Une équipe peut se demander si un nouveau tunnel d'achat modifie la finalisation des commandes. Les hypothèses statistiques décrivent les grandeurs comparées, tandis que la méthodologie de l'étude détermine si cette comparaison peut s'interpréter de manière causale. La décision pratique doit aussi prendre en compte l'ampleur du changement, l'incertitude, les coûts et l'impact sur d'autres indicateurs.
Définir la comparaison avant de choisir le calcul
Précisez la population, la métrique cible, l'unité d'analyse et les conditions. Une hypothèse nulle peut poser l'égalité des taux de conversion, avec une hypothèse alternative bilatérale envisageant aussi bien une hausse qu'une baisse. D'autres problématiques feront appel à des valeurs nulles ou des types de comparaison différents.
Choisissez un test adapté aux données et au dispositif. Les moyennes, les proportions, les mesures appariées ou les unités regroupées en grappes impliquent des exigences distinctes. Un test unilatéral exige une question orientée, justifiée et établie avant d'examiner les résultats ; il ne doit pas être choisi après coup simplement parce que l'estimation va dans le sens espéré.
L'introduction aux tests d'hypothèse du NIST détaille ce cadre statistique. En pratique, les hypothèses, les postulats et le plan d'analyse doivent être assez explicites pour qu'une autre personne comprenne ce qui constituerait une preuve remettant en cause l'hypothèse nulle.
Anticiper ce que l'étude doit détecter
Le calcul de la taille de l'échantillon dépend de l'effet pertinent à détecter, de la variabilité ou du taux de référence, du seuil de significativité, de la puissance visée et du protocole. La puissance correspond à la probabilité de rejeter l'hypothèse nulle sous une hypothèse alternative précise ; ce n'est pas une qualité générale qu'une étude posséderait indépendamment de la taille de l'effet.
Dans le cas d'un test imaginaire sur un tunnel d'achat, détecter une infime variation sur un événement d'achat peu fréquent peut exiger un trafic considérable. Quelques tests d'utilisabilité peuvent tout à fait révéler des points de friction, mais ils répondent à une question différente de celle d'une estimation rigoureuse de l'impact sur la conversion.
Appliquez une règle d'arrêt adaptée. Une procédure à échantillon fixe impose généralement de respecter le volume de collecte prévu, tandis qu'un protocole séquentiel approprié autorise des décisions intermédiaires selon ses propres règles. Suivre la qualité technique et la fiabilité reste indispensable, mais cela ne doit pas se confondre avec une recherche répétée d'un seuil statistique favorable.
Interpréter le résultat sans en faire trop
Rejeter l'hypothèse nulle à un seuil donné indique que le résultat est suffisamment incompatible avec ce modèle pour valider la règle de décision. Ne pas la rejeter ne prouve pas pour autant qu'elle soit vraie. Aucun de ces deux cas n'attribue de probabilité au fait que le résultat observé soit le fruit du hasard.
Présentez l'estimation de l'effet, l'intervalle de confiance, la p-valeur le cas échéant et les hypothèses sous-jacentes. La significativité statistique ne mesure pas l'importance pratique. Analysez les indicateurs secondaires clés et mentionnez les comparaisons multiples ou les analyses exploratoires.
Un test d'hypothèse peut s'appliquer à des données observationnelles, mais sa p-valeur ne tranche pas la question de la corrélation face à la causalité. L'interprétation causale repose sur la méthodologie de recherche et les hypothèses retenues. La démarche prend tout son sens lorsque l'équipe sait expliquer ce que le résultat statistique démontre, mais aussi les arbitrages complémentaires que la décision exige.