Douze personnes sur vingt réussissent une tâche. Le taux de réussite observé est de 60 %, mais un autre échantillon pourrait donner un résultat différent. Un intervalle de confiance traduit l'incertitude autour d'une estimation à l'aide d'une méthode au taux de couverture à long terme défini, sous réserve de ses hypothèses.
Cet intervalle aide l'équipe à évaluer le niveau de précision des données. Une fourchette étroite peut conforter une décision assez précise ; une fourchette large peut laisser la porte ouverte à des résultats très différents, tous compatibles avec les données observées. Ni la largeur de l'intervalle ni le niveau de confiance ne protègent contre une métrique mal définie ou un recrutement biaisé.
Ce que signifie un intervalle de confiance à 95 %
Si l'étude et le calcul étaient répétés dans les mêmes conditions, une méthode avec un taux de couverture de 95 % produirait des intervalles contenant la vraie valeur environ 95 % du temps. Le niveau de confiance caractérise cette procédure. Il ne s'agit pas de la probabilité que la valeur réelle de la population se trouve dans cet intervalle précis une fois le calcul effectué.
L'explication des intervalles de confiance par le NIST détaille cette interprétation basée sur l'échantillonnage répété. Dans vos comptes rendus habituels, présentez toujours ensemble l'estimation, l'intervalle, le niveau de confiance et la méthode, plutôt que de résumer le résultat à un simple pourcentage assorti de crochets inexpliqués.
Un intervalle calculé pour une moyenne ou une proportion se distingue aussi d'une fourchette englobant des résultats individuels. Un intervalle de confiance autour du temps moyen d'une tâche ne signifie pas que 95 % des participants terminent dans ces limites.
Interpréter l'intervalle à la lumière de la décision
Pour notre exemple de 12 réussites sur 20 observations binaires indépendantes, un intervalle de Wilson à 95 % se situe approximativement entre 39 % et 78 %. Le taux observé reste de 60 % ; l'intervalle reflète simplement le manque de précision lié à ce petit jeu de données selon le modèle. Le NIST décrit la méthode de Wilson pour les proportions, qui évite certains écueils d'une approximation symétrique classique.
Si l'équipe a besoin de preuves solides montrant que la performance dépasse un seuil exigeant, ces observations laissent sans doute trop d'incertitude. En revanche, si les tests ont révélé un problème de formulation évident et simple à corriger, l'équipe peut tout à fait le résoudre sans attendre d'estimer avec précision le taux de réussite global. L'intervalle éclaire la décision ; il ne dicte pas les choix qui méritent d'être faits.
Pour établir une comparaison, calculez directement un intervalle sur la différence ou sur l'effet pertinent. Vérifier si deux intervalles distincts se chevauchent ne remplace pas une véritable analyse comparative, car leur relation dépend du plan d'expérience et du lien de dépendance entre les estimations.
Choisir une méthode adaptée aux données
Des tentatives répétées d'une même personne ne sont pas forcément indépendantes. Les réponses d'utilisateurs issus d'une même organisation peuvent être corrélées. La pondération, le regroupement en grappes ou l'analyse séquentielle peuvent modifier le mode de calcul approprié. Appliquer une formule classique à une structure inadaptée risque de produire un intervalle trompeusement étroit.
Des échantillons plus grands, une variabilité plus faible ou un niveau de confiance moins élevé peuvent resserrer les intervalles. Toutefois, modifier le niveau de confiance après avoir vu le résultat fausse l'analyse prévue. Exposez clairement la méthode et les hypothèses de départ, y compris les écarts notables.
Le biais d'échantillonnage et le biais de réponse ne sont pas pris en compte dans un intervalle d'échantillonnage classique. Mentionnez-les séparément. Un intervalle de confiance est bien plus utile lorsqu'il rend visible l'incertitude d'une estimation solide, plutôt que de donner à des données douteuses une apparence d'autorité mathématique.