Toute bonne expérience commence par une hypothèse, c'est-à-dire une supposition éclairée sur ce qui pourrait se passer. Vous avez également besoin d'une hypothèse nulle, qui part du principe que rien ne changera, et d'une hypothèse alternative, qui prédit que quelque chose va effectivement changer. Par exemple, si vous testez un nouveau bouton sur votre site web, votre hypothèse pourrait être : « Ajouter ce bouton augmentera les inscriptions ». Dans les sondages, vous pourriez tester différents visuels publicitaires pour voir lequel plaît le plus.

Pour vérifier si vos résultats sont réels et non le fruit du hasard, les statisticiens utilisent des outils comme les scores z (qui vérifient s'il n'y a vraiment aucune différence) et les valeurs p (qui montrent à quel point les preuves soutiennent votre hypothèse). Une autre décision clé consiste à choisir entre un test unilatéral (qui suppose que votre modification aura un effet précis, comme l'augmentation des ventes) ou un test bilatéral (qui vérifie si elle peut avoir un impact positif ou négatif). Heureusement, vous n'avez pas besoin de faire tous ces calculs vous-même : il existe des outils et des calculateurs en ligne capables de vous dire rapidement si vos résultats sont significatifs ou s'il s'agit d'un simple coup de chance !