どんな優れた実験も、まずは仮説から始まります。これは「何が起きるか」についての根拠のある推測です。また、何も変化しないと想定する帰無仮説と、何らかの変化が起きると予測する対立仮説も必要になります。例えば、ウェブサイトに新しいボタンを設置してテストする場合、「このボタンを追加すると登録者数が増える」というのが仮説になります。アンケートなら、複数の広告デザインをテストして、どれがより好まれるかを確認したりします。

結果が単なる偶然ではなく本物かどうかを確かめるために、統計ではzスコア（本当に差がないかどうかを検証するもの）やp値（仮説を裏付ける証拠がどれだけ強力かを示すもの）といったツールを使います。もうひとつの重要な判断は、片側検定（「売上が伸びる」といった特定の効果を想定する場合）を使うか、両側検定（プラスとマイナスのどちらの影響もあり得るかを確認する場合）を使うかです。幸いなことに、こうした計算をすべて自分で行う必要はありません。オンラインの計算ツールを使えば、テスト結果が意味のあるものか、それとも単なるまぐれなのかをすぐに判定できます。