テスト結果は、統計的な閾値を超えても役に立たないことがあれば、閾値に届かなくても「何も起きなかった」とは限らないことがあります。統計的有意性とは、特定の統計モデルのもとでp値とあらかじめ定めた有意水準を比較して下す判断にすぎません。それは効果の推定値、不確実性、そして調査設計などと並ぶ、証拠を読み解くための一要素にすぎないのです。

ダッシュボードがわかりやすい「勝者」を示しているときこそ、この違いが重要になります。高精度に測定されたわずかな変化は、ビジネス上意味がないかもしれません。逆に、大きく変わる可能性があっても測定の精度が低ければ、判断がつかないままになります。「有意である」というラベルだけでは、チームがどちらの状況にあるのか判断できません。

p値の前提条件を理解する

p値とは、設定した帰無仮説モデルとその前提条件が正しいと仮定したうえで、実際に観測された検定統計量と同じか、それ以上に極端な値が得られる確率を表したものです。p値が小さければ、データとそのモデルの間に不一致があることを示します。しかし、帰無仮説が真である確率や、その結果が偶然によって生じた確率を示しているわけではありません。

米国統計学会（ASA）のp値に関する声明でもこうした違いが解説されており、閾値を超えたかどうかだけで結論を出すことに対して警鐘を鳴らしています。p値が0.05を下回ったからといって真実である絶対的な保証が得られたわけではありませんし、0.05を上回ったからといって効果がないと証明されたわけでもありません。

正しく調整された検定において、0.05などの有意水準は、帰無仮説と検定の前提が満たされている状況で「長期的に見て誤って棄却してしまう確率」をコントロールするものです。これは、「特定の有意な結果が偽陽性である確率が5%ある」と言うこととは根本的に異なります。

判断を下す前に効果の大きさと不確実性を確認する

たとえば、検索インターフェースを改修したことで、検索成功率がわずかに上昇した架空の実験を考えてみましょう。結果を正しく解釈するには、推定された変化量と信頼区間、さらにはエラー数、応答時間、その他の重大な影響をあわせて確認する必要があります。

無視できるほど小さな変化の周辺にある狭い区間と、害と益の両方にまたがる広い区間では、たとえどちらも閾値を超えていなくても、下すべき判断は異なります。2つの体験が十分に同等であることを証明したいのであれば、「有意差がないこと」を同等性の証拠とみなすのではなく、適切なマージンを設定したうえで等価性検定や非劣性検定を計画してください。

着目すべき効果は、必ずしも「ゼロとの差」である必要はありません。帰無仮説は検証したい問いによって変わります。検定が実際に何を評価したのかが読み手に伝わるよう、その仮説を明確にしておきましょう。

「有意になるまで繰り返す」分析の罠を防ぐ

数多くの指標やサブグループをテストすると、偽陽性（誤検出）を生む機会が増えてしまいます。また、あらかじめ標本サイズを決めた検定で何度もデータを確認し、有意になった時点でテストを止める行為も、想定していたエラー率のコントロールを無効にしてしまうおそれがあります。逐次検定は、その目的で設計されていれば中間判定に利用できますが、無制限に結果を確認することとは全くの別物です。

主要評価項目、比較対象、テストの終了ルールは事前に定めておきましょう。計画外の分析は透明性を保って扱い、必要に応じて多重性の補正を行ってください。都合の良い結果が出たことで問題の重要性が見えなくなってしまわないよう、除外条件やトラッキングエラーはあらかじめ記録に残しておきましょう。

A/Bテストにおける最終的な意思決定は、統計的な証拠と変更がもたらす実質的な影響を結びつけて行うべきです。有意性は、データとモデルの適合性を評価する手助けにはなります。しかし、測定の偏りを是正したり、顧客への価値を証明したり、組織がどれだけの不確実性を受け入れるべきかを決めてくれたりはしないのです。