実験計画法（Experimental design）とは、得られたエビデンスが因果関係の問いに答えられるよう、介入を他の選択肢とどのように比較するかを具体的に定義するものです。これには条件、割り付け、アウトカム、タイミング、分析方法が含まれます。実験計画はデータ収集の前に始まり、チームが「どの比較を行えば不確実性を真に解消できるか」を判断する段階からスタートします。

プロダクト実験では、2つのUI、複数のメッセージ、あるいは機能の組み合わせを比較することがあります。目に見える変化は設計の一部にすぎません。誰がそれを受け取るのか、そのユーザーが何に影響を与え得るのか、そして成果がどのように記録されるのかも、同様に重要です。

介入と、それを受ける対象単位（ユニット）を定義する

たとえば、ある架空のコラボレーションツールで、タスクの割り当て方法に関する新機能をテストしたいとします。チーム全員が同じタスクを共有している場合、ユーザー個人ごとにバージョンを割り振るのは不自然かもしれません。チーム単位で割り付けたほうが体験を一貫して届けやすいですが、チーム内の結果には相関があるため、サンプルサイズの設計や分析においてその構造を考慮する必要があります。

条件間で何が異なるのか、そして誰が対象となるのかを正確に定義しましょう。時間の経過に伴う無関係な変化が見かけ上の効果となって現れないよう、可能な限り同時並行（concurrent）で比較を行います。意図した介入が実際に提供され、記録されているかも確認してください。

実験計画の選択に関するNISTのガイダンスでは、さまざまな目的に応じた設計の選択肢が説明されています。基本的な原則は、データが集まった後に慣れ親しんだ検定を選ぶのではなく、検証したい問いとばらつきの要因に合わせて配置を決めることです。

参加者が条件とどのように接触するかを決める

被験者間設計（between-subjects design）では、参加者を異なる条件に割り振ります。被験者内設計（within-subjects design）では、同じ人が複数の条件を体験するため、一部の比較精度が高まる一方で、学習効果や疲労、キャリーオーバー効果が生じる可能性があります。カウンターバランス（順序の相殺）によって順序効果を分散させることはできますが、すべてのキャリーオーバー問題が解消されるわけではありません。

ブロッキングは、同質なユニットをグループ化してから、そのグループ内で割り付けを行います。要因計画（factorial designs）は複数の要因を変化させ、メッセージの効果が表示位置によって変わるかどうかといった相互作用を検証できます。こうしたアプローチには、比較の計画と、有意義な推定を行うための十分な情報が必要です。

ランダム化（無作為化）は、期待値としての比較可能性を担保するものであり、観測されたグループが完全に同一になるわけではありません。通常の偶然による差異をランダム化の失敗と早合点することなく、実装状況や予期せぬ割り当てパターンをチェックしましょう。

アウトカム、精度、終了ルールをセットで設計する

プライマリアウトカム、重要なガードレール指標、そして検出する価値のある効果量を定義します。関連するベースライン、ばらつき、割り付け単位、統計手法を用いて、サンプルサイズと実験期間を計画しましょう。解釈に影響を与えるような有意義な利用サイクルも考慮に入れます。

結果を確認する前に、除外基準、欠損データの処理方法、終了ルールを決めておきます。固定サンプル分析と逐次分析では、可能な中間意思決定の形が異なります。品質や安全性のモニタリングは引き続き必要ですが、都合のよいp値を求めて繰り返し検定を行うことは、終了計画の代わりにはなりません。

「実際に実行された」実験を解釈する

計画からの逸脱、接触の不備、ユニット間で考えられる干渉などを報告しましょう。先ほどのコラボレーションツールの例で言えば、共有アカウントを通じて1つのチームが両方のバージョンを使ってしまうと、意図した比較が崩れる恐れがあります。結果をクリーンな比較として提示する前に、そうした可能性を精査する必要があります。

適切な場面で仮説検定を用いつつ、効果の推定値と信頼区間を活用してください。実務上の影響や、一般化の限界も考慮に入れましょう。実験は特定の介入の効果を推定することはできますが、すべてのメカニズムを説明しきれるわけではなく、別の環境でもまったく同じ結果が続くことを保証するものでもありません。