20人中12人がタスクを完了したとします。観察された成功率は60%ですが、別のサンプルを抽出すれば異なる結果が出る可能性もあります。信頼区間とは、その前提条件のもとで、長期的に一定のカバレッジ率（包含率）を持つ手法を用いて、推計値にまつわる不確実性を表現するものです。

信頼区間を見ることで、チームはデータからどれだけのことがわかるかを判断できます。区間が狭ければかなり精度の高い意思決定が下せますし、広ければ実質的に異なる複数の結果がデータと矛盾しないことを意味します。ただし、区間の幅や信頼水準がどれほどであっても、指標の定義が曖昧だったりサンプルの集め方に偏りがあったりする場合の対策にはなりません。

95%信頼区間が意味するもの

同じ前提のもとで調査と計算を繰り返した場合、95%のカバレッジ率を持つ手法であれば、約95%の確率で真の値を含む区間が生成されます。信頼水準とは、そうした「手順」を表す指標です。計算後に得られた「この特定の区間」の中に、固定値である母集団の値が含まれる確率ではありません。

NIST（米国極限技術研究所）の信頼区間に関する解説でも、この反復抽出に基づく解釈が示されています。日々のレポーティングでは、結果を説明のない括弧付きのパーセンテージに落とし込むのではなく、推計値、区間、信頼水準、そして使用した手法をセットで記載しましょう。

また、平均値や比率の信頼区間は、個々の結果が含まれる範囲とは異なります。タスク完了時間の平均値に対する信頼区間は、参加者の95%がその範囲内で完了するという意味ではありません。

意思決定の観点から区間を読み解く

20回の独立した二値試行で12回成功したという例では、95%ウィルソン信頼区間はおよそ39%〜78%になります。観察された割合は60%のままですが、この範囲はそのモデルにおいて少量のデータセットが持つ精度の限界を示しています。NISTによる比率に対するウィルソン法の解説では、単純な対称近似が抱える問題点を回避できる手法として紹介されています。

もしチームが「高い目標を確実に上回っている」という強い根拠を必要としているなら、これらの観察結果には不確実性が残りすぎているかもしれません。一方で、セッションを通じて文言に明確で修正コストの低い問題が見つかったのであれば、母集団の成功率を正確に推計するのを待たずに修正するのが妥当でしょう。信頼区間は意思決定の材料にはなりますが、どの判断を下すべきかまでを決めてくれるわけではありません。

比較を行う際は、差分や対象となる効果量の信頼区間を直接計算してください。2つの独立した区間が重複しているかどうかを見るだけでは、比較分析の確実な代替手段にはなりません。その関係性は実験デザインや推計値同士の従属性によって変わるためです。

データに適した手法を選ぶ

同じユーザーによる繰り返しの試行は、必ずしも独立していません。同一組織内のユーザーからの回答も相関している可能性があります。重み付け、クラスタリング、逐次分析などによって、適切な計算方法は変わってきます。馴染みのある計算式でも、適していないデータ構造に適用すると、根拠なく狭すぎる区間が算出されてしまうことがあります。

サンプルサイズを大きくしたり、ばらつきを小さくしたり、選択する信頼水準を下げたりすることで区間を狭めることはできますが、結果を見てから信頼水準を変更するのは計画的な分析を歪めることになります。重要な逸脱も含め、採用した手法と前提条件を明記してください。

サンプリングバイアスや回答バイアスは、通常のサンプリング区間の外側にある問題です。これらは分けて報告しましょう。信頼区間が最も効果を発揮するのは、怪しげなデータに数学的な権威づけを与えるためではなく、妥当な推計値に伴う不確実性を可視化するときです。