ある調査で、提案への支持率が52%、誤差（許容誤差）が3パーセントポイントと報告されたとします。設定された信頼水準と調査の前提のもとでは、これに伴う推定範囲は49%〜55%となります。この数値は不確実性の一要素を示しているにすぎず、調査全体における最大想定誤差を意味するものではありません。

標本誤差は通常、対称な信頼区間の半分の幅として表されます。ただし、非対称な区間もあるため、無理に「±X」という単一の数値に押し込めるよりも、実際の下限値と上限値を示したほうが結果をより正確に伝えられます。

その数値がどの不確実性をカバーしているか把握する

標本抽出に伴うばらつきは、抽出するサンプルによって推定値が変わり得るために生じます。一般的な誤差は、標本設計やモデルを前提とした場合のばらつきを表すものです。回答者の偏り、無回答、質問の誤解、不正確な回答といった問題まで自動的に考慮されるわけではありません。

Pew Research Centerによる世論調査の誤差に関する解説でも、こうした限界や調査設計の影響について論じられています。この違いはプロダクトリサーチでも重要です。任意の顧客アンケートにおいて、単に回答数が分かっているからといって、無作為抽出と同じような誤差をそのまま適用すべきではありません。

非確率抽出（非無作為抽出）に対してモデルベースの不確実性指標を用いる場合は、その名称と前提条件を明記してください。よくある世論調査の計算式に似ているという理由だけで正当化することはできません。

回答を集める前に必要な精度を設計する

母集団が十分に大きく、比率が50%前後、信頼水準95%の単純無作為抽出の近似では、サンプルサイズが100件の場合の誤差は約9.8パーセントポイント、400件なら約4.9ポイントになります。この条件下では、サンプル数を4倍にすると誤差はおよそ半分になります。

これらはあくまで目安となる計算であり、どのような調査にも当てはまる回収目標ではありません。推定値そのもの、信頼水準、ウェイトバック、クラスター抽出、有限母集団の有無などによって結果は変動します。母集団に対してサンプルが大きな割合を占める場合は「有限母集団修正」が影響しますが、巨大な母集団のごく一部である場合は通常ほとんど差が出ません。

意思決定のゴールから逆算して考えましょう。わずかな差を見極めるための調査には、大まかな傾向を把握するための調査よりも高い精度が求められます。サンプルサイズを増やすこと自体は有効ですが、単に「キリの良い数字」を目指すのではなく、本当に許容すべき不確実性の度合いに基づいて決めるべきです。

報告する比較に合わせて再計算する

全体のサンプルに対して算出された誤差を、そのまま小さなサブグループに適用することはできません。たとえば特定のプランを利用している回答者がごく一部である場合、そのグループの推定値には独自の不確実性があり、ウェイトや抽出設計の影響も受ける可能性があります。

同様に、2つの推定値の差を論じる場合も、その差自体に対する適切な分析が必要です。個別の区間が重なっているからといって、統計的に有意な差がないと直ちに判断できるわけではありません。信頼区間と統計的有意性はそれぞれ関連したツールですが、適切な比較手法と前提条件を満たしたうえで使う必要があります。

推定値、信頼水準、サンプルサイズ（または実効サンプルサイズ）、および計算方法を併せて報告しましょう。無回答バイアスなど、調査の質に関する懸念事項も併記することが重要です。誤差という指標は、特定の不確実性を明確に示してくれる点で有用ですが、それだけで調査全体の正しさを保証できるわけではありません。