サンプルが「代表的（代表性がある）」と言えるかどうかは、対象とする母集団と問いとの関係によってのみ決まります。年齢や地域を顧客データと一致させることは有用かもしれませんが、それだけでサンプルのプロダクト体験、アクセシビリティのニーズ、解約リスクまで反映できているとは言えません。したがって、「代表性」という言葉はリクルーティングの議論を終わらせるものではなく、むしろ始めるためのきっかけにすべきです。

リサーチャーが「代表サンプル」と呼ぶ場合、それは関連する特性や結果に関して対象母集団を適切に説明できるサンプルを指します。サンプルの大きさや属性ごとの割付（クオータ）、あるいはパネル調査会社のラベルだけで代表性が保証されるわけではありません。サンプルに至るルートや、分析の背景にある前提が依然として重要な意味を持ちます。

サンプルを選ぶ前に母集団を定義する

たとえば、ある架空の音楽配信サービスが無料トライアル中の利用状況を把握したいとします。現在課金している顧客は連絡がつきやすいですが、彼らは無料トライアルの利用者がまだ経験していない選考プロセスを通過しています。そうした人たちのトライアルに関する証言からは、途中で離脱した人たちの理由が抜け落ちている可能性があり、体験自体もすでに改修された過去のバージョンに基づいているかもしれません。

ターゲット層と期間を正確に定義し、重要となりそうな特性を特定しましょう。この場合、大まかな人口動態よりも、トライアルの進捗段階、利用デバイス、使用状況、完了ステータスなどのほうが直接的に関連している可能性があります。そしてリクルーティングの枠組みは、そうした層に適切にアプローチできるものでなければなりません。

オーストラリア統計局のサンプル設計ガイダンスでは、確率的抽出法と非確率的抽出法が区別されています。これらの手法は、調査に参加した人たちを超えて結論を導き出すための、それぞれ異なる根拠となります。

集まったサンプルの合計数だけで判断しない

利用可能なデータがある場合は、ターゲット母集団に関する情報とサンプルを照らし合わせてみてください。誰が対象となり、誰に連絡がつき、誰が回答したのかを精査します。目に見える特性を揃えることは一定の安心材料にはなりますが、それは歪みの要因として想定できるものに対処できている場合に限られます。測定されていない差異が残っている可能性は常にあります。

無作為抽出（ランダムサンプリング）は、適切な設計のもとで母集団の推計を可能にしますが、カバレッジ誤差や無回答への配慮は依然として必要です。割付やウェイトバック調整は、一定の前提のもとで特定の偏りを補正できます。しかし、あらゆる差異を消し去るわけではありませんし、便宜的サンプルを自動的に確率サンプルに変えてくれるわけでもありません。

一般的に、適切なモデルのもとではサンプルサイズを大きくすることで精度が向上しますが、系統的な除外（偏り）を修復することはできません。有料会員をいくら増やしても、トライアル中に離脱した人々を理解したいという音楽配信サービスの課題は解決しないのです。

母集団の推計が目的なのかを問い直す

小規模な定性調査では、問題がどのように発生するのかを理解するために、特定の経験を持つ人を意図的に選ぶことがあります。意思決定に関係する参加者を含める必要はありますが、有用な知見を得るために母集団の比率を完全に模倣する必要はありません。有意抽出（パーポシブサンプリング）の目的は、ある意見がどれくらい一般的かを推計することとは異なります。

この違いはレポートにも反映されるべきです。サンプルとリクルーティング手法を明記し、把握している制約を説明し、主張を証拠の範囲にとどめましょう。「これらの参加者はオフライン設定を見つけられなかった」という事実はデザインの改善検討につながりますが、「大半のトライアル利用者がそれを見つけられない」と主張するには、普及率を推計するためのより強固な根拠が必要です。

代表性に関する有用な記述とは、その調査結果が誰に当てはまるのか、何を確認したのか、どこに不確実性が残っているのかを読者に伝えるものです。そうした詳細がなければ、「代表性がある」という言葉は情報としての実態を伴わない安心感を与えるにすぎません。