最もアプローチしやすい顧客が、意思決定において向き合うべき顧客とは限りません。コミュニティフォーラムを通じてリクルーティングを行うチームは、知識豊富な熱心なユーザーの声を集められる一方で、一度つまずいて二度と戻らなかった人たちを見落としてしまう可能性があります。同じチャネルからの採用数を増やしても、結果の精度（ブレの少なさ）は上がるかもしれませんが、代表性が高まるわけではありません。

サンプリングバイアスは、調査対象の範囲や選定によって、リサーチ課題に影響を与える形でサンプルが体系的に歪むことで生じます。選定確率が均等でないこと自体は、必ずしも欠陥ではありません。確率抽出の設計によっては、適切な分析と組み合わせて意図的にそうした手法を用いることもあります。懸念すべきなのは、その手法が、対象としている母集団について導き出そうとしている結論をきちんと支えられているかどうかです。

調査結果が「誰」を説明するものなのかを定義する

「全ユーザー」という括りは、リクルーティングの指針にするには曖昧すぎることが少なくありません。初回セットアップに関する問いであれば、途中で離脱した人を含め、最近それにトライした人が必要になるでしょう。専門的なレポート作成ワークフローに関する問いであれば、経験豊富な管理者が必要になるはずです。母集団が異なれば、選ぶべきリクルーティング方法も自ずと変わります。

ターゲット層、利用可能なチャネル、そして各チャネルではリーチできない層を書き出してみましょう。プロダクト内の案内では、すでにそのプロダクトを開かなくなった人を見落とします。メールでの案内は、有効なアドレスとアカウントへのアクセスが前提になります。デスクトップ限定の調査では、モバイルでの体験が意思決定の核となる人たちを排除してしまうかもしれません。

AAPOR（米国世論調査学会）によるサーベイ調査のベストプラクティスでは、サンプリングや、調査が対象とする母集団にどうアプローチすべきかについて言及されています。この原則はプロダクトリサーチにも当てはまります。集まった人たちを分析する前に、彼らがどのようなルートでサンプルに含まれたのかを整理することが重要です。

主張に見合ったリクルーティング手法を選ぶ

適切な抽出枠からの無作為抽出は、設計と分析が前提条件を満たしていれば、母集団の推定を支える根拠になります。一方、有意抽出（目的主導のサンプリング）は関連する経験に基づいて対象者を選ぶ手法で、プロセスの深掘りや多様性の理解に役立ちます。ただし、後者の手法で得られた結果をパーセンテージで示しているからといって、確率抽出と同等の主張を暗黙のうちにしてしまってはいけません。

割当法（クオータ）を用いれば、特定の属性におけるバランスを改善できますが、重要な要素すべてにおいてバランスが取れるわけではありません。年齢構成を顧客層に合わせても、熱量が異常に高いユーザーだけで構成されたサンプルの歪みは必ずしも修正されません。また、リクルーティングのチャネルを増やせばカバレッジは改善するかもしれませんが、同時にチャネルごとの差異も生じるため、それを記録しておく必要があります。

たとえば架空の語学学習アプリにおいて、毎日使っているユーザーを対象にしたリサーチは、高度な学習ルーティンを明らかにするには有益です。しかし、新規学習者が最初のレッスンで離脱してしまう理由を説明するための根拠としては不十分です。同じサンプルであっても、問いによって有用にもなれば、不適切にもなります。

リサーチの前提や限界をレポートにも明記する

対象者の適格性、リクルーティング方法、インセンティブ、そして結果の解釈に影響を与える特徴を記載してください。根拠に見合った結論を導くことが大切です。たとえば、アクティブなコミュニティメンバーから得られた知見には、その旨を明確に示すべきです。これは、調査手法の説明よりも印象的なコメントや引用のほうが一人歩きしやすい場合に、特に重要になります。

サンプルの選定と、回答した人と回答しなかった人の間で有意な差が生じる無回答バイアスとを明確に区別してください。どちらも調査に影響を与える可能性があり、単に最終的なサンプル数を増やすだけで解決できるものではありません。

抜け落ちているグループの存在が意思決定を左右しかねない場合は、可能であればその層を直接調査してください。もしリーチが難しいのであれば、「顧客の声」といった大まかな表現で曖昧にせず、その不確実性も考慮に入れた上で意思決定を行いましょう。