定量的リサーチは、問いを数値として分析可能な測定値へと変換します。タスクにかかる時間の把握、特定の選択肢を選ぶ人の割合の推計、異なる条件下での結果の比較などが可能です。その価値は、数字が何を意味し、どのように導き出されたかによって決まります。

サンプルサイズが大きいこと自体が定量的リサーチの定義ではありませんし、大規模なサンプルだからといって自動的に結果の信頼性や代表性が担保されるわけでもありません。導き出す結論を適切に裏付けるリサーチ設計が不可欠です。

データを収集する前に「測定対象」を定義する

オーストラリア統計局のデータ型ガイドでは、数値データと質的（カテゴリカル）なデータを区別しています。実際のリサーチ現場では、意味合いが明確に定義されていれば、カテゴリ分けされたデータもカウントして定量的に分析できます。

例えば「セットアップの成功」を調べる場合、何をもって成功とするかの定義が必要です。「最後の画面に到達した」「アカウントが正しく設定された」「最初のタスクを完了できた」では、それぞれ結果の意味が異なります。検証したい問いに合致するのはどれか、それをどう観察するかをあらかじめ決めておきます。

測定方法と並行して、分析手法も計画しましょう。タスク完了時間はデータが偏る（歪度が高い）傾向があり、同一人物による繰り返し観測は独立したデータとは言えません。また、未回答データには完了データとは異なる系統的な偏りがある可能性もあります。こうした詳細が、集計値や比較結果の意味を左右します。

サンプルの記述と、母集団の推計を区別する

記述統計は、観測されたデータを要約するものです。一方で推測統計は、設計と一定の前提に基づいて、より広い母集団やプロセスについて推論を行います。その際、不確実性は多くの場合信頼区間などの適切な指標で表現されます。

このステップではリクルーティングが重要になります。熱心なユーザーを対象とした任意のアンケートでは、一見精密な割合が得られたとしても、関心の薄いユーザーの声を取りこぼす恐れがあります。同じ集め方で回答数をいくら増やしても、サンプリングバイアスが解消されるとは限りません。

サンプルサイズは「一般的な最低限の基準」で決めるのではなく、求められる精度、効果量、ばらつき、そして調査設計に応じて設定します。わずかな差を検出したい調査では、大まかな傾向を把握したい調査に比べて、はるかに多くのデータが必要になります。

意思決定の文脈を踏まえて結果を解釈する

統計的に有意な差であっても、実務上は小さすぎて意味を持たない場合があります。逆に、推定に不確実性が残っていても、追加調査に値する論点が見つかることもあります。数値を基準値（しきい値）を超えたかどうかに矮小化せず、結果の大きさ（効果量）と不確実性の度合いを合わせて提示することが大切です。

定性的リサーチは、ユーザーがタスクをどのように解釈したか、あるいは想定外の傾向に注目すべき理由などを紐解くのに役立ちます。手法ごとの役割は完全に切り離されたものではなく、定量調査で探索的な発見をすることもあれば、定性調査で仮説を検証することもあります。それぞれの強みと限界を意識した上で、意思決定に必要な根拠をしっかり得られる組み合わせを選びましょう。