参加者がどれほど慎重かつ誠実に回答したとしても、研究者が意図した内容が測定できていないことがあります。直近の1週間を「典型的な日常」と思い込んでいたり、「定期的に」という言葉の解釈が人によって異なっていたり、質問の言い回しのせいで反対しづらくなって賛同を選んでしまうこともあります。回答バイアスとは、回答が生み出されるプロセスにおける体系的な歪みのことです。

これは、誰が調査に参加するかというサンプリングバイアスや、誰が回答するか（あるいはしないか）という無回答バイアスとは異なります。適切にリクルートされた参加者であっても、設計の甘い質問には引きずられますし、回答数をいくら集めてもその歪みが消えることはありません。

質問に潜むバイアスへの配慮

社会的望ましさによって、特定の選択肢が選びやすくなることがあります。迎合傾向によって、提示された意見に賛同しやすくなることもあります。想起の難しさが頻度や時期の報告に影響を与えることもあれば、前の質問がその後の質問の解釈を変えてしまうこともあります。とはいえ、これらのメカニズムを「参加者は単に研究者が聞きたがっている答えを言っているだけだ」と片付けてしまうべきではありません。

家庭用リサイクルサービスに関する架空の調査を例に考えてみましょう。「常に正しくリサイクルしていますか？」という質問は、「正しい」の定義を示さずに理想論としての判断を求めてしまっています。それよりも、直近で特定のゴミをどう処理したかを尋ねる方が、記憶のあいまいさや見栄の影響は残るものの、参加者はより具体的な出来事として描写しやすくなります。

ピュー・リサーチ・センターによる質問文の設計に関する解説でも、明確でニュートラルな表現がいかに綿密な配慮を要するかが示されています。得られる回答は、それを引き出すための「問い方」によって一部形作られているのです。

正確に答えやすい設計にする

一度に尋ねる質問は1つに絞り、意味のある期間を指定し、参加者に伝わる言葉を使いましょう。選択肢は、該当なしや確信が持てない場合も含め、現実にあり得る経験を網羅している必要があります。質問文に称賛や非難、あるいは調査側の都合のよい解釈を混入させてはいけません。

回答データの取り扱いについては正確に説明してください。機密保持を明記することで懸念は和らぐかもしれませんが、回答が個人と紐づけられる状態であるなら、それを匿名と呼ぶべきではありません。インタビューでは、温かみがありつつも中立的な態度で接することで、言いにくい回答が気まずい対立に発展するのを防ぐことができます。

質問のパイロットテスト（事前検証）を行い、参加者が質問をどう理解し、どのようにその答えに至ったかを確認しましょう。これにより、チーム内の推敲では見落としてしまう問題点を洗い出すことができます。また、質問の順序や、同じパターンの回答を誘導してしまっていないかを検証することも有効です。

自己申告と行動のギャップを掘り下げる

自己申告と、実際の観察記録やデータログを比較することで、重要な食い違いが見えてくることがあります。ただし、行動データ側も精査が必要です。アンケートとトラッキングで対象期間がずれていたり、ログの一部デバイスが抜けていたり、参加者と分析側とで行動の定義の捉え方が異なっている可能性もあります。

どちらか一方を「正」、もう一方を「誤」と短絡的に決めつけるのではなく、トライアンギュレーション（複数の手法による多角的な検証）を用いて可能性を探りましょう。先ほどのリサイクルの例で言えば、ゴミ箱の利用回数をただカウントするだけでは分からなかった「特定のリサイクル素材に対する参加者の誤解」が、本人の語りによって初めて明らかになることもあるのです。

意味のある知見を提示する際は、質問文、選択肢、そして調査条件も併せて報告してください。パーセンテージという数値が人々の意識や生活実態として解釈される前に、読み手自身が「実際にどのような質問がなされたのか」を確認できる状態にしておく必要があります。