アンケートで何千件もの回答が集まったとしても、重要な層の声を取りこぼしている可能性があります。問題は単に何人が回答しなかったかではなく、その人たちが抜けたことで結果が変わってしまうかどうかです。測定したい対象に関連する特徴において回答者と非回答者の間に違いがある場合、無回答バイアスが発生します。

ユニット無回答とは、対象に選ばれた人がまったく参加しないことを指します。項目無回答とは、参加者が特定の質問に答えずにおくことを指します。どちらも注視すべきですが、それだけで自動的にバイアスがあると判断できるわけではありません。回収率はあくまで参加の度合いを示すものであり、それ単体では回答しなかった人たちの意見や置かれた状況まではわからないのです。

参加状況と結果を結びつける要因を考える

たとえば、あるオンライン学習サービスがコースを始めた全員を対象にアンケートを実施したとします。コースを最後まで修了した人は、最初のレッスンでやめてしまった人よりも、体験について進んで話してくれる可能性が高いはずです。もし集まった回答だけで満足度をレポートしてしまうと、結論で言及している対象とは異なる集団の実態を描き出してしまうことになります。

その影響の方向性は一筋縄ではいきません。別の場面では、不満を抱えている人のほうが回答への強い動機を持つこともあります。「回答がない＝満足している（あるいは失望している）」と決めつけるのは避け、回答への参加という行動が質問内容とどのように結びついているのか、そのメカニズムを探りましょう。

AAPOR（米国世論調査協会）の標準定義では、回収率が無回答誤差を評価する上で有用ではあるものの、それだけでは不十分である理由が示されています。回収率が高いからといってデータの質がすべて担保されるわけではありませんし、回収率が低いからといってバイアスの大きさが決まるわけでもありません。

回答データ以外の情報も活用する

調査の対象者について適切なデータがあるなら、コースの進捗度や利用期間、契約プランなど、関連する属性ごとに参加率を比較してみてください。そこに偏りがあれば懸念点が見えてきますし、その後のアプローチにも役立ちます。ただし、そうした属性の分布を揃えたからといって、回答者と非回答者の目に見えない心理や意識まで同じだとは言い切れません。

質問を絞ったフォローアップや別の連絡手段を用いることで、最初の依頼には応じなかった層の一部にアプローチできる場合があります。ただし、そうして得られたデータは慎重に扱う必要があります。再アプローチに答えてくれた人が、依然として回答していない人たち全員の代弁者になるとは限りません。遅れて回答した人の意見は参考にはなりますが、非回答者全体の完全な代理にはならないのです。

回答がスキップされた質問については、別途確認しましょう。未回答の背景には、質問内容がデリケートであることや、言い回しのわかりにくさ、自分に関係がないと感じたこと、あるいは適切な選択肢がなかったことなどが考えられます。それぞれの理由に応じて、調査票の設計への改善アプローチも変わってきます。

負担を減らし、残る不確実性も共有する

調査の長さを適切に保ち、案内はわかりやすく、見やすいデザインを心がけ、必要に応じて適切な謝礼を用意しましょう。連絡方法の希望を尊重し、しつこく督促するのは避けるべきです。参加率の改善は、回答を断る相手の権利を損なってまで進めるものではありません。

ウェイトバック集計を使えば、一定の前提条件のもとで既知の偏りを補正できますが、回答しなかった人たちが本来どう答えたはずかを完全に再現できるわけではありません。調査結果を共有する際は、対象者の集め方、参加率の指標、除外したデータ、適用した調整などもあわせて明記しましょう。

これは、対象の網羅性や抽出方法に起因するサンプリングバイアスや、回答がどのように作られるかに関わる回答バイアスとは区別して考える必要があります。先ほどの学習サービスの例でいえば、修了者だけにアンケートを送った場合、相手が回答するかどうかを判断する前の段階で、すでに網羅性に問題（カバレッジ誤差）が生じています。どの段階で問題が起きているのかを正しく見極めることが、調査を適切に改善するための第一歩です。