脱落(アトリション)は、調査の実施中に参加者や対象ユニットが失われることで発生します。日誌への回答をやめたり、追跡調査に応じなかったり、結果が記録される前に離脱したりするケースがこれにあたります。脱落率はその「量」を示すものですが、調査結果への懸念がどれほど大きいかは、その「理由」と「パターン」によって決まります。
登録された参加者100人のうち20人が特定の追跡時点で回答不能になった場合、その時点での脱落率は20%です。直前の調査回からの脱落率と、登録時からの累積脱落率とでは意味する内容が異なるため、基準となる開始グループと時点を明記しましょう。
誰が離脱したのかを見極める
新しい初期設定プロセスの調査を例にとると、設定が最も難しいと感じた参加者ほど、追跡調査に回答しない可能性が高くなります。その場合、回答者のみを分析すると、実態以上に好意的な結果に見えてしまうリスクがあります。
J-PALの実施モニタリングガイダンスでは、脱落を評価における脅威として挙げています。実験調査では、各条件間での脱落を比較し、それに関連する把握可能な属性を検証してください。脱落率が同等であっても、各グループから同じような層が離脱したことの証明にはなりません。
また、脱落によって体系的なバイアスが生じない場合でも、サンプルサイズが小さくなることで精度は低下します。初期の募集人数を増やせばデータ数は確保できるかもしれませんが、それだけで偏った離脱(選択的脱落)の問題が解決するわけではありません。
参加を強要せずに防げる離脱を減らす
現実的な負荷を設定し、分かりやすいリマインドを送り、技術的な動作確認を行い、インセンティブや連絡方法を確実なものにしましょう。縦断研究(追跡調査)では、登録時だけでなく全期間を通じてこうした配慮が必要です。
参加者がいつでも中断できる自由は守られなければなりません。継続を義務のように感じさせない範囲で、現実的な障壁を調査し、適切なサポートを提供してください。自発的に理由を教えてくれた場合はそれを記録しますが、理由が分からないからといって特定の姿勢や意図の表れだと決めつけるのは避けるべきです。
分析の前提条件を明確にする
参加者の推移と、各アウトカムデータの有無を報告しましょう。手法に応じた専門的なサポートを受けながら、適切な欠損値処理や感度分析を検討してください。どのアプローチにも前提条件があり、欠損を補完したとしても、収集されなかったデータそのものが復元されるわけではありません。
脱落と顧客の解約(チャーン)は明確に区別してください。プロダクトの利用をやめても調査には協力し続ける顧客もいれば、顧客であり続けながら調査からは離脱する人もいます。この違いを区別しておくことで、欠損したデータが意思決定にどう影響するのかをチームが正しく把握しやすくなります。
