エクスポートしたアンケートデータに、同じ識別子を持つ2件の回答、マイナスのタスク所要時間、いくつかの空欄の評価が含まれていたとします。こうしたレコードには注意が必要ですが、すべてを削除すべきとは限りません。1つは重複、もう1つはトラッキングの不具合、そして空欄は設問分岐による正常な結果である可能性があります。

データクリーニングとは、データを適切に分析できるように、エラーや不整合などの品質上の問題を特定して対処する作業です。構造、値、重複、欠損値のチェックが含まれ、第三者が再現・検証できるように判断の経緯をしっかり記録しておく必要があります。

元のデータを保持し、各項目を正しく理解する

元データは手を加えずに保管し、データの変換は管理された別のプロセスで進めましょう。値を変更する前に定義を確認してください。「未質問」「回答拒否」「非該当」は、いずれも欠損値として現れることがありますが、それぞれ背景にある状況が異なります。

UK Data ServiceのQAMyDataプロジェクトは、欠損値の定義やメタデータの不整合といった問題に対する体系的なチェックの好例です。自動チェックによって確認すべき候補を洗い出すことはできますが、何がエラーに当たるかは調査の文脈によって決まります。

単位とテーブルの結合方法も再確認しましょう。ミリ秒単位で記録された所要時間を秒として解釈すると極端な行動に見えてしまいますし、誤った粒度でテーブルを結合すると、本来の対象者が何倍にも重複してカウントされる恐れがあります。

品質シグナルは判断材料の一つとして捉える

回答時間が極端に短い、同じ評価の繰り返し、短すぎるコメントなどは、回答への不真面目さを示すサインかもしれませんが、それ単体では確定的な証拠になりません。テーマに詳しい回答者なら早く答えられることもありますし、同じような体験に対して素直に同じ評価をつけることもあります。回答者の属性や回答スタイルの違いを考慮しつつ、調査に適したルールを用いて複数のシグナルを総合的に判断しましょう。

対象条件や除外基準は、可能な限り実査の前に設定しておきます。後から生じた問題によって判断を迫られた場合は、その理由と、結果があらかじめ見えていたかどうかを記録に残してください。期待通りの結果が出るまでしきい値を調整し続けるようなことは避けましょう。

外れ値は、あり得ない値（異常値）とは分けて検証します。極端でありながら妥当な体験こそが、プロダクトチームにとって最も理解すべき貴重なデータである場合もあります。

確実性を勝手に補完せず、欠損値に対処する

空欄の評価は「中立」を意味するわけではありませんし、イベントの欠損が必ずしも「未使用」を意味するわけでもありません。どこで、なぜ情報が欠けているのかを確かめましょう。適切な対応方法は、記述的なレポーティング、モデリング、特定の調査設計などによって異なります。

欠損値の補完（代入）には仮定が伴うため、それによって生じる不確実性を考慮しなければなりません。すべての空欄を平均値で埋めると、データの分布や相関関係が歪む可能性があるため、分析に影響を与えない日常的な修正作業のように扱うべきではありません。

修正、除外、変換のログは、影響を受けたデータ件数を含めて記録しておきましょう。結果を左右する重要な判断は分析結果とともに報告し、妥当な代替手段によって結論が変わり得る場合は感度分析を実施します。クリーニング済みのデータセットは、元のデータとどのように異なるかが明確に示され、データの信頼性を高めるものであるべきです。