他の参加者が全員2分で終えるタスクに、ある1人だけが20分かかったとします。このデータを除外すればグラフの見た目はすっきりしますが、調査の中で最も示唆に富む体験まで消し去ってしまうかもしれません。まず問うべきは、何が起きたのかであり、どの除外ルールを使えば都合の良い平均値が出せるかではありません。

外れ値とは、他の値やモデルが示すパターンから不自然に離れたデータのことです。単なる入力ミスかもしれませんし、極端ながら正当なケース、あるいは想定したモデルがデータに合っていない証拠ということもあります。

特異な値の要因を突き止める

たとえばユーザビリティテストの場合、タスク時間が異常に長かった理由は、休憩中にタイマーを止め忘れたことかもしれないし、記録ミスや、UIで本当に迷ってしまったことかもしれません。どの説明が当てはまるかを判断する前に、元データや計測の定義を確かめましょう。

外れ値の検出に関するNISTのガイドラインでは、特異なデータの特定と、その処理方法の決定を明確に区別しています。統計的にフラグが立ったからといって、そのデータが無効だと決まったわけではなく、調査のきっかけにすぎません。

文脈とデータの分布を意識しましょう。大口の購入は、法人アカウントにとっては普通でも、個人プランでは異例かもしれません。両方のグループに同じ基準をあてはめると、まさに分析で捉えるべき違いを切り捨ててしまう恐れがあります。

目的に合わせた対応を選ぶ

修正可能な入力ミスだと確認できた場合は、変更履歴を残した上で本来の値に直します。値が正当なものであれば、計画していた分析でそれを適切に表現できるかを考えましょう。削除するよりも、ロバスト要約統計量を使ったり、変数変換を行ったり、データの分布に合ったモデルを採用したりするほうが適している場合があります。ただし、分析上の意味合いが変わるため、理由は明記すべきです。

中央値を使えば、極端なタスク時間が中心値に与える影響を抑えつつ、その体験をなかったことにせずに済みます。意思決定に影響する場合は、分布や関連する極端な値も報告してください。代表値は、全体像の一面にすぎません。

判断が分かれる結論はオープンにする

可能な限り、除外ルールは事前に決めておき、データ確認後に行った新たな判断は記録に残します。グレーゾーンの事例によって結論が大きく変わるなら、都合の良いほうを密かに選ぶのではなく、適切な感度分析を提示しましょう。

サンプルサイズが小さいと、滅多にない正当なケースなのか、別の要因によるものなのかを確信を持って見分けるのは困難です。その不確実性は率直に示しましょう。データクレンジングの目的は、分析の信頼性を高めることであり、チームの予想にデータが合うまで不都合な体験を消し去ることではありません。