ダッシュボードの数値を見ると、リデザイン後にプロダクトの滞在時間が延びています。チームはこれを「エンゲージメントの向上」と捉えていますが、単に迷っているだけかもしれません。妥当性（Validity）とは、集めた証拠がその解釈を本当に裏付けているかを問うものです。その指標は何を意味しているのか、因果関係の主張には根拠があるのか、そしてその結論はどこまで適用できるのかを考えます。

妥当性は、リサーチやアンケートに貼られる「恒久的なお墨付き」ではなく、「証拠に基づいた主張」として捉えると分かりやすくなります。対象となるユーザー層や目的、実施環境によって、同じ指標であってもある解釈は裏付けられても、別の解釈は成り立たないことがあります。

その指標が測りたい概念を表しているかを問いかける

構成概念妥当性（Construct validity）は、捉えたい概念と実際の測定内容との関係性を扱います。例えば「信頼感」を調べたい場合、魅力的なデザインが時に信頼感を与えるからといって、見た目の魅力度についての質問で代用することはできません。そのリサーチにおいてその概念が何を意味するのかを明確にし、そのスコアに影響を与えうる他の要因も考慮する必要があります。

証拠となり得るのは、設問の内容や参加者がそれをどう受け取ったか、そして他の指標との関係性です。過去に検証された質問票を使うのも有効ですが、言い回しや言語、文脈が変われば、過去の証拠がそのまま通用するとは限りません。

表面妥当性（Face validity）は、パッと見たときにその測定方法が適切に見えるかどうかに関わります。開発段階では目安になりますが、見た目がそれらしいというだけで、そのスコアが意図した解釈を支えているとは言い切れません。

因果関係や汎用的な主張を設計に合わせる

内的妥当性（Internal validity）は、導き出した因果関係が、他の要因によるものではなく本当に妥当であるかを扱います。無作為割付を行えば比較の精度は上がりますが、プロトコルの不備やデータの欠損、参加者同士の影響などによって、推論の確からしさが揺らぐ可能性は残ります。

外的妥当性（External validity）は、そのリサーチの枠を超えて応用できるかに関わります。リアルなタスク設定、適切な参加者、ふさわしい環境を整えることは役立ちますが、ラボではなく自宅で実施したからといって、結果が無条件にどこでも通用するわけではありません。Nielsen Norman Groupによる内的妥当性と外的妥当性の解説では、比較の厳密さと適用の範囲の双方がなぜ重要なのかが説明されています。

生態学的妥当性（Ecological validity）は、調査環境と普段の行動との近さを指してよく使われます。リアリティは大切ですが、どんなリサーチ課題でもリアリティを高めれば自動的に良くなるわけではありません。また、内的妥当性を高めると必ず外的妥当性が落ちるという決まりがあるわけでもなく、丁寧に設計すれば、一定の範囲内で両方を満たすことができます。

「一貫性」と「正しい解釈」を切り離す

信頼性（Reliability）とは、特定の条件下で測定が一貫しているかを指します。クリック数が毎回正確に記録されていたとしても、それが「ユーザーが理解できているか」を測る指標として適切とは限りません。逆に、捉えたい概念が的確に選ばれていても、測定誤差が大きいと解釈の説得力は落ちてしまいます。

先ほどのエンゲージメントの例で言えば、増えた滞在時間にユーザーが何をしていたのか、目的を達成できたのか、イベントデータがどのように収集されたのかを詳しく調べる必要があります。インタビューやタスク観察、成果指標の測定など、異なるアプローチを組み合わせることで、解釈の各側面がクリアになっていきます。複数の情報源で結果が一致していても、それらが本質的な問いに答えており、それぞれの限界を理解できていなければ意味がありません。

まず「何を主張したいのか」を言語化し、その裏付けに必要な証拠を揃えていきましょう。この進め方をとることで、トライアンギュレーション（多角検証）や一般化可能性が具体的なものになります。どの解釈が立証されていて、どこに不確実性が残っているのか、そして次の調査で何を明らかにする必要があるのかを、チーム全体で共有できるようになります。