2人のリサーチャーが同じユーザビリティテストのセッションを観察しています。1人は参加者が最終画面に到達したためタスク成功と記録し、もう1人は送信された情報が間違っていたため失敗と記録しました。この見解の不一致は、平均値を算出する以前の「測定上の課題」を浮き彫りにしています。

信頼性（Reliability）とは、特定の測定条件における一貫性のことです。その条件には、時間を置いた反復測定、異なる評価者、あるいは尺度内の関連項目などが含まれます。どの信頼性を重視すべきかは、チームが何を測定する必要があり、その結果をどう活用するかによって決まります。

どの一貫性が重要かを見極める

再テスト信頼性（Test–retest reliability）は、測定の間隔を通じて対象の特性が変わらないはずの場合における「安定性」を扱います。もし測定の間に対象者の体験が実際に変化したのであれば、スコアが変わったとしても、それだけで信頼性がないとは言えません。調査設計には「何が変わらないはずだったのか」についての合理的な説明が必要です。

評価者間信頼性（Inter-rater reliability）は、評価を下す人同士の一貫性に関わります。一方、内的整合性（Internal consistency）は、共通の構成概念を測定することを意図した項目同士の関連性に関わるものです。内的整合性の係数が高いからといって、質問票が単一の次元を測定していることや妥当であることの証明にはなりません。冗長な項目が多い場合でも、高い数値が出てしまうことがあるからです。

COSMIN測定フレームワークは、健康関連の測定尺度における測定特性を明確に区別しています。その基準をあらゆるプロダクトのメトリクスに無批判に当てはめるべきではありませんが、信頼性、測定誤差、妥当性がそれぞれ異なるエビデンスを必要とする理由を理解するうえで、この用語体系は非常に有用です。

採点ルールを具体化する

先ほどのユーザビリティの例に戻り、次のテストを行う前に「成功」の定義を明確にしましょう。正確な情報送信が必要か、自力での完了が必要か、タスクが終わったことを本人が認識している必要があるか。リサーチャーが手助けした場合やプロトタイプに不具合が生じた場合はどう扱うか。採点ガイドでは、誰もが一貫して適用できるレベルまで、これらの違いを明確にしておく必要があります。

適切なサンプルを対象に評価者が個別に評価を行い、そのうえで意見の不一致を検討します。よく知られている係数に機械的に頼るのではなく、スコアの種類や調査設計に適した指標を選びましょう。将来の比較で知らず知らずのうちに異なる定義が使われないよう、ルールや変更点はしっかりと記録しておきます。

定期的に実施する調査では、結果の比較可能性を保つために、質問のワーディング、選択肢、実施条件などを可能な限り維持します。どうしても測定方法を変更しなければならない場合は、新旧のデータに連続性があると安易に決めつけず、その影響を検証してください。

「一致」と「正しさ」を混同しない

妥当性（Validity）が問うのは、その結果が意図した解釈を裏づけているかどうかです。不適切に設定された定義に対して2人の評価者が完全に一致することもあり得ますし、安定したスコアがまったく見当違いのものを測定していることもあります。信頼性のエビデンスは測定の質を評価する助けにはなりますが、それだけで妥当性の問いに答えられるわけではありません。

定性的分析（質的分析）にも、手法ごとに異なる伝統があります。共通のコーディングフレームワークを用いてコーディングの一貫性を評価するのが適しているケースもあれば、解釈の文脈を重視する反省的（リフレクシブな）主題分析（Thematic analysis）のように、評価者の互換性を必ずしも求めない手法もあります。すべての定性調査に評価者間の一致度を押しつけるのではなく、アプローチに合った質の基準を選びましょう。

どの種類の信頼性を評価したのか、サンプル、条件、関連する不確実性とともに報告してください。あらゆる指標を一律に「許容範囲」とみなすような万能の基準値は避けるべきです。求められる一貫性の水準は、測定の誤りがもたらす影響の大きさと、その測定が下支えする意思決定の内容によって決まります。