タスク完了率78%という数字を見ると、当然「それは良い結果なのか？」という疑問が湧きます。その答えは、ユーザーが何をしようとしていたのか、誰が参加したのか、そして失敗したときに何が起きるかによって変わります。なんとなく流し見している際に見落としたことと、重要な書類を取得できなかったことを、どちらもパーセンテージで表せるからといって同じ目標値で扱うべきではありません。

ベンチマーク測定とは、以前のバージョンのプロダクトや競合他社、適切な外部データセットといった明確な基準（リファレンス）とパフォーマンスを比較することです。基準があることで結果の解釈は格段にしやすくなりますが、それはその基準に比較としての妥当性があってこそです。

判断すべき問いに答えてくれる基準を選ぶ

社内のベンチマークは、プロダクトが改善しているかどうかを確かめるのに役立ちます。一方、競合調査の目的は異なり、他社製品を使って同等のゴールをどれだけ達成できるかを探るものです。確立された指標に対して外部の基準値がコンテキストを与えてくれることもありますが、対象ユーザーやタスク、調査条件の違いを考慮することは依然として欠かせません。

基準を選ぶ前に、重視すべき成果（アウトカム）を明確にしておきましょう。特定のアクションを完了する必要があるなら「タスク成功率」が中心になりますし、体験全体を評価したいなら「知覚されたユーザビリティ」が役立ちます。また「タスク所要時間」は解釈に注意が必要です。早く終わったことが効率的な完了を意味することもあれば、途中で諦めて離脱しただけのこともあるからです。Nielsen Norman Groupのベンチマークガイドでは、指標の選定とそれらを一貫して収集する方法について解説されています。

単に手に入るからという理由だけで、業界の平均値を鵜呑みにするのは避けましょう。そのデータがどこから来たのか、どのように測定されたのか、そしてその比較がプロダクトの意思決定を本当に意味のある形で左右するのかを確認してください。どれだけ正確でも的外れな平均値より、ユーザーが実際に必要としているタスクを丁寧に記録した、小規模でも堅実な調査のほうがはるかに頼りになります。

比較が成り立つように調査を設計する

たとえば2つのレポート作成ツールを比較する場合、参加者にはインターフェースの具体的な操作手順ではなく、同等の「ゴール」を提示します。「3月分の請求書をダウンロードする」という指示なら異なるナビゲーション設計にも対応できますが、「『請求』タブを開く」と指示してしまうと、たまたまそのラベルを使っていたプロダクトに有利に働いてしまいます。

同じ参加者に両方のプロダクトを試してもらうか、別々のグループに分けてテストするかを決めましょう。同じ参加者に依頼すれば個人のスキルの差を考慮しやすくなりますが、慣れ（学習効果）や試す順序による影響が生じます。グループを分ければそうした影響は避けられますが、グループ間のばらつきを吸収するために十分な参加者数が必要になります。実験デザインは、検証したい問いと現実的なリソースの制約を踏まえて選ぶ必要があります。

調査プロトコル、リクルーティング基準、スコアリングのルールは統一してください。継続的な取り組みにするなら、最初のベースライン測定には、他のメンバーが当時の前提条件を推測し直さなくても同じ調査を再現できるだけの詳細な記録を残しておくべきです。

差の理由を説明し、さらに深掘りする

パッと見の比較結果だけでなく、サンプルサイズやデータのばらつき（不確実性）も併せて報告しましょう。わずかな差では確固たる結論を出すには不十分な場合もありますし、大きな差が出たとしてもその背景には説明が必要です。調査の録画データや参加者の発言を振り返ることで、失敗の原因がナビゲーションにあるのか、専門用語のわかりにくさなのか、それとも機能の不足なのかを見極めることができます。

そうした観察結果こそが、次のデザイン判断のヒントになります。ベンチマークの数字だけで「何を作るべきか」がわかるわけではありません。また、調査を重ねる中で数値が改善したとしても、参加者のリクルーティング条件などが同時に変わっていたなら、特定のリリースのおかげだと証明することはできません。

有意義なベンチマーク運用とは、比較可能性を保ちつつも、時代遅れになった指標を見直す柔軟さを持つことです。プロダクトの目的が変わったのなら、以前のベンチマークが役立たなくなった理由を記録し、新たな基準を設定しましょう。グラフの連続性を保つためだけに無意味なスコアを追い続けるのは、パフォーマンスの真の理解とは言えません。