チェックアウトが早くなることは改善と言えるかもしれませんが、重要な請求項目を見落として急いで進んでいるだけなら話は別です。アプリの滞在時間が延びたとしても、有意義な作業が進んでいる場合もあれば、タスクの完了に手間取っている場合もあります。UX指標は体験の一面を数値化してくれますが、その数字が持つ意味は、本来の目標や背後にある行動次第で変わります。

指標には、タスクの成功率やエラーといった観察可能な結果もあれば、使いやすさの感覚や満足度といったユーザーの主観的な評価も含まれます。これらはそれぞれ異なる問いに答えてくれるものです。適切な組み合わせを選べば、あらゆるデータを片っ端から目標値に変えてしまうことなく、体験の良し悪しを判断するのに十分な情報が得られます。

ユーザーが必要としている成果から始める

まずは、そのプロダクトがユーザーのどんな達成を助けるべきかを定義し、次に前進を示す兆候（シグナル）と、それを表す指標を特定します。GoogleのHEARTフレームワークでは、「目標・シグナル・指標（Goals-Signals-Metrics）」の流れを用いながら、Happiness（幸福度）、Engagement（エンゲージメント）、Adoption（導入）、Retention（定着）、Task Success（タスク成功）の各領域をカバーします。これは指標選びの考え方を整理するための枠組みであり、すべてのカテゴリを必ず埋める必要はありません。

たとえば架空の電子署名ツールなら、「サインした内容に納得した上で、安心して合意を完了できること」が目指すべき目標になるでしょう。完了率だけでは内容を理解できたかどうかが抜けてしまいますし、所要時間だけを追うと単に焦らせるだけになりかねません。チームとしては、判断したい内容に応じて、正確な完了率、エラー数、そしてタスク直後の適切な主観評価などを組み合わせて見極めるのが現実的です。

チームが意味を解釈でき、改善アクションにつなげられる指標を選びましょう。広範なビジネス成果はもちろん重要ですが、特定のインタラクションから離れすぎていると、何が起きているのか原因を診断できません。プロダクト全体の成果とタスク単位のデータを、互いにそのまま置き換えられると思い込まずに、うまく結びつけていくことが大切です。

再現できるように定義を明確にする

タスクの成功率には明確な採点ルールが必要です。所要時間には開始点と終了点、そして中断や離脱をどう扱うかの基準が欠かせません。リテンションには、対象となるアクション、ユーザー層、期間の定義が求められます。どれかひとつでも定義が変われば、実際の体験は変わっていなくても指標の数値だけが動いてしまいます。

主観的な指標を比較する場合は、調査ツールやコンテキストを揃えておく必要があります。システムユーザビリティスケール（SUS）は使いやすさの認知を測定し、カスタマーエフォートスコア（CES）は手間の少なさや労力の感覚に着目します。どちらもスコアが数値化されているからといって、タスク中に実際に何が起きたかまでを証明してくれるわけではありません。

数字の傾向を鵜呑みにする前に、計測の仕組みと集計方法を検証してください。イベントの重複計測や、アンケートを出すトリガーの変更、対象者条件の見直しといったことだけでも、一見もっともらしい「改善」が生み出されてしまうことがあります。

不確実性とコンテキストを踏まえて変化を読み解く

適切なサンプルサイズとともに、信頼区間や不確実性を示す適切な尺度を合わせて報告しましょう。比較を行う際は、繰り返し測定の影響やクラスタリング、サンプリング設計を考慮します。2つの平均値の間に差が出たからといって、そのすべてに意味があるとは限りません。

結果の理由を説明できる定性的なデータがあれば、合わせて確認します。先ほどの署名ツールの例で言えば、要約がわかりやすくなって早く完了できたのかもしれませんし、デザイン変更によって本来確認すべき詳細が隠れてしまったから早く終わっただけかもしれません。同じ数値の動きであっても、導き出される結論はまったく異なることがあります。

本来の目標を犠牲にして、代替指標（プロキシ）の最適化に走らないよう注意してください。スピードの目標を追うなら、悪化させてはいけない成果指標とセットにし、その指標が今でもユーザーにとっての価値を捉えているかを定期的に見直しましょう。有用な指標セットとは、チームが直感的に把握できるコンパクトさと、重要なトレードオフを見落とさない網羅性を兼ね備えたものです。