「4点」という評価は一見すると説得力のある正確なデータに見えますが、その意味を問われた途端に曖昧になります。満足度の「5点中4点」と、手間や労力の「7点中4点」では意味が大きく異なりますし、どちらの場合も、まったく異なる体験をした人たちの間の意見の食い違いを見落としてしまう可能性があります。数字が真に役立つのは、元の質問、回答ラベルの文言、そして回答された状況とセットで扱われているときだけです。

評価尺度は、評価、態度、強さ、頻度などを表現するための順序づけられた回答セットを提供します。尺度の選択は、測定そのものの設計です。回答者がどのような違いを表現できるか、そして得られたデータからどこまで妥当な結論を導き出せるかを左右します。

判断の内容に尺度を合わせる

満足度を尋ねる質問には、満足度を測る選択肢を用意すべきです。頻度を尋ねる質問には、明確な期間と、回答者が直感的に区別できる選択肢が必要です。「その機能を頻繁に使っていることに同意しますか」と尋ねると、「同意するかどうか」という余計な判断が加わってしまいます。「先週その機能を何回使いましたか」と直接尋ねたほうが、よりシンプルで正確な答えが得られます。

尺度には、「まったく困難がない」から「極めて困難である」のように、度合いの有無や高低を示すものもあれば、「非常に不満」から「非常に満足」のように対極の評価を結ぶものもあります。そのため、中間の選択肢が持つ意味も異なります。「ある程度の難しさ」があることは、「簡単」と「困難」の間の中立を意味するわけではありません。

リッカート尺度は同意・不同意を測る特定の設問形式を指すものであり、数字がついた回答形式すべてを指す総称ではありません。また、システムユーザビリティスケール（SUS）のような確立された指標にも、独自の文言や採点ルールが存在します。そうしたルールを変更してしまうと、結果が見慣れたグラフに収まったとしても、それはもはや別の指標になってしまいます。

選択肢をわかりやすくする

回答者が自然に区別できるだけの選択肢を用意しつつ、無理に細かな判断を強いないようにしましょう。5件法や7件法がよく使われますが、どちらかが常に最適というわけではありません。数学的な精緻さの見せかけよりも、わかりやすいラベル設定のほうがはるかに重要です。

特定の調査手法で定められている場合を除き、アンケート全体で評価の向き（肯定・否定の並び）は統一しましょう。また、「わからない」や「経験がない」は、本質的な評価尺度とは明確に分ける必要があります。サポートに一度も問い合わせたことがない人が、その体験を「普通（中立）」と評価することはできません。回答カテゴリーや尺度の見せ方を検討する際は、英国政府分析機能（Government Analysis Function）のアンケート作成ガイダンスが参考になります。

パイロットテストでは、隣り合う選択肢の違いを回答者がどう捉えているか確認してみましょう。「かなり」と「ある程度」の違いを説明できない場合、選択肢を増やしたことで得られているのは、有用な情報ではなく見せかけの細かさにすぎない可能性があります。

サマリーの背景にある文脈を示す

5件法の調査で、10人全員が「3」を選んだ場合と、5人が「1」で5人が「5」を選んだ場合、平均値はどちらも同じになります。しかし、その背景にあるユーザー体験は明らかに別物です。そうした違いが重要になる場合は、集計サマリーとあわせて分布状況も記載し、回答をまとめてパーセンテージを算出している場合はそのルールも明記しましょう。

比較の妥当性は、誰がいつ回答したかによっても変わります。難しいタスクを終えた直後の評価と、数週間後に送られてきた全体的な評価は、同じものとして扱えません。経時変化を追う場合は、質問文、選択肢ラベル、対象者の選定、測定タイミングを揃え、やむを得ず変更した点があれば必ず記録を残してください。

評価スコアは、どこを詳しく調べるべきかを教えてくれます。スコアが変動した理由を理解するには、数字そのものに説明を求めるのではなく、関連するタスクのログや明確な意図を持った自由記述の質問と組み合わせて分析することが大切です。