「簡単でしたか？」という問いかけは、ユーザビリティテストのタスクを締めくくる手軽な方法に見えます。参加者はすぐに答えられますし、チームも報告用の数値を手に入れられます。しかしこの質問では、「完了自体は簡単だったけれど、理解しづらく、信頼していいのか不安だった」といった複雑な体験を捉える余地がほとんどありません。

「Yes/No形式の質問バイアス」とは、質問文の言い回しや二者択一の回答肢によって答えが歪められてしまう現象を指す、実務で便利な通称です。これは単一の原因によるものではなく、Yes/No形式の質問自体が本質的に偏っているわけでもありません。問題になるかどうかは、何を尋ねているのか、選択肢がどのように提示されているのか、そして2つの答えだけでその体験を十分に表せるかどうかにかかっています。

二者択一の事実と、グラデーションのある判断を区別する

特定のサブスクリプションを現在契約しているかどうかを尋ねる質問であれば、対象と期間が明確である限り、2つの選択肢で問題ないことが多いでしょう。一方で、満足度を尋ねる質問には通常「度合い」が伴いますし、複雑な体験についての質問には複数の評価軸が必要になることもあります。

事実を問う質問であっても、「わからない」という選択肢が必要な場合があります。たとえば、ファミリーアカウントを利用している人は、どのプランに加入しているか把握していないかもしれません。そうした人に「はい」か「いいえ」の二者択一を強いると、当人が事実を知らないにもかかわらず、どちらかの回答が無理に作られてしまいます。

ピュー研究所（Pew Research Center）のアンケート調査に関するガイドラインでは、質問の言葉遣いや回答の選択肢が結果にどう影響するかが解説されています。ここから学べるのは、短い答えが得られたからといって現実はそれほど単純だと決めつけるのではなく、知りたい情報に合ったフォーマットを選ぶべきだということです。

明らかにしたいことに応じて問い直す

主観的な使いやすさを知りたいなら、タスクがどれくらい簡単、あるいは難しく感じられたかを尋ね、バランスの取れた適切なスケール（尺度）を使いましょう。理解度を確かめたいなら、理解した内容を参加者自身の言葉で説明してもらいます。行動について知りたいなら、具体的な最近の場面について尋ねるか、可能であれば実際の行動を観察するのが有効です。

こうしたアプローチの違いによって、得られる答えも変わってきます。タスクの完了有無は、体感的な難しさの代用にはなりません。多大な労力をかけてなんとか成功したケースもあるからです。同様に、自由記述式の質問は詳細な実態を明らかにしてくれる一方で、選択式の回答よりも回答・分析に時間と手間がかかります。

リサーチ対象者のリクルーティングでも、参加条件をあからさまなYes/No形式で尋ねると「期待されている答え」が透けて見えてしまいます。とはいえ、自由記述にすれば正直な答えが得られるとも限りません。優れたスクリーナーとは、適切な条件設定と中立的な表現、妥当なチェックを組み合わせることで、参加者との当て推量ゲームに陥らないように設計されたものです。

回答ボタンだけでなく、質問文全体を見直す

Yes/No形式を評価スケールに変えたとしても、質問自体に誘導的な前提があれば解決にはなりません。「新しくなったダッシュボードはどれくらい役に立ちましたか？」という聞き方には、すでに「改善されたこと」と「役に立つこと」の両方が刷り込まれています。中立的な質問であれば、「役に立たなかった」「前と変わらない」「関係がなかった」といった評価も、自然に選択肢として含まれているべきです。

ターゲット層に近い人たちを対象に質問文のパイロットテストを行い、どう解釈されたかを確認してみましょう。経年変化を追う場合は、フォーマットを変えるだけで測定基準そのものが変わってしまう可能性があるため、変更内容をしっかり記録しておくことが大切です。目指すべきは、たとえ手短にまとめるのが難しくなったとしても、参加者のリアルな体験を反映し、自信を持って判断を下せる回答を得ることです。