モデレーターのいない非同期型（アンモデレート）テストでは、参加者がテストを開始するときにリサーチャーは立ち会いません。曖昧な指示を補足したり、プロトタイプが読み込めないことに気づいたり、予期しない行動をとった理由を尋ねたりする人はいません。そのため、指示文、タスクの設計、録画・記録の設定を通じて、そうした役割をあらかじめテスト自体に担わせる必要があります。

参加者は通常オンラインで自律的にタスクを進め、リサーチプラットフォームが必要な行動データや回答を収集します。これにはクリックログ、タスクの完了状況、画面録画、発話、記述式の回答などが含まれます。この形式は日程調整がしやすくなる一方で、リサーチャーの負担は準備と分析のフェーズへ大きくシフトします。

単独セッションが有効なケース

非同期テストは、リアルタイムの説明がなくても理解し、試行できるタスクに適しています。使い慣れた導線の検証や、スタート地点の比較、あるいは異なる時間帯に参加する人々からのデータ収集に効果的です。たとえば「配送オプションを見つけられるか」という短いテストであればセットアップの負担はわずかですが、権限設定が複雑な専門性の高い業務フローを検証する場合は、はるかに綿密な準備が求められます。

この手法は必ずしも定量調査に限られたものではありません。数本のセッション録画からでも探索的な知見を得られますし、適切に設計された大規模な調査であればタスクの成果を測定・比較することもできます。また、一人で受けているからといって、参加者がテストの意図に気づかないわけでも、回答バイアスと無縁でいられるわけでもありません。調査に参加しているという意識は依然として働いています。

Nielsen Norman Groupのリモートユーザビリティテストの解説でも、モデレート型とアンモデレート型の違いについて触れられています。実務における判断基準は、どちらが普遍的に優れているかではなく、「リサーチャーが不在でも検証が成立する問いかどうか」です。

言葉どおりに読まれても破綻しない指示文を書く

たとえば、図書館のWebサービスで本を延長するタスクを考えてみましょう。「本を延長してください」という指示は一見十分に見えますが、現在借りている本がない人、アカウントにログインできない人、あるいは用意されたプロトタイプではなく本物の図書館アプリを使おうとする人が現れるまでは、その粗に気づきにくいものです。機能するタスクシナリオとは、答えを明かすことなく、前提となる状況を説明し、必要なテスト用データを提供し、どの環境を使うべきかを明確に示すものです。

指示文は、それを行うタスクのすぐ近くに配置してください。特に調査プラットフォームと別ウィンドウを行き来する場合、冒頭の長い説明は簡単に忘れられてしまいます。ツールの不具合を報告する方法、途中で諦める場合の操作、テスト画面における「完了」の定義を明記しましょう。そうしておかないと、プラットフォームの「次へ」ボタンを押しただけで、プロダクト側のタスクが成功したと誤認されるおそれがあります。

参加者と同じ環境・手順でパイロットテストを実施しましょう。わかりにくい指示、権限設定の不備、スマートフォンで文字が読みにくい問題、必要なウィンドウが録画されていないトラブルなどがないか確認します。パイロットテストの目的は、プロダクトの体験だけでなく、リサーチ自体の体験も検証することにあります。

データが集まる前に判定基準を決めておく

プロダクトのステータス変化から成功を判定できるなら、その状態をあらかじめ定義してください。参加者の自己申告に頼る場合は、録画やその他のログと照らし合わせて妥当性を確認する必要があります。詳細画面を開いただけなのに、貸出期限は変わっていないにもかかわらず「延長できた」と思い込んでいるケースもあるからです。

どのパターンの成果が優れているかを見る前に、使用できない録画データ、対象外の参加者、システムトラブルに関する除外ルールを定めておきましょう。レポートには、除外した回答数とその理由を透明性を持って記載します。テストツール側の不具合によるセッションをプロダクト側の失敗として扱うべきではありませんが、手こずったセッションをすべて除外してしまうのも同様にミスリードを招きます。

リクルーティングの質にも注意が必要です。調査パネルから集まる層がターゲット層とズレていたり、デバイスの必須要件によって本来重視すべきユーザーが排除されたりすることがあります。実査の手軽さがあるからといって、サンプリングバイアスが消えるわけではありません。

追加ヒアリングが必要なタイミングを見極める

録画を見れば、2つのページを行き来している様子は分かっても、その理由は分からないことがあります。音声やテキストでフォローアップの質問を設定することもできますが、リサーチャーのように相手の回答に応じて臨機応変に深掘りすることはできません。その解釈がデザイン上の意思決定を大きく左右するのであれば、モデレート型テストや個別のインタビューで改めて確かめる必要があります。

最も価値のある成果とは、多くの場合、範囲が絞り込まれた明確なファクトです。「延長手続き自体は完了できたが、新しい返却期限を誤解した人が複数いた」といった知見がそれにあたります。図書館の利用体験のすべてを解明したかのように見せかけなくても、意味のある改善を導くにはそれで十分なのです。