2つのアイデアを並べて見せると、自然と比較が生まれます。これはチームが選択肢を絞り込むのには役立ちますが、問いの前提が変わってしまう一面もあります。参加者は、1つのオファーだけを単独で見たときには決して気づかないような違いを意識し始めるかもしれないからです。モナディックテスト(Monadic testing)では、各参加者に1つのコンセプト、メッセージ、またはプロダクトだけを評価してもらい、複数の選択肢を検証する場合はグループを分けてその回答結果を比較します。
この手法は、チームが個々の提案に対する反応を把握したいコンセプトテストやメッセージテストで特によく使われます。調査内で競合するテストパターンに直接触れさせないようにすることができます(もちろん、参加者は普段の生活での体験を持ち込むことにはなりますが)。
それぞれのアイデアを公平にテストする
架空の宅配サービスが、2種類のサブスクリプションプランを検討しているとします。片方は「毎週届く確実さ」を打ち出し、もう片方は「柔軟さ」を強調しています。モナディックテストでは、あるグループには1つ目のオファーを、別のグループには2つ目のオファーを見せ、理解度、自分ごと化(関連性)、興味関心についてそれぞれ同じ主要な質問に答えてもらいます。
提示方法の違いそのものが検証対象でない限り、見せ方のトーンは揃えておく必要があります。一方には洗練されたイラストを使い、もう一方は簡単な文章だけにしてしまうと、その結果が提案内容そのものへの反応なのか判断しにくくなってしまいます。ターゲットとなる同じ母集団から参加者を募り、必要に応じてランダムに割り振ることで、グループ間の系統的な偏りを減らしましょう。
Attestによるモナディックテストのガイドでは、このようにオーディエンスを分けるアプローチについて解説されています。この設計では、予定している分析に耐えうる十分なサンプルサイズがグループごとに必要です。全体のサンプル数が少ないまま多くのアイデアに分散させてしまうと、どの比較も曖昧なまま終わってしまいかねません。
シーケンシャル・モナディックで何が変わるのかを理解する
シーケンシャル・モナディック(Sequential monadic)設計では、参加者が複数のアイテムを順番に評価し、それぞれについて個別に回答します。参加者を効率的に活用できる一方で、先に見せたアイテムの体験が、後から見るアイテムの評価に影響を与える可能性があります。そのカテゴリに慣れてしまったり、疲労を感じたり、あるいは直前に見たオファーと無意識に比較して評価してしまうことがあるためです。
提示順をローテーションさせたりランダム化したりすることで順序効果を分散させることはできますが、キャリーオーバー効果を完全に排除できるわけではありません。Ipsosによるプロダクトテスト設計の解説では、こうしたフォーマットの違いや、後から得られたスコアを慎重に解釈すべき理由が説明されています。
並べて比較するプレファレンステスト(好感度比較テスト)は、また異なる問いかけになります。つまり、直接比較したときにどちらが好まれるか、という点です。どの設計が絶対に優れているということはありません。単体としての受け止められ方を知りたいのか、アイデア同士の差異を見たいのか、それとも競合するオファー間のリアルな選択を見極めたいのかによって、最適な手法は変わります。
高いスコアの「背景にある理由」を探る
先ほどの宅配サービスの例に戻りましょう。もし「柔軟さ」を打ち出したオファーの方が高い関心を集めたとしたら、ユーザーがそこに何が含まれていると解釈したのかを確認してみてください。実際には無料キャンセルに対応できない設計であるにもかかわらず、「いつでも無料でキャンセルできる」と思い込んでいた可能性があります。理解度テストを行うことで、参加者の反応がチームの意図した通りのオファーに向けられているかどうかを確認できます。
数値評価だけでなく自由回答などの理由も併せて収集し、結果を分析する前にあらかじめ主な比較軸を定義しておきましょう。検証するコンセプトや指標の数が多すぎると、単なる偶然によって際立って見える差が生じるリスクが高まります。お気に入りのアイデアを良く見せるスコアだけを拾い上げるのではなく、結果の不確実性もそのままレポートに残すべきです。
テスト結果を「次の意思決定のための判断材料」として扱う
調査で好意的な反応が得られたからといって、実際にその商品が買われると決まったわけではありません。手に入りやすさ、価格、日々の習慣、他の優先事項などが、実際の行動を左右します。購入意向はその前提を踏まえて解釈し、次に何を改善し、何をテストすべきかを決めるために調査結果を活用しましょう。
モナディックテストは情報提示の構成方法の1つであり、アンケート調査が市場をそのまま再現できると保証するものではありません。有益な結論とは、どのアイデアが理解され、何が共感を呼び、本格的に進める前に何を検証しておくべきなのかを明らかにすることです。
