リデザインをリリースして完了率が上がったとき、チームはその成果が自分たちの施策によるものだったのかを知りたくなります。しかし、リリース前に完了率がどのように測定されていたかが記録されていなければ、その問いに答えるのは格段に難しくなります。たとえ数値を覚えていたとしても、分母や対象期間、成功の定義が抜け落ちていては、あまり役に立ちません。

ベースライン測定とは、その後の結果と比較するための「最初の状態」を記録しておくことです。既存プロダクトのユーザビリティテストや、数週間分の行動ログデータ、定期アンケートの第1回目などがこれにあたります。ベースラインの価値は、単に「変更前」というラベルのついた数値を残すことではなく、後から意味のある比較を可能にすることにあります。

結果だけでなく、実施条件も記録する

たとえば請求書に関する架空の調査で、参加者が自力で正しい請求書を見つけてダウンロードできるかを測定したとします。将来、別のリサーチャーが同じ測定を再現するには、タスクの指示文、参加者の条件、利用端末の環境、そして成功判定の基準が必要です。こうした詳細がなければ、パーセンテージを見ても「デザインが良くなった」のか、単に「テストが簡単になった」だけなのかを判別できません。

継続的に追うプロダクト指標であれば、イベントの定義、除外条件、集計期間を記録しておきましょう。平均値だけでなく、サンプルサイズや結果のばらつきも残しておくことが大切です。ベースラインの設定に関するNielsen Norman Groupのガイドでも、有用なスタートラインを引くにあたって、アナリティクスとリサーチの双方の指標が果たす役割について解説されています。

1回の調査でもベースラインにはなりますが、不確実性は残ります。曜日や季節変動、リリースサイクルによって数値が揺れ動く指標の場合は、複数回測定しておくと安心です。目的はあくまで自然な変動幅を把握できるだけの文脈を得ることであり、あらゆる意思決定のために決まりきった量の過去データを集めなければならないわけではありません。

公平な比較を維持する

改めて測定を行う際は、比較可能性を保つべき要素をそのまま維持します。対象ユーザー、タスク、評価の設問、そしてプロダクトそのものを一度に変えてしまうと、差が出たときに理由が絞り込めなくなってしまいます。やむを得ない変更でデータの連続性が途切れてしまう場合は、その旨を記録し、影響を把握するために期間を重ねて測定することを検討してください。

ベースラインは、社内ベンチマークとして活用されることがよくあります。ベンチマークはより広い比較の取り組みであり、競合や外部のリファレンスデータが使われることもあります。ただし、業界平均や競合の数値をいくら集めても、変更前に測定し忘れた自社プロダクトのデータを再現することはできません。

「改善されたこと」と「施策の効果」を切り離す

施策前後の差からわかるのは、「測定された結果が変わった」という事実だけです。それによって、リデザインがその原因だと証明されたわけではありません。マーケティング施策によって普段と違う層が流入したのかもしれませんし、一時的な障害のせいでベースラインが異常に低くなっていただけかもしれません。もし極端に落ち込んだ数値を起点に選んでいたとすれば、その後の回復は単なる自然変動の一部という可能性もあります。

同時期に適切な比較対象を設けることで、こうした要因を切り分けることができます。可能であれば、A/Bテストを使って、同じ期間に変更を適用していないバージョンと比較測定するのが確実です。それが難しい場合は、前後のデータを限界や前提条件とあわせて共有し、リリースの記録やユーザーデータ、定性調査などをもとに他の要因が絡んでいないかを検証しましょう。

測定条件下では新しいフローのほうが良好な結果を示したものの、リデザインがどれだけ寄与したかは特定できない――そうした結論に至ることも十分にあり得ます。レポート内で単なる「比較」をいつの間にか「因果関係」にすり替えてしまわない限り、それだけでも確かな価値のある情報です。