因果関係のリサーチでは、「ある介入がどんな違いを生み出すか」を問いかけます。オンボーディングを完了した顧客の定着率が高いとしても、その相関関係だけでは、完了率を高めれば定着率が上がるとは証明できません。そうした顧客は、もともとプロダクトを使う強い動機を持っていた可能性があるからです。

因果的な問いとは、「もし別の条件だったらどうなっていたか」という比較に関わるものです。この観察できないもう一つの選択肢を「反事実（counterfactual）」と呼び、リサーチ設計には、これについて妥当に推論するための信頼できる方法が欠かせません。

施策と成果を具体的に定義する

オンボーディングの調査を例にすると、ガイド付きの初期設定フロー、トレーニングセッションへの招待、新しいサポート窓口の開放など、介入（施策）の内容を正確に定義します。施策ごとに、異なるメカニズムを通じて異なる層に影響を与える可能性があるためです。

誰を対象にした結果なのか、どんな成果を、どの期間で測定するのかを明確にします。「定着率の向上」という目標も、対象となる単位、具体的なアクティビティ、期間を特定するまでは不完全です。また、施策を「提供したことによる効果」と、実際にそれを「利用した人における効果」を区別することも大切です。利用した人だけを抽出してしまうと、調査で取り除こうとしていた差異が再び紛れ込んでしまうことがあります。

英国政府のMagenta Bookでは、効果を検証するための実験的アプローチ、準実験的アプローチ、理論ベースのアプローチが解説されています。適切な手法は、問いの内容や、エビデンスを収集できる状況によって決まります。

比較の妥当性を検証する

ランダム割り当て（無作為化）を行うと、期待値としてグループ間を比較可能にできるため、適切な運用と分析を行えば因果効果の推定を支える根拠になります。ただし、特定のサンプルでグループが完全に同一になることを保証するわけではなく、データの欠損や波及効果、測定上の課題を防げるわけでもありません。

ランダム化が難しい場合でも、信頼できる準実験的アプローチを用いれば、閾値や比較対象のトレンド、介入がどのように実施されたかといった特徴を活用できます。その際、前提となる仮定を明示して検証することが重要であり、モデルに変数を多く追加したからといって、交絡が自動的に解消されるわけではありません。

単純な前後比較（ビフォーアフター）は、時間の経過に伴う他の変化の影響を受けやすい点に注意が必要です。一見改善したように見えても、季節性や顧客構成の変化、無関係なリリースなどが、その変化の一部あるいはすべてを説明してしまうことがあります。

効果とその適用範囲を説明する

推定された差異と不確実性を、施策がどのように実行されたかという情報とあわせて報告します。定性調査は、インタビューの発言を無理に数値的な因果推計に変えることなく、その背景にあるメカニズムや状況を掘り下げるのに役立ちます。

一般化可能性（再現性）の観点から、その結果が他のケースにも当てはまりそうかを検討します。あるターゲット層や期間で成功した施策も、他では再現できない条件に依存している場合があります。有用な因果分析は、そうした前提条件を明確にし、「テストが成功した」という表面的な結果だけでなく、次の意思決定に活かせる材料を提供します。