Kausale Forschung fragt danach, welchen Unterschied etwas tatsächlich macht. Wenn Kund:innen, die das Onboarding abschließen, eher dabeibleiben, beweist dieser Zusammenhang noch nicht, dass eine höhere Abschlussquote auch die Bindung verbessert. Diese Kund:innen hatten möglicherweise ohnehin schon triftigere Gründe, das Produkt zu nutzen.
Die kausale Frage dreht sich um den Vergleich mit dem, was unter einer anderen Bedingung passiert wäre. Diese unbeobachtete Alternative nennt man das Kontrafaktische – und jedes Forschungsdesign braucht einen plausiblen Weg, genau darüber nachzudenken.
Die Maßnahme und das Ergebnis genau definieren
In einer exemplarischen Onboarding-Studie sollte die Intervention präzise definiert werden: ein geführter Setup-Flow, eine Einladung zu einem Training oder der Zugang zu einem neuen Support-Kanal. Jede dieser Maßnahmen könnte ganz unterschiedliche Menschen über unterschiedliche Mechanismen ansprechen.
Legt fest, für wen das Ergebnis gilt, welches Resultat gemessen wird und über welchen Zeitraum. „Die Bindung verbessern“ ist erst dann greifbar, wenn das Team die relevante Einheit, die Aktivität und das Zeitfenster genau benennt. Unterscheidet dabei zwischen dem Effekt, eine Maßnahme überhaupt anzubieten, und dem Effekt bei denjenigen, die sie tatsächlich nutzen. Wer nur die tatsächlichen Nutzer:innen betrachtet, riskiert genau die Unterschiede wieder einzuschleppen, die die Studie eigentlich kontrollieren sollte.
Das britische Magenta Book erläutert experimentelle, quasi-experimentelle und theoriebasierte Ansätze zur Wirkungsmessung. Welcher Ansatz der richtige ist, hängt von der Fragestellung und den Rahmenbedingungen ab, unter denen Daten gesammelt werden können.
Die Plausibilität des Vergleichs prüfen
Eine zufällige Zuteilung (Randomisierung) sorgt im Erwartungswert für vergleichbare Gruppen und ermöglicht solide Kausalschätzungen – vorausgesetzt, Umsetzung und Analyse stimmen. Sie garantiert jedoch keine identischen Gruppen in einer konkreten Stichprobe und schützt weder vor Datenlücken noch vor Spillover-Effekten oder Messfehlern.
Wenn eine Randomisierung nicht möglich ist, kann ein valider quasi-experimenteller Ansatz auf Schwellenwerte, Trendvergleiche oder andere Besonderheiten bei der Einführung einer Maßnahme setzen. Die zugrunde liegenden Annahmen müssen offengelegt und geprüft werden; einfach viele Variablen in ein Modell zu werfen, löst das Problem von Störfaktoren nicht automatisch.
Ein simpler Vorher-Nachher-Vergleich ist anfällig für andere Veränderungen im Laufe der Zeit. Saisonalität, eine veränderte Kundenzusammensetzung oder unabhängige Produkt-Releases können eine scheinbare Verbesserung teilweise oder sogar ganz erklären.
Den Effekt und seine Reichweite einordnen
Macht neben dem geschätzten Unterschied und den Unsicherheiten auch transparent, wie die Maßnahme konkret umgesetzt wurde. Qualitative Forschung kann helfen, Wirkmechanismen und Begleitumstände besser zu verstehen, ohne aus qualitativen Interviews vorschnell numerische Kausalschlüsse zu ziehen.
Überlegt auch, ob sich das Ergebnis über die Generalisierbarkeit auf andere Kontexte übertragen lässt. Eine Maßnahme, die bei einer bestimmten Zielgruppe oder zu einem bestimmten Zeitpunkt funktioniert hat, hängt oft von Bedingungen ab, die sich nicht einfach kopieren lassen. Eine fundierte Kausalanalyse macht diese Rahmenbedingungen sichtbar – damit die nächste Entscheidung auf mehr baut als nur auf die Schlagzeile, dass ein Test erfolgreich war.