Ein Redesign geht live, die Abschlussrate steigt, und das Team will wissen, ob das an seiner Arbeit lag. Diese Frage lässt sich deutlich schwerer beantworten, wenn niemand festgehalten hat, wie der Abschluss vor dem Release gemessen wurde. Selbst ein Wert, an den man sich vage erinnert, nützt wenig, wenn Nenner, Zeitraum und Erfolgsdefinition verloren gegangen sind.
Eine Baseline-Messung (Ausgangsmessung) erfasst den Ausgangszustand, mit dem spätere Ergebnisse verglichen werden. Das kann eine Usability-Studie des bestehenden Produkts sein, Verhaltensdaten über mehrere Wochen hinweg oder die erste Welle einer wiederkehrenden Befragung. Ihr Wert liegt darin, den Vergleich überhaupt erst möglich und interpretierbar zu machen – statt einfach nur eine Zahl mit der Beschriftung „Vorher“ zu liefern.
Rahmenbedingungen genauso erfassen wie das Ergebnis
In einer fiktiven Rechnungsstudie erfasst ein Team, ob Teilnehmende die richtige Rechnung ohne Hilfe finden und herunterladen können. Um diese Messung zu wiederholen, braucht man später den genauen Wortlaut der Aufgabe, die Kriterien für die Zielgruppe, die Gerätebedingungen und die Kriterien für ein erfolgreiches Ergebnis. Ohne diese Details lässt sich anhand einer Prozentzahl nicht erkennen, ob das Design besser oder der Test einfach leichter war.
Dokumentieren Sie bei fortlaufenden Produktmetriken die Event-Definition, Ausschlüsse und das Reporting-Fenster. Halten Sie neben dem Durchschnitt auch die Stichprobengröße und die Streuung der Ergebnisse fest. Der Leitfaden der Nielsen Norman Group zur Bestimmung von Baselines beleuchtet, wie sowohl Analytics als auch Research-Metriken zu einem sinnvollen Ausgangspunkt beitragen.
Eine einzelne Studie kann eine Baseline liefern, bleibt aber mit Unsicherheiten behaftet. Wenn Metriken je nach Wochentag, Saisonalität oder Release-Zyklen schwanken, sind oft mehrere Messpunkte sinnvoll. Das Ziel ist ausreichend Kontext, um normale Schwankungen zu erkennen – nicht die Pflicht, für jede Entscheidung stur dieselbe Menge an historischen Daten anzuhäufen.
Für einen fairen Vergleich sorgen
Achten Sie bei einer erneuten Messung darauf, genau die Aspekte der Studie beizubehalten, die vergleichbar bleiben sollen. Wenn Zielgruppe, Aufgabe, Bewertungsfrage und Produkt gleichzeitig geändert werden, gibt es plötzlich etliche Erklärungen für jeden Unterschied. Lässt sich ein Bruch in der Messreihe nicht vermeiden, dokumentieren Sie ihn und prüfen Sie, ob sich überlappende Messungen erfassen lassen, um den Effekt einzuordnen.
Eine Baseline dient oft als interner Benchmark. Benchmarking ist der weiter gefasste Begriff für Vergleiche und kann auch Wettbewerber oder externe Referenzdaten einbeziehen. Doch weder ein Branchendurchschnitt noch die Zahlen der Konkurrenz können eine fehlende Messung des eigenen Produkts vor der Änderung ersetzen.
Verbesserung und Kausalität sauber trennen
Ein Vorher-Nachher-Vergleich zeigt, dass sich ein Messwert verändert hat. Er beweist nicht, dass das Redesign der Grund dafür war. Eine Marketingkampagne könnte eine andere Zielgruppe auf die Seite gebracht haben, oder ein temporärer Ausfall hat die Baseline ungewöhnlich nach unten gezogen. Wurde der Startpunkt gewählt, weil er extrem niedrig war, spiegelt eine spätere Erholung womöglich teils nur ganz normale Schwankungen wider.
Eine passende, zeitgleich laufende Kontrollgruppe hilft dabei, solche Effekte sauber zu trennen. Wenn machbar, misst ein A/B-Test die Änderung im selben Zeitraum gegen eine Version ohne diese Anpassung. Ist das nicht praktikabel, sollten die Vorher-Nachher-Daten mitsamt ihren Einschränkungen offengelegt und alternative Erklärungen anhand von Release-Logs, Zielgruppendaten und Research überprüft werden.
Das nützliche Fazit lautet dann vielleicht: Der neue Flow schneidet unter den gemessenen Bedingungen besser ab – auch wenn der genaue Anteil des Redesigns unklar bleibt. Das ist immer noch eine wertvolle Erkenntnis, solange der Bericht aus einem simplen Vergleich nicht heimlich einen Kausalitätsanspruch macht.