Ein Online-Shop verschiebt die Lieferkosten vom letzten Checkout-Schritt direkt in den Warenkorb. Die Änderung wirkt transparenter, doch das Team weiß noch nicht, ob sie zu mehr abgeschlossenen Käufen führt, böse Überraschungen verhindert oder Kund:innen eher früher abschreckt. Ein A/B-Test vergleicht den Status quo mit der Alternative – durch zufällige Zuweisung und eine geplante Auswertung der Ergebnisse.
Das Ziel ist, den tatsächlichen Effekt der Änderung inklusive der statistischen Unsicherheit abzuschätzen. Ein höherer Wert in einer Dashboard-Spalte ist erst der Anfang der Interpretation; er reicht für sich allein nicht aus, um die vorgeschlagene Version zum Sieger zu erklären.
Wählt eine Frage, die das Experiment auch beantworten kann
Im Beispiel des Online-Shops könnte die primäre Zielmetrik die Anzahl abgeschlossener Käufe pro teilnahmeberechtigter Person sein. Weitere relevante Messgrößen wären Umsatz, Checkout-Fehler und Stornierungen. Wer diese Metriken vor dem Start festlegt, verhindert, dass im Nachhinein ein zufällig positives Nebenergebnis als eigentlicher Erfolg umgedeutet wird.
A/B-Testing ist ideal, wenn eine konkrete Maßnahme, messbare Ergebnisse und eine ausreichend große Stichprobe vorliegen. Versteht das Team noch gar nicht, warum Kund:innen abspringen, helfen Usability-Tests oder Nutzerinterviews dabei, erst einmal die richtige Hypothese zu entwickeln. Das Experiment bewertet eine Veränderung – es erklärt nicht zwingend jeden Grund, warum Menschen so reagieren.
Der Bericht von Microsoft Research über Online-Experimente beschreibt, welche Rolle kontrollierte Tests bei der Bewertung von Produktideen spielen. Wie aussagekräftig ein Vergleich ist, hängt von Design und Durchführung ab – nicht einfach davon, dass man zwei Versionen A und B nennt.
Haltet Zuweisung und Messung verlässlich
Entscheidet, auf welcher Basis die Zuweisung erfolgt: pro User, pro Account oder anhand einer anderen passenden Einheit. Sorgt für eine konsistente Zuweisung, wo das Testdesign es verlangt, und prüft, ob sich Nutzende gegenseitig beeinflussen können. Geteilte Accounts oder Teamarbeit können eine scheinbar individuelle Zuweisung schnell komplizierter machen, als sie zunächst wirkt.
Stellt sicher, dass beide Versionen wie geplant laden und getrackte Events in beiden Varianten exakt dasselbe bedeuten. Ein scheinbarer Anstieg bei den Kaufabschlüssen ist wertlos, wenn eine Version das Purchase-Event doppelt feuert. Prüft unerwartete Unterschiede in den Gruppengrößen oder fehlende Tracking-Daten, bevor ihr das Ergebnis interpretiert.
Plant Stichprobengröße und Testdauer passend zur minimal relevanten Effektstärke, zur Baseline-Rate oder -Varianz und zur gewählten Methode. Es gibt keine pauschale Zahl an Teilnehmenden. Seltene Ereignisse und kleine Effekte brauchen meist mehr Daten, während wiederholte Messungen oder geclusterte Zuweisungen eine Analyse erfordern, die diese Abhängigkeiten berücksichtigt.
Haltet euch an die Abbruchregeln der gewählten Methode
Ein Test mit fester Stichprobengröße sollte nicht einfach gestoppt werden, nur weil ein Zwischenstand nach mehrfachem Prüfen gerade Signifikanz anzeigt. Richtig aufgesetzte sequenzielle Verfahren erlauben solche Zwischenentscheidungen, erfordern aber eigene, strikte Regeln. Findet heraus, nach welchem Verfahren eure Plattform arbeitet, bevor ihr deren Ergebnis als Entscheidungsgrundlage nutzt.
Ein Monitoring auf Tracking-Fehler oder negative Nebeneffekte ist etwas völlig anderes als die Suche nach einem Gewinner. Haltet wesentliche Ausfälle, Ausschlüsse und Anpassungen fest, damit die Analyse am Ende auch das Experiment abbildet, das tatsächlich gelaufen ist.
Entscheidet anhand des Effekts und seiner Konsequenzen
Weist den geschätzten Unterschied und das Konfidenzintervall aus, zusammen mit der statistischen Signifikanz, sofern verwendet. Eine präzise, aber winzige Verbesserung rechtfertigt womöglich nicht die laufenden Wartungskosten; ein unklares Ergebnis lässt wichtige Vor- und Nachteile vielleicht offen.
Für den Shop könnte die frühere Preistransparenz die Conversion-Rate steigern, aber gleichzeitig den Warenkorbwert oder die Stornoquote verändern. Solche Auswirkungen gehören in die Entscheidung. Prüft außerdem, ob das Ergebnis bloß auf einen Neuheitseffekt zurückgeht oder in einen Zeitraum fällt, der typische Nutzungsmuster verzerrt.
Dokumentiert, was geändert wurde, wer Teil des Tests war und welche Fragen offenbleiben. Ein Test kann eine fundierte Rollout-Entscheidung stützen – ohne damit zu beweisen, dass derselbe Effekt für immer anhält oder für jedes Kundensegment gilt.
