Ein Testergebnis kann einen statistischen Schwellenwert überschreiten, ohne praktisch nützlich zu sein – oder ihn verfehlen, ohne zu beweisen, dass sich nichts verändert hat. Statistische Signifikanz ist lediglich ein Urteil, das durch den Abgleich eines p-Werts mit einem festgelegten Signifikanzniveau unter einem bestimmten statistischen Modell gefällt wird. Sie ist nur ein Teil der Gesamtbewertung, neben der geschätzten Effektstärke, der Unsicherheit und dem Studiendesign.
Dieser Unterschied ist immer dann entscheidend, wenn ein Dashboard einen scheinbar eindeutigen Gewinner kürt. Eine minimale Veränderung, die sehr präzise gemessen wurde, kann geschäftlich völlig irrelevant sein; eine potenziell erhebliche Veränderung, die unpräzise gemessen wurde, bleibt womöglich unklar. Das Label allein verrät dem Team nicht, mit welcher dieser Situationen es konfrontiert ist.
Verstehen, worauf der p-Wert eigentlich beruht
Ein p-Wert beschreibt die Wahrscheinlichkeit, unter der Annahme des gewählten Nullmodells und seiner weiteren Voraussetzungen eine Teststatistik zu beobachten, die mindestens so extrem ist wie die tatsächlich gemessene. Kleine Werte weisen auf eine Unvereinbarkeit zwischen den Daten und diesem Modell hin. Sie geben jedoch nicht die Wahrscheinlichkeit an, dass die Nullhypothese wahr ist oder dass das Ergebnis rein zufällig zustande kam.
Die Stellungnahme der American Statistical Association zu p-Werten erläutert diese Nuancen und warnt davor, Schlussfolgerungen allein daran festzumachen, ob ein Schwellenwert überschritten wurde. Ein Ergebnis unter 0,05 liefert keine allgemeine Wahrheitsgarantie – genauso wie ein Wert darüber keineswegs beweist, dass es keinen Effekt gibt.
Bei einem korrekt kalibrierten Test steuert ein Signifikanzniveau wie 0,05 die langfristige Rate fälschlicher Ablehnungen unter der Nullhypothese und den Annahmen des Tests. Das ist etwas ganz anderes, als zu behaupten, ein konkretes signifikantes Ergebnis sei mit einer Wahrscheinlichkeit von 5 % falsch.
Effektstärke und Unsicherheit vor der Entscheidung prüfen
Nehmen wir ein fiktives Experiment: Eine überarbeitete Suchoberfläche führt zu einem leichten Anstieg erfolgreicher Suchen. Um das sinnvoll zu interpretieren, braucht man die geschätzte Veränderung und ein Konfidenzintervall – zusammen mit möglichen Auswirkungen auf Fehlerraten, Ladezeiten oder andere relevante Kennzahlen.
Ein enges Intervall um eine vernachlässigbare Veränderung und ein breites Intervall, das von Nachteilen bis hin zu klaren Vorteilen reicht, erfordern völlig unterschiedliche Entscheidungen – selbst wenn keines der beiden Ergebnisse den gewählten Schwellenwert überschreitet. Wenn das Ziel darin besteht, zu zeigen, dass zwei Varianten praktisch gleichwertig sind, sollte eine Äquivalenz- oder Non-Inferiority-Analyse mit einer fundierten Marge geplant werden, statt einen nicht-signifikanten Unterschied einfach als Beweis für Gleichheit abzutun.
Der relevante Effekt muss zudem keine Differenz zu null sein; die Nullhypothese hängt von der konkreten Fragestellung ab. Diese Hypothese sollte immer transparent bleiben, damit alle verstehen, was der Test tatsächlich geprüft hat.
Die Analyse vor mehrfachen Chancen auf ein positives Ergebnis schützen
Wer viele Metriken oder Subgruppen testet, erhöht automatisch das Risiko für Falsch-Positiv-Befunde. Auch das wiederholte Prüfen eines Tests mit fester Stichprobengröße und das Stoppen, sobald er signifikant wird, hebelt die beabsichtigte Fehlerkontrolle aus. Sequenzielle Methoden können Zwischenentscheidungen absichern, wenn sie gezielt dafür ausgelegt sind – ein ständiges, unkontrolliertes Nachschauen ersetzen sie jedoch nicht.
Primäre Zielgrößen, Vergleiche und Abbruchkriterien sollten vorab festgelegt werden. Ungeplante Analysen gehören transparent kommuniziert, und wo nötig, sollte eine passende Korrektur für multiples Testen angewendet werden. Ausschlüsse und Tracking-Ausfälle sollten dokumentiert werden, bevor ein scheinbar günstiges Ergebnis deren Bedeutung in den Hintergrund drängt.
Bei einem A/B-Test sollte die finale Entscheidung statistische Belege immer mit den praktischen Konsequenzen der Änderung verknüpfen. Signifikanz hilft dabei, die Vereinbarkeit mit einem Modell zu bewerten. Sie kann jedoch weder fehlerhafte Messungen heilen noch den echten Mehrwert für Nutzende belegen oder vorgeben, wie viel Unsicherheit man bereit ist zu akzeptieren.