Hypothesentests prüfen, wie gut Daten unter einem bestimmten Modell zu einer konkreten statistischen Hypothese passen. Sie geben einer Forschungsfrage einen formalen Vergleich und ein Entscheidungsverfahren an die Hand – machen das Ergebnis aber nicht automatisch zu einer Produktentscheidung.
Ein Team könnte sich beispielsweise fragen, ob ein neuer Checkout die Abschlussrate verändert. Die statistischen Hypothesen beschreiben die verglichenen Kennzahlen, während das Studiendesign bestimmt, ob dieser Vergleich kausal interpretiert werden kann. Für eine fundierte Entscheidung braucht es zudem die Effektstärke, die Unsicherheit, die Kosten sowie die Auswirkungen auf andere Kennzahlen.
Den Vergleich definieren, bevor gerechnet wird
Definieren Sie Population, Zielmetrik, Analyseeinheit und Rahmenbedingungen. Eine Nullhypothese könnte identische Abschlussraten annehmen, während eine zweiseitige Alternative sowohl einen Anstieg als auch einen Rückgang zulässt. Andere Fragestellungen erfordern abweichende Nullwerte oder Vergleichsformen.
Wählen Sie einen Test, der zu den Daten und zum Versuchsaufbau passt. Mittelwerte, Anteile, gepaarte Beobachtungen und Cluster stellen jeweils eigene Anforderungen. Ein einseitiger Test setzt eine fundierte Richtungshypothese voraus, die vor Sichtung der Daten feststehen muss; er darf nicht im Nachhinein gewählt werden, nur weil die Schätzung gerade günstig ausfällt.
Die Einführung des NIST in das Hypothesentesten beschreibt das statistische Rahmenwerk. In der Praxis sollten Hypothesen, Annahmen und Analyseplan so präzise formuliert sein, dass auch andere nachvollziehen können, was als Evidenz gegen die Nullhypothese gewertet werden soll.
Planen, was die Studie nachweisen können muss
Die Planung der Stichprobengröße hängt von der relevanten Effektstärke, der Varianz bzw. der Baseline-Rate, dem Signifikanzniveau, der gewünschten Power und dem Studiendesign ab. Die Power ist die Wahrscheinlichkeit, die Nullhypothese unter einer bestimmten Alternative korrekt zu verwerfen – sie ist keine pauschale Eigenschaft, die eine Studie unabhängig von der Effektgröße hat.
Bei einem fiktiven Checkout-Experiment kann der Nachweis einer minimalen Änderung bei einem seltenen Kaufevent enorm viel Traffic erfordern. Eine Handvoll Usability-Sessions kann zwar bereits Probleme im Checkout aufdecken, beantwortet aber eine ganz andere Frage als eine quantitative Schätzung des Conversion-Effekts.
Nutzen Sie eine klare Abbruchregel (Stopping Rule). Ein Verfahren mit fester Stichprobengröße verlangt in der Regel, die Datenerhebung wie geplant durchzuziehen. Ein passendes sequenzielles Design hingegen erlaubt Zwischenentscheidungen nach definierten Regeln. Die technische Qualität und Stabilität zu überwachen ist unverzichtbar, sollte sich aber klar vom wiederholten Suchen nach einem günstigen statistischen Schwellenwert unterscheiden.
Ergebnisse einordnen, ohne sie zu übertreiben
Wird die Nullhypothese auf einem gewählten Niveau verworfen, zeigt das, dass das Ergebnis ausreichend unvereinbar mit dem Modell ist, um das Entscheidungskriterium zu erfüllen. Wird sie nicht verworfen, ist sie damit keineswegs bewiesen. Keiner der beiden Ausgänge sagt aus, mit welcher Wahrscheinlichkeit der beobachtete Befund reiner Zufall war.
Geben Sie die Effektschätzung, das Konfidenzintervall, den p-Wert (sofern genutzt) und die zugrunde liegenden Annahmen an. Statistische Signifikanz sagt nichts über die praktische Relevanz aus. Behalten Sie wichtige Sekundärmetriken im Blick und legen Sie Mehrfachvergleiche sowie explorative Analysen offen.
Ein Hypothesentest lässt sich auch auf Beobachtungsdaten anwenden, doch der p-Wert klärt nicht die Frage nach Korrelation versus Kausalität. Ob ein Befund kausal interpretiert werden darf, hängt allein vom Studiendesign und den getroffenen Annahmen ab. Die Methode stiftet dann den größten Nutzen, wenn das Team klar darlegen kann, was das statistische Ergebnis belegt – und welche weiteren Faktoren für die finale Entscheidung abgewogen werden müssen.