Jedes gute Experiment beginnt mit einer Hypothese – also im Grunde einer fundierten Vermutung darüber, was passieren könnte. Außerdem brauchst du eine Nullhypothese, die davon ausgeht, dass sich nichts ändert, und eine Alternativhypothese, die voraussagt, dass sich tatsächlich etwas ändert. Wenn du zum Beispiel einen neuen Button auf deiner Website testest, könnte deine Hypothese lauten: „Dieser Button bringt mehr Anmeldungen.“ In Umfragen könntest du verschiedene Anzeigen-Designs testen, um zu sehen, welches besser ankommt.

Um zu prüfen, ob deine Ergebnisse echt und nicht nur Zufall sind, nutzen Statistiker Tools wie Z-Scores (die testen, ob es wirklich keinen Unterschied gibt) und p-Werte (die zeigen, wie stichhaltig die Beweise für deine Hypothese sind). Eine weitere wichtige Entscheidung ist, ob du einen einseitigen Test nutzt (der davon ausgeht, dass deine Änderung einen ganz bestimmten Effekt hat, wie etwa steigende Verkäufe) oder einen zweiseitigen Test (der prüft, ob der Effekt positiv oder negativ ausfallen könnte). Zum Glück musst du die ganze Mathematik nicht selbst machen – es gibt Online-Rechner und Tools, die dir schnell verraten, ob deine Testergebnisse wirklich aussagekräftig oder nur ein Zufallstreffer sind!