Das Versuchsdesign (Experimental Design) legt fest, wie eine Intervention mit Alternativen verglichen wird, damit die Ergebnisse eine kausale Frage verlässlich beantworten können. Es umfasst Bedingungen, Zuteilung, Zielgrößen, Timing und Analyse. Das Design beginnt schon vor der Datenerhebung – nämlich dann, wenn das Team entscheidet, welcher Vergleich die bestehende Unsicherheit tatsächlich auflösen würde.
Ein Produktexperiment vergleicht vielleicht zwei Interfaces, verschiedene Messages oder Feature-Kombinationen. Die sichtbare Änderung ist dabei nur ein Teil des Designs. Wer sie zu sehen bekommt, was die Zielgruppe beeinflussen kann und wie die Ergebnisse erfasst werden, spielt eine genauso große Rolle.
Die Intervention und die Ziel-Einheit definieren
Nehmen wir an, ein fiktives Collaboration-Tool möchte eine neue Art der Aufgabenverteilung testen. Einzelne Nutzer*innen verschiedenen Versionen zuzuweisen, kann problematisch sein, wenn alle im Team an denselben Aufgaben arbeiten. Eine Zuteilung auf Teamebene grenzt das Erlebnis oft besser ein – allerdings hängen die Ergebnisse innerhalb von Teams zusammen, was bei der Stichprobenplanung und Analyse berücksichtigt werden muss.
Definiere genau, worin sich die Bedingungen unterscheiden und wer für den Test infrage kommt. Sorge nach Möglichkeit für einen zeitgleichen Vergleich, damit externe Trends über die Zeit nicht fälschlicherweise als Effekt interpretiert werden. Prüfe außerdem, ob die geplante Intervention tatsächlich wie vorgesehen ausgespielt und getrackt wird.
Der Leitfaden des NIST zur Auswahl eines Versuchsdesigns beschreibt Designoptionen für unterschiedliche Ziele. Grundsätzlich gilt: Das Setup sollte sich nach der Fragestellung und den Quellen der Variation richten – und nicht erst nach Vorliegen der Daten nach einem vertrauten Standardtest ausgewählt werden.
Festlegen, wie Teilnehmende die Varianten erleben
Ein Between-Subjects-Design teilt Teilnehmende verschiedenen Bedingungen zu. Bei einem Within-Subjects-Design erleben dieselben Personen mehrere Varianten. Das kann manche Vergleiche präziser machen, bringt aber Lern-, Ermüdungs- oder Carry-over-Effekte mit sich. Counterbalancing kann Reihenfolgeeffekte zwar ausbalancieren, garantiert aber nicht, dass jedes Carry-over-Problem verschwindet.
Beim Blocking werden vergleichbare Einheiten vor der eigentlichen Zuteilung gruppiert. Faktorielle Designs variieren mehr als einen Faktor und können Interaktionen untersuchen – etwa, ob die Wirkung einer Message von ihrer Platzierung abhängt. Diese Ansätze erfordern einen klaren Plan für die Vergleiche und genügend Daten, um sie sinnvoll auszuwerten.
Randomisierung sorgt für statistische Vergleichbarkeit im Erwartungswert, nicht für identische beobachtete Gruppen. Überprüfe die technische Umsetzung und unerwartete Zuteilungsmuster, ohne normale Zufallsschwankungen direkt als Beweis für eine gescheiterte Randomisierung zu werten.
Metriken, Präzision und Abbruchkriterien gemeinsam planen
Definiere die primäre Zielgröße (Primary Outcome), wichtige Guardrail-Metriken und den minimal relevanten Effekt. Plane Stichprobengröße und Laufzeit auf Basis der Baseline, der Varianz, der Zuteilungseinheit und der gewählten statistischen Methode. Berücksichtige auch typische Nutzungszyklen, wenn sie die Interpretation beeinflussen.
Lege Ausschlusskriterien, den Umgang mit fehlenden Daten und Abbruchregeln fest, bevor die Ergebnisse vorliegen. Eine Analyse mit fester Stichprobengröße und eine sequenzielle Analyse erlauben unterschiedliche Formen von Zwischenentscheidungen. Qualitäts- und Sicherheitsüberprüfungen bleiben unerlässlich, aber das wiederholte Suchen nach einem günstigen p-Wert ist kein Ersatz für fundierte Abbruchregeln.
Das tatsächlich durchgeführte Experiment interpretieren
Berichte über Abweichungen, Fehler bei der Ausspielung und mögliche Interferenzen zwischen Einheiten. Im Collaboration-Beispiel könnte ein Team, das über geteilte Accounts beide Versionen nutzt, den beabsichtigten Kontrast verfälschen. Solche Szenarien müssen geprüft werden, bevor ein Ergebnis als sauberer Vergleich präsentiert wird.
Nutze Effektschätzer und Konfidenzintervalle, bei Bedarf ergänzt durch Hypothesentests. Behalte praktische Konsequenzen und die Grenzen der Generalisierbarkeit im Blick. Ein Experiment kann den Effekt einer bestimmten Intervention messen, ohne jeden Wirkmechanismus zu erklären oder zu belegen, dass das Ergebnis in einem anderen Kontext unverändert Bestand hat.