Forschung kann auf ganz systematische Weise schiefgehen. Eine Studie erreicht nur begeisterte Kundinnen und Kunden, stellt ihnen suggestive Fragen und berichtet die positivsten Antworten. Mehr Rückmeldungen lassen die Ergebnisse vielleicht stabiler wirken, die zugrunde liegende Verzerrung bleibt jedoch unberührt.
Research Bias (systematische Verzerrung) bezeichnet systematische Fehler, die dadurch entstehen, wie eine Studie konzipiert, durchgeführt, analysiert oder berichtet wird. Er unterscheidet sich von zufälligen Abweichungen, auch wenn beides dasselbe Ergebnis beeinflussen kann. Ein enges Konfidenzintervall adressiert nur bestimmte Formen von Unsicherheit innerhalb eines Modells; es bürgt weder für das Recruitment noch für die Messung oder Interpretation, aus der die Schätzung hervorgegangen ist.
Das Problem im Studienprozess lokalisieren
Alles beginnt bei der Auswahl. Ein Sampling Bias (Stichprobenverzerrung) kann entstehen, wenn Abdeckung oder Recruitment die Zielgruppe verzerrt darstellen. Non-Response-Bias betrifft relevante Unterschiede zwischen denen, die antworten, und denen, die es nicht tun. Panelmortalität (Attrition) wirft ähnliche Fragen auf, wenn Teilnehmende eine Studie im Laufe der Zeit verlassen.
Danach geht es um die Messung. Formulierungen, Antwortoptionen, Erinnerungsvermögen und das Studienumfeld können Antworten beeinflussen. Die Hinweise einer Moderation können eine Aufgabe lenken, während ein Tracking-Event das Verhalten, das sein Name suggeriert, womöglich gar nicht richtig abbildet. Ein erfasster Zahlenwert ist nicht automatisch eine solide Messung.
Die Diskussion des Cochrane-Handbuchs zum Bias-Risiko befasst sich mit systematischen Fehlern in Studienergebnissen. Das dortige Bewertungs-Framework ist zwar für diesen Kontext gedacht, die Unterscheidung zwischen einer plausiblen Verzerrungsquelle und dem Beweis ihrer tatsächlichen Auswirkung hilft jedoch auch darüber hinaus. Ein Risiko zu erkennen, verrät noch nicht, wie stark sich ein Ergebnis tatsächlich verschoben hat.
Entscheidungen nach der Datenerhebung prüfen
Analysen können ein Ergebnis durch selektive Ausschlüsse, geänderte Zielgrößen oder die wiederholte Suche nach einer vorteilhaften Subgruppe begünstigen. Exploration kann spannende Fragen aufwerfen; aber eine Entdeckung, die erst nach vielen Vergleichen gemacht wurde, als den einzigen geplanten Test darzustellen, verzerrt die Evidenz.
Ein fiktives Onboarding-Experiment verbessert vielleicht eine Engagement-Metrik, ändert aber nichts an den Abschlussraten. Wenn man nur das Engagement berichtet, klingt das Ergebnis bedeutsamer, als es ist. Geplante Metriken, Abweichungen und relevante negative Ergebnisse sollten sichtbar bleiben, damit Entscheidungen auf der gesamten Studie basieren.
Kognitive Verzerrungen können auch die qualitative Interpretation prägen. Ein prägnantes Zitat bekommt oft mehr Aufmerksamkeit als widersprüchliche Berichte. Den Datensatz systematisch zu prüfen und den Bezug zur Originalquelle beizubehalten, macht solche Entscheidungen transparenter und überprüfbar.
Die Gegenmaßnahme auf den Mechanismus abstimmen
Eine bessere Stichprobenbasis repariert keine suggestive Frage. Neutrale Formulierungen gleichen fehlende Teilnehmende nicht aus. Vorab festgelegte Analyseschritte retten keine fehlerhafte Messung. Eine sinnvolle Gegenmaßnahme setzt genau an dem Teil des Prozesses an, der die Verzerrung verursacht haben könnte.
Wichtige Metriken und Ausschlusskriterien sollten vorab festgelegt, Erhebungsinstrumente getestet, das Recruitment dokumentiert und plausible Alternativen geprüft werden. Setze auf Randomisierung oder Verblindung, wo es zum Design passt, und ziehe eine Triangulation mit Quellen in Betracht, die andere Einschränkungen aufweisen. Keine dieser Maßnahmen garantiert eine vollkommen verzerrungsfreie Studie.
Mache verbleibende Grenzen in einer Sprache deutlich, die auch die Schlussfolgerung prägt. „Unter den von uns rekrutierten aktiven Nutzenden“ ist präziser als „Kundschaft“ – und manchmal ist genau diese Einschränkung das, was ein Ergebnis vertrauenswürdig macht. Eine nützliche Einordnung von Verzerrungen erklärt, was die Entscheidung ändern könnte und welche weiteren Belege helfen würden, letzte Zweifel auszuräumen.