Teilnehmende können eine wohlüberlegte, ehrliche Antwort geben, die trotzdem nicht das misst, was Forschende eigentlich erfassen wollten. Sie stufen eine der letzten Wochen vielleicht als typisch ein, verstehen unter „regelmäßig“ etwas ganz anderes als die nächste Person oder stimmen einer Aussage zu, weil die Formulierung Widerspruch unangenehm macht. Bei Response Bias geht es genau um solche systematischen Verzerrungen im Antwortverhalten.
Das unterscheidet sich vom Sampling Bias, der beeinflusst, wer überhaupt in die Studie aufgenommen wird, und vom Non-Response Bias, bei dem es darum geht, wer überhaupt antwortet. Auch eine sorgfältig rekrutierte Stichprobe kann auf schlecht formulierte Fragen antworten – und selbst eine große Zahl solcher Antworten gleicht die Verzerrung nicht aus.
Versteckten Druck in Fragen erkennen
Soziale Erwünschtheit kann dazu führen, dass manche Antworten leichter fallen als andere. Die sogenannte Akquieszenz fördert die Neigung, Aussagen einfach zuzustimmen. Erinnerungslücken können Angaben zu Häufigkeit oder Zeitpunkten verfälschen, und vorangegangene Fragen beeinflussen oft, wie spätere verstanden werden. Diese Mechanismen sollte man jedoch nicht darauf verkürzen, dass Teilnehmende einfach nur das sagen, was Forschende hören wollen.
Eine fiktive Studie zur Mülltrennung im Haushalt verdeutlicht den Unterschied: Die Frage „Trennen Sie Ihren Müll immer vorschriftsmäßig?“ verlangt nach einem idealisierten Urteil, ohne zu definieren, was „vorschriftsmäßig“ eigentlich bedeutet. Fragt man stattdessen, was kürzlich mit einem ganz bestimmten Gegenstand passiert ist, bezieht sich das auf eine konkrete Situation – auch wenn Erinnerung und Selbstdarstellung natürlich weiterhin eine Rolle spielen.
Die Erklärung des Pew Research Center zur Formulierung von Fragen zeigt, warum klare, neutrale Formulierungen Fingerspitzengefühl erfordern. Die Antwort wird immer auch von dem Instrument geprägt, mit dem sie erhoben wird.
Präzise Antworten leichter machen
Stellen Sie immer nur eine klare Frage auf einmal, grenzen Sie den Zeitraum sinnvoll ein und nutzen Sie eine verständliche Sprache. Die Antwortoptionen sollten realistische Erfahrungen abbilden – inklusive Optionen für Unsicherheit oder Fälle, in denen eine Frage nicht zutrifft. Vermeiden Sie es, Wertungen, Vorwürfe oder die bevorzugte Lesart des Teams in die Frage einfließen zu lassen.
Erklären Sie offen und präzise, wie mit den Daten umgegangen wird. Vertraulichkeit kann Bedenken abbauen, darf aber nicht als Anonymität bezeichnet werden, wenn Antworten noch einer Person zugeordnet werden können. In Interviews hilft eine freundliche, aber neutrale Haltung dabei, dass sich auch unbequeme Antworten nicht wie ein sozialer Konflikt anfühlen.
Testen Sie die Fragen vorab, indem Sie Testpersonen fragen, wie sie die Fragen verstanden haben und wie sie zu ihren Antworten gekommen sind. So lassen sich Probleme aufdecken, die bei einer internen Prüfung der Formulierungen leicht übersehen werden. Es lohnt sich auch zu prüfen, welche Rolle die Reihenfolge der Fragen spielt und ob der Aufbau zu monotonen Antwortmustern verleitet.
Widersprüche zwischen Aussagen und Verhalten untersuchen
Der Abgleich von Selbstauskünften mit beobachtetem oder protokolliertem Verhalten kann wichtige Diskrepanzen aufdecken – doch auch die Verhaltensdaten müssen kritisch geprüft werden. Vielleicht bezieht sich die Umfrage auf einen anderen Zeitraum, das Tracking erfasst nicht jedes Gerät oder die Teilnehmenden definieren eine Aktivität anders als das Studiendesign.
Nutzen Sie Triangulation, um solchen Mustern auf den Grund zu gehen, anstatt vorschnell eine Quelle als wahr und die andere als falsch abzutun. Beim Beispiel der Mülltrennung könnte die Erklärung einer Person zeigen, dass schlicht unklar war, wie ein bestimmtes Material entsorgt werden muss – was ein reines Zählen von Mülltonnenleerungen nie ans Licht bringen würde.
Veröffentlichen Sie bei aussagekräftigen Ergebnissen immer auch den genauen Wortlaut der Fragen, die Antwortoptionen und die Rahmenbedingungen der Studie. Leserinnen und Leser sollten nachvollziehen können, was genau gefragt wurde, bevor ein Prozentwert als Beleg für bestimmte Einstellungen oder Lebensweisen herangezogen wird.