Eine Umfrage kann tausende Antworten zählen und trotzdem eine wesentliche Gruppe überhören. Das Problem ist nicht einfach, wie viele Personen abgesagt haben – sondern ob ihr Fehlen das Ergebnis verändert. Ein Non-Response-Bias (Teilnahmeverzerrung) entsteht, wenn sich Teilnehmende und Nicht-Teilnehmende in Merkmalen unterscheiden, die für das gemessene Ergebnis entscheidend sind.
Unit-Non-Response bedeutet, dass eine ausgewählte Person gar nicht teilnimmt. Item-Non-Response bedeutet, dass eine teilnehmende Person eine bestimmte Frage unbeantwortet lässt. Beides verdient Aufmerksamkeit, bedeutet aber nicht automatisch eine Verzerrung. Die Rücklaufquote beschreibt lediglich die Beteiligung; für sich allein genommen verrät sie nichts über die Meinungen oder Umstände der fehlenden Personen.
Prüfen, was die Teilnahme mit dem Ergebnis verknüpfen könnte
Nehmen wir als Beispiel eine fiktive Lernplattform, die alle befragt, die einen Kurs begonnen haben. Personen, die ihn abgeschlossen haben, sind möglicherweise eher bereit, über ihre Erfahrungen zu sprechen, als diejenigen, die nach der ersten Lektion ausgestiegen sind. Wenn das Team die Zufriedenheit nur anhand der eingegangenen Antworten auswertet, beschreibt es womöglich eine ganz andere Gruppe als die, von der im Fazit die Rede ist.
Die Richtung ist nicht immer vorhersehbar. In einem anderen Kontext sind vielleicht gerade unzufriedene Personen besonders motiviert zu antworten. Gehen Sie nicht davon aus, dass Schweigen automatisch Zufriedenheit oder Enttäuschung bedeutet; untersuchen Sie stattdessen den Mechanismus, der die Teilnahme für die Fragestellung relevant machen könnte.
Die Standarddefinitionen der AAPOR erklären, warum Rücklaufquoten zwar nützlich, aber unzureichend sind, um Non-Response-Fehler zu beurteilen. Eine hohe Quote beantwortet nicht jede Qualitätsfrage, und eine niedrige Quote beziffert nicht das Ausmaß einer möglichen Verzerrung.
Informationen jenseits der Antworten nutzen
Sofern passende Daten für die eingeladene Gruppe vorliegen, sollten Sie die Teilnahme anhand relevanter Merkmale wie Kursfortschritt, Zugehörigkeitsdauer oder Tarif vergleichen. Unterschiede können auf Schwachstellen hinweisen und gezieltes Nachhaken leiten. Ein Abgleich dieser Merkmale beweist jedoch nicht, dass Teilnehmende und Nicht-Teilnehmende dieselben, nicht erfassten Einstellungen teilen.
Eine kürzere Nachfassaktion oder ein alternativer Kontaktkanal kann einige Personen erreichen, die zunächst nicht geantwortet haben. Bewerten Sie diese zusätzlichen Daten mit Bedacht: Wer erst beim zweiten Versuch antwortet, ist nicht zwingend repräsentativ für alle, die weiterhin fehlen. Spätantwortende können wertvolle Hinweise liefern, sind aber kein universeller Stellvertreter.
Übersprungene Fragen sollten Sie separat analysieren. Fehlende Antworten können auf heikle Themen, unklare Formulierungen, mangelnde Relevanz oder das Fehlen einer passenden Antwortoption hinweisen. Jede dieser Ursachen erfordert einen anderen Ansatz beim Fragebogendesign.
Aufwand reduzieren und verbleibende Unsicherheiten offenlegen
Achten Sie auf eine angemessene Umfragelänge, klare Einladungen, barrierefreie Gestaltung und gegebenenfalls eine faire Aufwandsentschädigung. Respektieren Sie Kontaktpräferenzen und vermeiden Sie wiederholten Druck. Eine höhere Teilnahmequote darf nicht auf Kosten der Freiheit gehen, eine Teilnahme abzulehnen.
Gewichtung kann bekannte Unterschiede unter definierten Annahmen ausgleichen, garantiert aber nicht, dass die tatsächlichen Ansichten der fehlenden Personen abgebildet werden. Dokumentieren Sie deshalb den Rekrutierungsprozess, die Teilnahmekennzahlen, Ausschlüsse und alle Anpassungen direkt zusammen mit den Ergebnissen.
Trennen Sie dies klar vom Sampling-Bias (Stichprobenverzerrung), der durch Abdeckung oder Auswahl entsteht, und vom Response-Bias (Antwortverzerrung), bei dem es darum geht, wie Antworten zustande kommen. Im Beispiel der Lernplattform hat eine Umfrage, die nur an Personen mit Kursabschluss geht, bereits ein Abdeckungsproblem, noch bevor jemand entscheidet, ob er antwortet. Wenn man die jeweilige Phase präzise benennt, kann das Team die Studie an der richtigen Stelle verbessern.