Die Kund*innen, die am leichtesten zu erreichen sind, sind nicht immer diejenigen, für die eine Entscheidung gedacht ist. Wer über das eigene Community-Forum rekrutiert, erreicht vielleicht versierte Power-User, übersieht dabei aber Personen, die einmal Probleme hatten und nie wieder zurückgekehrt sind. Wenn man einfach mehr Leute über denselben Kanal rekrutiert, wird das Ergebnis zwar präziser, aber nicht repräsentativer.
Ein Sampling Bias entsteht, wenn die Zielgruppe durch Abdeckung oder Auswahl systematisch so verzerrt wird, dass es die Forschungsfrage beeinflusst. Ungleiche Auswahlwahrscheinlichkeiten sind nicht per se problematisch – manche probabilistischen Methoden nutzen sie ganz bewusst und gleichen das in der Analyse aus. Entscheidend ist, ob die Methodik die Rückschlüsse stützt, die über die eigentliche Zielgruppe gezogen werden.
Klar definieren, für wen die Erkenntnisse gelten sollen
„Alle Nutzer*innen“ ist meist zu vage für ein gezieltes Recruiting. Bei einer Frage zum Onboarding braucht man Personen, die es vor Kurzem ausprobiert haben – auch jene, die vorzeitig abgebrochen haben. Geht es um komplexe Reporting-Workflows, sind erfahrene Admins gefragt. Jede dieser Gruppen verlangt nach anderen Recruiting-Wegen.
Definiert die Zielgruppe, die verfügbaren Kanäle und wen der jeweilige Kanal ausschließt. Eine In-App-Einladung erreicht niemanden mehr, der das Produkt nicht mehr öffnet. Eine E-Mail-Einladung setzt eine funktionierende Adresse und Zugriff auf das Postfach voraus. Eine reine Desktop-Studie schließt womöglich Leute aus, deren Mobile-Erfahrung für die Entscheidung ausschlaggebend ist.
Die Best Practices der AAPOR für die Umfrageforschung betonen, wie wichtig es ist, genau zu prüfen, wie eine Studie ihre Zielgruppe erreicht. Das gilt genauso für die Produktforschung: Macht euch erst klar, wie die Leute in die Stichprobe gelangt sind, bevor ihr ihre Aussagen interpretiert.
Recruiting-Methode und Aussagekraft müssen zusammenpassen
Eine Zufallsstichprobe aus einer passenden Grundgesamtheit erlaubt fundierte Hochrechnungen – vorausgesetzt, Design und Analyse erfüllen die nötigen Annahmen. Ein gezieltes Sampling (Purposive Sampling) wählt Teilnehmende nach relevanten Erfahrungen aus und ist super, um Prozesse zu erkunden oder Nuancen zu verstehen. Letzteres sollte aber nicht plötzlich als repräsentativ gelten, nur weil die Ergebnisse als Prozentwerte dargestellt werden.
Quoten können helfen, ausgewählte Merkmale besser auszubalancieren. Sie sorgen aber nicht automatisch für ein realistisches Gesamtbild. Ein Sample nach Alter zu quotieren, hilft wenig, wenn alle Teilnehmenden überdurchschnittlich engagierte Nutzer*innen sind. Mehr Recruiting-Kanäle verbessern oft die Abdeckung, bringen aber auch Unterschiede mit sich, die man festhalten sollte.
Bei einer fiktiven Sprachlern-App könnten Interviews mit täglichen Nutzer*innen spannende Einblicke in fortgeschrittene Lernroutinen liefern. Um zu verstehen, warum Neulinge schon bei der ersten Lektion abbrechen, wären sie die falsche Basis. Dieselbe Stichprobe kann für eine Frage extrem nützlich sein und für eine andere völlig ungeeignet.
Grenzen der Daten transparent im Report festhalten
Haltet Kriterien, Recruiting-Wege, Incentives und alle Merkmale fest, die für die Einordnung wichtig sind. Formuliert Schlussfolgerungen, die tatsächlich durch die Daten gedeckt sind: Ein Ergebnis aus der aktiven Community sollte auch genau so benannt werden. Das ist besonders wichtig, weil prägnante Zitate oft schneller geteilt werden als der Methodenteil.
Trennt den Selection Bias klar vom Non-Response Bias – also den Unterschieden zwischen Leuten, die antworten, und jenen, die es nicht tun. Beides kann eine Studie verzerren, und beides lässt sich nicht einfach dadurch beheben, dass man das Sample vergrößert.
Wenn die fehlende Gruppe die Entscheidung verändern könnte, untersucht sie – wo immer möglich – direkt. Ist sie nicht erreichbar, macht diese Unsicherheit zur Grundlage eurer Entscheidung, statt sie hinter pauschalen Begriffen wie „Kundenfeedback“ zu verstecken.