Laut einer Umfrage befürworten 52 % der Befragten einen Vorschlag – bei einer Fehlerspanne von drei Prozentpunkten. Beim angegebenen Konfidenzniveau und unter den Annahmen der Erhebung ergibt sich daraus eine Spanne von 49 % bis 55 %. Dieser Wert beschreibt einen Teil der Unsicherheit, nicht den maximal möglichen Fehler der gesamten Umfrage.
Die statistische Fehlerspanne wird meist als halbe Breite eines symmetrischen Konfidenzintervalls angegeben. Manche Intervalle sind jedoch asymmetrisch. In solchen Fällen bilden die tatsächliche Unter- und Obergrenze das Ergebnis präziser ab, als es krampfhaft in einen einzigen Plus-Minus-Wert zu pressen.
Verstehen, welche Unsicherheit die Zahl tatsächlich abdeckt
Stichprobenvarianz entsteht, weil unterschiedliche Stichproben zu unterschiedlichen Schätzungen führen können. Eine klassische Fehlerspanne beschreibt genau diese Streuung basierend auf dem Stichprobendesign oder -modell. Sie berücksichtigt nicht automatisch fehlende Zielgruppen, Antwortausfälle, missverstandene Fragen oder ungenaue Angaben.
Die Erläuterung des Pew Research Center zu Fehlerspannen bei Umfragen beleuchtet diese Grenzen und den Einfluss des Studiendesigns. Dieser Unterschied ist auch in der Produktforschung entscheidend: Einer freiwilligen Kundenumfrage sollte man nicht einfach die Fehlerspanne einer Zufallsstichprobe zuschreiben, nur weil die Zahl der Antworten bekannt ist.
Wird für eine nicht-probabilistische Stichprobe ein modellbasiertes Unsicherheitsmaß verwendet, sollte man dies klar benennen und die Annahmen offenlegen. Die Berechnung braucht eine fundierte Begründung – die bloße Ähnlichkeit mit einer vertrauten Umfrageformel reicht nicht aus.
Präzision planen, bevor Antworten gesammelt werden
Nimmt man näherungsweise eine einfache Zufallsstichprobe für einen Anteilswert von rund 50 % an – bei einem Konfidenzniveau von 95 % und einer großen Grundgesamtheit –, führen 100 Beobachtungen zu einer Fehlerspanne von etwa 9,8 Prozentpunkten; 400 Beobachtungen zu etwa 4,9 Punkten. Eine Vervierfachung der Stichprobe halbiert die Fehlerspanne unter diesen Bedingungen also in etwa.
Das sind anschauliche Rechenbeispiele, keine universellen Vorgaben für die Rekrutierung. Die Schätzung, das Konfidenzniveau, Gewichtungen, Clusterbildungen und endliche Grundgesamtheiten können das Ergebnis beeinflussen. Macht eine Stichprobe einen wesentlichen Teil der Grundgesamtheit aus, fällt die Endlichkeitskorrektur womöglich ins Gewicht; bei einem winzigen Bruchteil einer sehr großen Population spielt sie meist kaum eine Rolle.
Am besten plant man von der eigentlichen Entscheidung her rückwärts. Eine Studie, die feine Unterschiede aufdecken soll, erfordert mehr Präzision als eine, die nur grobe Muster erkennen will. Eine größere Stichprobe kann helfen, sollte sich aber an der wirklich relevanten Unsicherheit orientieren – nicht an einer schön gerundeten Zahl.
Für den tatsächlichen Vergleich neu berechnen
Die für die Gesamtstichprobe angegebene Fehlerspanne lässt sich nicht eins zu eins auf kleinere Teilgruppen übertragen. Nutzt beispielsweise nur ein Teil der Befragten einen bestimmten Tarif, unterliegen Schätzungen für diese Gruppe einer eigenen Unsicherheit und können zusätzlich durch Gewichtungen oder das Stichprobendesign beeinflusst werden.
Genauso verlangt der Unterschied zwischen zwei Schätzwerten eine passende Differenzanalyse. Wenn sich zwei separate Intervalle überschneiden, bedeutet das nicht automatisch, dass kein statistisch nachweisbarer Unterschied vorliegt. Konfidenzintervalle und statistische Signifikanz bieten hierfür verwandte Ansätze – beide erfordern jedoch den korrekten Vergleich und passende Annahmen.
Geben Sie den Schätzwert, das Konfidenzniveau, Details zur Stichprobe bzw. effektiven Stichprobengröße sowie die Berechnungsmethode an. Machen Sie auch Non-Response-Bias und andere methodische Einschränkungen direkt daneben transparent. Die Fehlerspanne ist wertvoll, weil sie eine bestimmte Unsicherheit klar beziffert – solange man nicht erwartet, dass sie für die Qualität der gesamten Studie bürgt.