Zwölf von zwanzig Personen schließen eine Aufgabe erfolgreich ab. Die beobachtete Erfolgsquote liegt bei 60 %, aber eine andere Stichprobe könnte ein anderes Ergebnis liefern. Ein Konfidenzintervall drückt die Unsicherheit um eine Schätzung herum aus – basierend auf einer Methode, die unter ihren Annahmen eine bestimmte langfristige Abdeckungsrate aufweist.
Das Intervall hilft dem Team zu erkennen, wie aussagekräftig die Daten tatsächlich sind. Ein schmaler Bereich ermöglicht oft recht präzise Entscheidungen; ein breiter Bereich lässt auch ganz andere Ergebnisse mit den Daten vereinbar erscheinen. Weder die Breite noch das Konfidenzniveau schützen jedoch vor einer unsauber definierten Metrik oder einer verzerrten Rekrutierung.
Was ein 95%-Konfidenzintervall bedeutet
Würden die Studie und die Berechnung unter denselben Annahmen wiederholt, würde eine Methode mit 95 % Abdeckung in etwa 95 % der Fälle Intervalle liefern, die den tatsächlichen Wert enthalten. Das Konfidenzniveau beschreibt genau dieses Verfahren. Es ist keine Wahrscheinlichkeit dafür, dass der feste Populationswert nach der Berechnung innerhalb genau dieses einen Intervalls liegt.
Die Erklärung von Konfidenzintervallen des NIST beschreibt diesen Ansatz über wiederholte Stichprobenziehungen. Im Arbeitsalltag ist es sinnvoll, Schätzwert, Intervall, Konfidenzniveau und Methode immer gemeinsam zu nennen – statt das Ergebnis auf einen Prozentwert mit unkommentierten Klammern zu reduzieren.
Ein Intervall für einen Mittelwert oder Anteil unterscheidet sich auch von einem Bereich, der einzelne Ergebnisse abbildet. Ein Konfidenzintervall um die durchschnittliche Bearbeitungszeit bedeutet nicht, dass 95 % der Teilnehmenden innerhalb dieser Grenzen liegen.
Den Bereich mit Blick auf die Entscheidung bewerten
Für das Beispiel von 12 Erfolgen bei 20 unabhängigen binären Beobachtungen liegt das 95%-Wilson-Intervall bei etwa 39 % bis 78 %. Die beobachtete Quote bleibt 60 %; der Bereich zeigt, wie gering die Genauigkeit dieses kleinen Datensatzes unter dem Modell ist. Das NIST beschreibt die Wilson-Methode für Anteile, die einige Schwächen der einfachen symmetrischen Näherung umgeht.
Braucht das Team verlässliche Belege dafür, dass die Leistung ein anspruchsvolles Ziel übertrifft, bleibt bei diesen Daten womöglich zu viel Ungewissheit. Hat sich in den Tests jedoch ein eindeutiges, schnell lösbares Formulierungsproblem gezeigt, lässt sich das sinnvoll beheben, ohne erst die Erfolgsquote für die gesamte Population exakt zu bestimmen. Das Intervall liefert Kontext für die Entscheidung – es gibt nicht vor, welche Schritte sich lohnen.
Für einen Vergleich berechnet man das Intervall am besten direkt für die Differenz oder den relevanten Effekt. Nur zu prüfen, ob zwei separate Intervalle überlappen, ersetzt keine saubere Vergleichsanalyse – denn dieser Zusammenhang hängt vom Studiendesign und der Abhängigkeit der Schätzwerte ab.
Eine Methode wählen, die zu den Daten passt
Wiederholte Versuche derselben Person sind nicht zwingend unabhängig voneinander. Auch Antworten von Nutzerinnen und Nutzern aus derselben Organisation können zusammenhängen. Gewichtungen, Cluster und sequentielle Analysen verändern die passende Berechnung. Wird eine vertraute Formel auf die falsche Datenstruktur angewendet, kann das zu einem fälschlicherweise viel zu engen Bereich führen.
Größere Stichproben, geringere Streuung und ein niedriger gewähltes Konfidenzniveau können Intervalle verengen. Das Konfidenzniveau jedoch erst nach Vorliegen der Ergebnisse anzupassen, verfälscht die geplante Analyse. Methode und Annahmen sollten offen dargelegt werden – einschließlich aller wichtigen Abweichungen.
Stichprobenverzerrungen und Antwortverzerrungen (Response Bias) werden von einem klassischen Stichprobenintervall nicht erfasst. Sie gehören separat ausgewiesen. Ein Konfidenzintervall entfaltet seinen größten Nutzen, wenn es die Unsicherheit einer fundierten Schätzung transparent macht – statt fragwürdigen Daten den Anschein mathematischer Genauigkeit zu verleihen.