Zwei Forschende beobachten dieselbe Usability-Session. Die eine Person wertet die Aufgabe als Erfolg, weil der Teilnehmer den letzten Bildschirm erreicht hat; die andere stuft sie als Misserfolg ein, da die eingegebenen Daten falsch waren. Diese Uneinigkeit offenbart bereits vor jeder Mittelwertbildung ein echtes Messproblem.
Bei der Reliabilität geht es um Konsistenz unter definierten Messbedingungen. Dazu können wiederholte Messungen über die Zeit, unterschiedliche Rater oder verwandte Items innerhalb einer Skala gehören. Welche Form relevant ist, hängt davon ab, was das Team messen will und wie das Ergebnis genutzt werden soll.
Festlegen, welche Konsistenz zählt
Die Test-Retest-Reliabilität betrifft die Stabilität, wenn das zugrunde liegende Merkmal über den Zeitraum hinweg voraussichtlich unverändert bleibt. Wenn sich das Erleben einer Person zwischen zwei Messungen tatsächlich verändert, bedeutet ein abweichender Wert nicht automatisch Unzuverlässigkeit. Die Studie muss nachvollziehbar begründen, was stabil geblieben sein sollte.
Die Inter-Rater-Reliabilität betrifft die Übereinstimmung zwischen Personen, die Bewertungen vornehmen. Die interne Konsistenz betrachtet den Zusammenhang zwischen Items, die dasselbe Konstrukt erfassen sollen. Ein hoher interner Konsistenzkoeffizient beweist jedoch nicht, dass ein Fragebogen eindimensional oder valide ist; auch redundante Items können zu hohen Werten führen.
Das COSMIN-Mess-Framework unterscheidet Messeigenschaften bei gesundheitsbezogenen Instrumenten. Seine Terminologie hilft zu verstehen, warum Reliabilität, Messfehler und Validität jeweils andere Belege erfordern – auch wenn man seine spezifischen Standards nicht unreflektiert auf jede Produktmetrik übertragen sollte.
Bewertungsregeln konkret machen
Zurück zum Usability-Beispiel: Vor der nächsten Runde muss definiert werden, was Erfolg eigentlich bedeutet. Erfordert er eine fehlerfreie Eingabe, ein eigenständiges Lösen und das Erkennen, dass die Aufgabe abgeschlossen ist? Was passiert, wenn die Versuchsleitung hilft oder der Prototyp streikt? Ein Bewertungsleitfaden sollte diese Unterschiede so klar regeln, dass sie sich konsistent anwenden lassen.
Lassen Sie Rater eine geeignete Stichprobe unabhängig voneinander bewerten und analysieren Sie anschließend Unstimmigkeiten. Wählen Sie ein Maß, das zum Datentyp und Versuchsdesign passt, anstatt reflexartig auf einen vertrauten Koeffizienten zurückzugreifen. Dokumentieren Sie die Regel und alle Anpassungen, damit künftige Vergleiche nicht unbemerkt auf einer anderen Definition basieren.
Behalten Sie bei wiederkehrenden Befragungen den Wortlaut, die Antwortoptionen und relevante Durchführungsbedingungen bei, wenn Vergleichbarkeit gefordert ist. Muss das Instrument angepasst werden, untersuchen Sie den Effekt, statt einfach davon auszugehen, dass alte und neue Daten nahtlos zusammenpassen.
Übereinstimmung nicht mit Richtigkeit verwechseln
Validität hinterfragt, ob das Ergebnis die beabsichtigte Interpretation tatsächlich stützt. Zwei Rater können sich auf eine unpassende Definition einigen, und ein stabiler Messwert kann schlicht das Falsche erfassen. Daten zur Reliabilität helfen dabei, die Messqualität einzuschätzen – lösen diese Grundsatzfragen aber nicht.
Auch in der qualitativen Analyse gibt es unterschiedliche methodische Ansätze. Ein gemeinsames Coding-Framework eignet sich gut, um die Konsistenz beim Codieren zu prüfen. Eine reflexive thematische Analyse interpretiert Daten hingegen anders und zielt nicht zwingend auf austauschbare Codierende ab. Wählen Sie Gütekriterien, die zur jeweiligen Methode passen, statt allen qualitativen Arbeiten pauschal eine Inter-Rater-Übereinstimmung überzustülpen.
Geben Sie die Art der Reliabilität, die Stichprobe, die Bedingungen und relevante Unsicherheiten transparent an. Verzichten Sie auf pauschale Schwellenwerte, nach denen jede Messung als akzeptabel eingestuft wird. Das erforderliche Maß an Konsistenz hängt immer von den Konsequenzen eines Fehlers und der Entscheidung ab, die auf der Messung aufbaut.