Glossar

Moderator-Bias

Glossar

Moderator-Bias

Moderator-Bias

Moderator Bias bezeichnet die systematische Beeinflussung durch Formulierungen, Reaktionen, Hilfestellungen oder Interpretationen von Forschenden, die das Verhalten der Teilnehmenden oder die daraus resultierenden Ergebnisse verfälscht.

Ein Interviewer sagt „super“, sobald eine Testperson den gedachten Button findet, verstummt aber, wenn sie einen anderen Weg wählt. Keine dieser Reaktionen steht im Leitfaden, doch beide signalisieren der Person, welches Verhalten im Test erwünscht ist. Moderator Bias ist der systematische Einfluss durch das Verhalten der Moderation auf Handlungen, Antworten oder deren Interpretation.

Er kann sich durch Wortwahl, Tonfall, Nachfragen, Hilfestellungen und selektive Aufmerksamkeit einschleichen. Gute Absichten verhindern das nicht. Die pragmatische Lösung: genau hinsehen, was die Moderation in die Session einbringt, und Abläufe schaffen, die verzerrenden Einfluss schneller sichtbar machen.

Fragen darauf prüfen, ob sie die Antwort schon vorgeben

„Hat das neue Layout die Aufgabe erleichtert?“ gibt sowohl einen Vergleich als auch eine positive Wertung vor. „Wie sind Sie bei dieser Aufgabe vorgegangen?“ lässt Raum für Schilderungen, die vielleicht gar nichts mit dem Layout zu tun haben. Die Empfehlungen der Nielsen Norman Group zu Leitfragen zeigen, wie eine Frage genau die Antwort provozieren kann, die das Team später als eigene Erkenntnis verbucht.

Spontane Nachfragen sollten genauso kritisch geprüft werden wie das eigentliche Skript. Formulierungen der Teilnehmenden aufzugreifen hilft beim Klären von Aussagen – sie durch interne Team-Begriffe zu ersetzen, kann den Sinn jedoch verfälschen. Ein Interviewleitfaden sorgt für Konsistenz, lässt aber genug Spielraum, um unerwarteten Details nachzugehen.

Neutralität bedeutet keineswegs Kälte. Moderierende können Wertschätzung zeigen, aufmerksam zuhören und organisatorische Dinge klären – ganz ohne bestimmte Antworten zu loben oder das Produkt zu verteidigen.

Festlegen, wie mit Hilfestellungen umgegangen wird

In einem fiktiven Test eines Buchungssystems findet eine Testperson nicht heraus, wie sie einen Termin ändert. Ein kleiner Hinweis bringt die Session zwar zum nächsten Schritt, die gelöste Aufgabe ist ab da jedoch kein selbstständiger Erfolg mehr. Solche Eingriffe und ihr Zeitpunkt sollten dokumentiert werden, statt das Ergebnis als eigenständige Leistung zu werten.

Regeln für Hilfestellungen sollten vorab geklärt sein – etwa bei technischen Problemen, Frustration oder dem Punkt, an dem ein Weitermachen keinen Erkenntnisgewinn mehr bringt. Wichtig ist, diese Regeln einheitlich anzuwenden, damit Vergleiche valide bleiben. Welche Regel passt, hängt davon ab, ob spätere Interaktionsschritte erkundet werden sollen oder ob es um die ungestützte Nutzung geht.

Moderieren mehrere Personen, lohnt es sich, den Ablauf gemeinsam durchzugehen und einen Pilot-Test auszuwerten. Unterschiede in Sprache und Unterstützung werden sonst schnell fälschlicherweise dem Design zugeschrieben.

Die Rolle der Moderation in der Analyse sichtbar machen

Für valide Ergebnisse gehört immer auch die gestellte Frage dazu, nicht nur die Antwort der Testperson. Ein Zitat nach einer stark leitenden Frage muss anders bewertet werden als dieselbe Aussage, wenn sie spontan fällt. Beobachtende können Eingriffe protokollieren, und Videoaufnahmen helfen dem Team, Momente noch einmal anzusehen, die im Test selbst unauffällig wirkten.

Wenn möglich, sollte die moderierende Person nicht wissen, welche Variante das Team favorisiert, oder es sollten neutrale Bezeichnungen für Alternativen genutzt werden. Das dämpft Erwartungshaltungen, ohne gleich den gesamten Testaufbau verblinden zu müssen.

Ein unmoderiertes Format eignet sich für Aufgaben, die kein direktes Nachhaken erfordern – doch auch in diesen Aufgabenstellungen stecken die Vorannahmen des Teams. Nur weil niemand live moderiert, erübrigt sich die kritische Prüfung des Studiendesigns keineswegs. Das Ziel sind verlässliche Erkenntnisse mit transparenter Methodik – nicht die Illusion, menschlicher Einfluss ließe sich komplett ausblenden.

Weiterführende Links & Lesetipps

Artikel

  1. Suggestivfragen — Nielsen Norman Group
    Zeigt, wie eine Frage die Antwort nahelegen kann, die ein Researcher erwartet. Hilfreich beim Überarbeiten eines Interviewleitfadens oder bei der Analyse von Momenten, in denen die Moderation Teilnehmende beeinflusst haben könnte.

Bücher

  1. Interviewing Users, 2. Auflage — Steve Portigal
    Beleuchtet die Rolle von Interviewenden beim Entlocken und Interpretieren von Schilderungen. Nützlich, um eigene Gewohnheiten zu hinterfragen, die ein Gespräch prägen – weit über das bloße Vermeiden offensichtlicher Suggestivfragen hinaus.