Glossar

Benchmarking

Glossar

Benchmarking

Benchmarking

Benchmarking vergleicht die Leistung mit einer definierten Referenz – etwa einer früheren Produktversion, einem Mitbewerber oder einem relevanten externen Datensatz.

Eine Task-Completion-Rate von 78 % wirft direkt eine Frage auf: Ist das gut? Die Antwort hängt davon ab, was die Teilnehmenden erreichen wollten, wer mitgemacht hat und was passiert, wenn etwas schiefgeht. Ein übersehener Artikel beim lockeren Stöbern und ein gescheiterter Versuch, ein wichtiges Dokument abzurufen, sollten nicht denselben Zielwert haben – nur weil sich beides in Prozent ausdrücken lässt.

Beim Benchmarking wird die Leistung mit einem festen Referenzpunkt verglichen, etwa einer früheren Version des Produkts, einem Konkurrenzprodukt oder einem passenden externen Datensatz. Das macht Ergebnisse leichter interpretierbar – allerdings nur, wenn die Referenz auch relevant genug für den Vergleich ist.

Wähle eine Referenz, die zur Entscheidung passt

Ein interner Benchmark zeigt, ob sich ein Produkt verbessert. Eine Wettbewerbsstudie verfolgt ein anderes Ziel: Sie zeigt, wie gut Menschen vergleichbare Aufgaben mit alternativen Produkten lösen können. Externe Standards können Orientierung für bewährte Metriken bieten, auch wenn Unterschiede bei Zielgruppe, Aufgaben und Rahmenbedingungen weiterhin eine Rolle spielen.

Vor der Wahl einer Referenz sollte klar sein, welches Ergebnis wirklich zählt. Der Aufgabenerfolg steht oft im Mittelpunkt, wenn eine bestimmte Aktion abgeschlossen werden muss; die wahrgenommene Usability hilft eher dabei, das Gesamterlebnis einzuschätzen. Die Bearbeitungszeit braucht Kontext, denn ein schnelles Verlassen kann für effizientes Erledigen stehen – oder für einen frustrierten Abbruch. Der Benchmarking-Leitfaden der Nielsen Norman Group erklärt, wie man passende Kennzahlen auswählt und konsistent erfasst.

Übernimm Branchenwerte nicht einfach nur, weil sie verfügbar sind. Prüfe, woher sie stammen, wie gemessen wurde und ob der Vergleich überhaupt eine sinnvolle Produktentscheidung beeinflussen würde. Ein präziser, aber irrelevanter Durchschnittswert hilft weniger als eine solide, gut dokumentierte Studie zu den Aufgaben, die deine Kundinnen und Kunden tatsächlich erledigen müssen.

Plane die Studie so, dass sie vergleichbar bleibt

Für einen Vergleich zweier Reporting-Tools solltest du den Teilnehmenden gleichwertige Ziele statt identischer Klickanleitungen geben. „Lade die Rechnung für März herunter“ funktioniert über verschiedene Navigationsstrukturen hinweg; „Öffne den Reiter ‚Abrechnung‘“ bevorzugt hingegen das Produkt, das diesen Begriff zufällig nutzt.

Entscheide, ob dieselben Personen beide Produkte testen oder separate Gruppen eingesetzt werden. Dieselben Teilnehmenden zu nutzen, macht es leichter, individuelle Unterschiede herauszurechnen, bringt aber Lerneffekte und Verzerrungen durch die Reihenfolge mit sich. Getrennte Gruppen vermeiden diese Effekte, brauchen aber genug Teilnehmende, um Schwankungen zwischen ihnen auszugleichen. Das Versuchsdesign sollte zu deiner Fragestellung und den praktischen Rahmenbedingungen passen.

Halte das Protokoll, die Kriterien für das Recruiting und die Bewertungsregeln konsistent. Bei wiederkehrenden Tests sollte die erste Basismessung so detailliert dokumentiert sein, dass andere die Studie wiederholen können, ohne Annahmen rekonstruieren zu müssen.

Erkläre den Unterschied – und geh den Ursachen nach

Nenne neben dem Hauptvergleich auch Stichprobengrößen und Messunsicherheiten. Ein kleiner Unterschied ist oft zu vage für klare Schlüsse, und selbst ein deutlicher Unterschied muss oft erst verstanden werden. Videoaufzeichnungen und Feedback der Teilnehmenden helfen zu erkennen, ob Probleme an der Navigation, der Sprache oder schlicht an einer fehlenden Funktion lagen.

Diese Beobachtungen liefern die Basis für die nächste Designentscheidung – der Benchmark allein sagt dem Team noch nicht, was es bauen soll. Genauso wenig beweist eine Verbesserung zwischen zwei Studien, dass ein bestimmtes Release der Grund war, wenn sich gleichzeitig das Recruiting oder andere Bedingungen geändert haben.

Ein gutes Benchmarking-Programm sichert Vergleichbarkeit, bleibt aber offen dafür, überholte Messwerte anzupassen. Wenn sich der Zweck des Produkts ändert, dokumentiere, warum der alte Benchmark nicht mehr passt, und setze einen neuen Referenzpunkt. Einen irrelevanten Wert nur für eine lückenlose Trendlinie weiterzupflegen, hilft niemandem, die tatsächliche Leistung wirklich zu verstehen.

Weiterführende Links & Lesetipps

Artikel

  1. Product UX benchmarks — Nielsen Norman Group
    Leitfaden zum Vergleich von Experience-Metriken mit einem Referenzwert. Hilfreich, um einzuschätzen, ob Aufgaben, Teilnehmende und Rahmenbedingungen ähnlich genug sind, damit der Vergleich wirklich aussagekräftig ist.

Bücher

  1. Measuring the User Experience, third edition — Bill Albert und Tom Tullis
    Erklärt, wie man UX-Metriken erhebt, analysiert und vermittelt. Praktisch, um ein Benchmark-Konzept zu entwickeln, das Performance-Daten mit Selbsteinschätzungen kombiniert und faire Vergleiche zwischen Studien ermöglicht.