Ein Dashboard zeigt, dass Nutzer nach einem Redesign mehr Zeit im Produkt verbringen. Das Team verbucht das als höheres Engagement – doch die zusätzliche Zeit könnte genauso gut auf Verwirrung hindeuten. Bei der Validität geht es genau darum: Stützen die Daten wirklich die gezogene Schlussfolgerung? Was bedeutet eine Metrik tatsächlich, ist ein Kausalzusammenhang belegt und wie weit lässt sich das Ergebnis übertragen?
Es hilft, Validität als eine durch Belege gestützte Argumentation zu begreifen – und nicht als festes Siegel, das einer Studie oder einem Fragebogen einmalig verliehen wird. Dieselbe Kennzahl kann eine Interpretation stützen und bei einer anderen völlig versagen, je nach Zielgruppe, Zielsetzung und Rahmenbedingungen.
Prüfen, ob die Metrik wirklich das Konzept abbildet
Die Konstruktvalidität beschreibt die Beziehung zwischen einem theoretischen Konzept und seiner tatsächlichen Messung. Geht es um Vertrauen, ist eine Frage nach visueller Attraktivität kein passender Ersatz – nur weil ansprechendes Design manchmal vertrauenswürdiger wirkt. Definiere klar, was das Konzept in der Studie bedeutet, und überlege, welche anderen Faktoren das Ergebnis beeinflusst haben könnten.
Belege können aus dem Inhalt eines Fragebogens stammen, daraus, wie Teilnehmende ihn verstehen, oder aus Zusammenhängen mit anderen Metriken. Ein bereits erprobter Fragebogen ist oft hilfreich. Doch schon kleine Anpassungen im Wording, eine andere Sprache oder ein neuer Kontext können dazu führen, dass frühere Erkenntnisse nicht mehr greifen.
Augenscheinvalidität (Face Validity) meint, ob eine Messung auf den ersten Blick plausibel wirkt. Das ist in der Entwicklung nützlich, reicht allein aber nicht aus, um die gewünschte Interpretation abzusichern.
Kausale und weiterführende Thesen auf das Studiendesign abstimmen
Interne Validität betrifft die Frage, ob ein kausaler Schluss wirklich haltbar ist oder ob Störfaktoren das Ergebnis erklären. Randomisierte Zuteilung kann Vergleiche stärken; Fehler bei der Durchführung, fehlende Datenpunkte oder gegenseitige Beeinflussung der Teilnehmenden können die Schlussfolgerung dennoch gefährden.
Externe Validität betrifft die Übertragbarkeit über die konkrete Studie hinaus. Realistische Aufgaben, passende Teilnehmende und ein lebensnahes Umfeld helfen. Eine Studie wird aber nicht automatisch universell gültig, nur weil sie im Wohnzimmer statt im Labor stattgefunden hat. Der Beitrag der Nielsen Norman Group zu interner und externer Validität zeigt, warum sowohl der konkrete Vergleich als auch die beabsichtigte Reichweite Beachtung verdienen.
Ökologische Validität bezieht sich oft darauf, wie nah die Forschungsbedingungen am echten Alltag sind. Realismus kann entscheidend sein, ist aber nicht für jede Fragestellung automatisch die beste Wahl. Es gibt auch keine feste Regel, dass eine höhere interne Validität die externe zwangsläufig schwächen muss – ein durchdachtes Design kann beides in einem klar definierten Rahmen leisten.
Konsistenz und die richtige Interpretation sauber trennen
Reliabilität beschreibt die Zuverlässigkeit und Wiederholbarkeit einer Messung unter bestimmten Bedingungen. Ein Klick, der absolut verlässlich erfasst wird, kann trotzdem ein völlig unzureichendes Maß für Verständnis sein. Umgekehrt können Messfehler eine ansonsten schlüssige Interpretation schwächen, selbst wenn das zugrunde liegende Konzept gut gewählt war.
Am Beispiel der Verweildauer: Schau genau hin, was die Leute in dieser zusätzlichen Zeit getan haben, ob sie ihre Ziele erreicht haben und wie die Event-Daten erhoben wurden. Interviews, Usability-Tests und Erfolgsmetriken beleuchten jeweils unterschiedliche Facetten. Eine Übereinstimmung mehrerer Quellen nützt allerdings nur dann, wenn sie wirklich die Kernfrage beantworten und ihre Grenzen verstanden werden.
Formuliere zuerst die These und trage dann die nötigen Belege zusammen. So werden Triangulation und Generalisierbarkeit greifbar: Das Team sieht direkt, welche Interpretation abgesichert ist, wo Unsicherheiten bleiben und was eine Folgestudie klären müsste.