Ein Researcher formuliert eine Aufgabe, bei der Teilnehmende „das Projekt des letzten Monats archivieren“ sollen – und stellt in der ersten Session fest, dass die Hälfte von ihnen unter „archivieren“ das Herunterladen einer Kopie versteht. Der Prototyp funktioniert vielleicht genau wie geplant, doch die Studie misst etwas völlig anderes als gedacht. Ein Pilotlauf bietet die Chance, solche Missverständnisse aufzudecken, bevor das eigentliche Fieldwork startet.
Ein Pilot-Test ist ein kleiner Probelauf, um Machbarkeit, Ablauf oder Instrumente einer geplanten Studie zu prüfen und zu verfeinern. Im Research für digitale Produkte geht es dabei oft um Rekrutierung, Instruktionen, Timing, Aufzeichnung und die Frage, ob das gewonnene Material die geplante Analyse überhaupt trägt.
Den gesamten Ablauf durchspielen
Denke an alles: Einladung, Screener, organisatorische Absprachen und technisches Setup gehören genauso dazu wie die Kernfragen. Eine Umfrage kann auf dem Laptop des Research-Teams glasklar wirken, auf dem Smartphone aber schwer auszufüllen sein; ein Remote-Test kann scheitern, noch bevor die erste Aufgabe beginnt, weil Teilnehmende den Prototyp nicht öffnen können.
Der Leitfaden der Nielsen Norman Group zu Pilot-Tests beschreibt, welche Rolle sie bei der Studienvorbereitung spielen. Testpersonen, die der eigentlichen Zielgruppe ähneln, sind besonders wertvoll, um Unklarheiten aufzudecken, die Kollegen mit Produktwissen leicht übersehen.
Lass die Daten aus dem Probelauf probehalber durch die geplante Analyse laufen. Wenn sich Erfolge nicht einheitlich bewerten lassen oder eine Antwort nicht in die benötigten Kategorien passt, passe das Erhebungsinstrument an – bevor du noch mehr unbrauchbare Daten sammelst.
Kriterien für Änderungen festlegen
Stelle für den Pilottest konkrete, praktische Fragen: Lassen sich passende Teilnehmende finden? Verstehen sie die Aufgabe? Passt die Session in den Zeitrahmen und werden alle relevanten Interaktionen erfasst? Bei komplexeren Vorhaben lohnt es sich, Machbarkeitskriterien zu definieren, die zu den Risiken und Ressourcen passen.
Halte fest, was geändert wurde und warum. Wenn ein missverständliches Aufgabenszenario umformuliert wird, stelle sicher, dass der neue Text den Weg nicht schon vorgibt oder die Teilnehmenden im Unklaren darüber lässt, worauf es ankommt. Bei größeren Anpassungen lohnt sich oft ein weiterer Probelauf.
Ein kleiner Pilottest deckt Probleme auf, beweist aber nicht, dass keine weiteren existieren. Seltene Konstellationen und Barrierefreiheitsanforderungen tauchen in einer Handvoll Sessions vielleicht noch nicht auf – sei also ehrlich bezüglich der Aussagekraft.
Machbarkeitsdaten nicht mit Produkterkenntnissen verwechseln
Wenn sich einige wenige Testpersonen im Pilottest für eine Variante aussprechen, ist das keine verlässliche Basis, um ein Design zum Gewinner zu erklären. Vermeide es, das Studiendesign nach den ersten Eindrücken so anzupassen, dass es ein bestimmtes inhaltliches Ergebnis begünstigt.
Ob Pilotdaten in die Hauptanalyse einfließen können, hängt von Studiendesign, Zielgruppenkriterien, Ablauf und den vorgenommenen Änderungen ab. Führe spürbar unterschiedliche Versionen nicht zusammen, ohne diese Unterschiede herauszurechnen. Bei hypothesenprüfenden Studien sollte diese Entscheidung möglichst vorab getroffen und sauber dokumentiert werden.
Das praktische Ziel des Pilottests ist eine Studie, die unter klar definierten Bedingungen genau die Fragen beantworten kann, um die es geht. Gutes Fragebogendesign und eine gründliche Vorbereitung schaffen dafür die Basis – die eigentliche Studie erfordert danach dennoch eine eigene Rekrutierung, Auswertung und Interpretation.