Machine Learning kann Forschenden dabei helfen, Datenmengen zu bewältigen, die sich manuell kaum verarbeiten ließen. Ein Klassifikator kann Support-Tickets sortieren, ein Sprachmodell Interviews transkribieren und ein Vorhersagemodell abwanderungsgefährdete Kundschaft identifizieren. Das sind grundverschiedene Aufgaben mit ganz unterschiedlichen Fehlerquellen.
Deshalb muss die Methode als fester Bestandteil des Forschungsdesigns evaluiert werden. Der gute Ruf eines Modells oder eine überzeugende Demo beweisen noch lange nicht, dass die Ergebnisse als verlässliche Datengrundlage für die eigentliche Fragestellung taugen.
Definieren, was ein brauchbares Ergebnis ausmacht
Bei der Ticket-Klassifizierung braucht das Team Kategorien, die im Arbeitsalltag Sinn ergeben, und ein Test-Set, das die spätere Datenrealität abbildet. Ein Modell, das bei Standardanfragen zur Abrechnung glänzt, übersieht vielleicht seltene, aber folgenschwere Zugangsprobleme. Eine reine Gesamtgenauigkeit (Accuracy) verschleiert solche Unterschiede schnell.
Bei Transkriptionen kommt es auf die bedeutungstragenden Wörter an: Produktnamen, Verneinungen, Zahlen und die Zuordnung von Sprechenden. Ein weitgehend akkurates Transkript kann die Aussage einer befragten Person komplett ins Gegenteil verkehren, wenn nur ein „nicht“ verloren geht. Beim Clustering wiederum sollte geprüft werden, ob die gebildeten Gruppen im Forschungskontext sinnvoll sind – statt die Trennung eines Algorithmus einfach als gegebene Wahrheit über Menschen hinzunehmen.
Der scikit-learn-Leitfaden zu typischen Fallstricken veranschaulicht, warum bei der Evaluation keine Informationen aus den Testdaten in die Modellentwicklung einfließen dürfen (Data Leakage). Dieses Prinzip ist entscheidend, wenn ein Modell bei Daten, die seinen Trainingsdaten sehr ähnlich sind, verdächtig gut abschneidet.
Die Evaluation an der Entscheidung ausrichten
Nutzen Sie zurückgehaltene Testdaten (Held-out Data) und prüfen Sie die Leistung über relevante Gruppen, Zeiträume und schwierige Randfälle hinweg. Wie viel Fehler tolerierbar ist, hängt von den Konsequenzen ab: Ein falsch gesetztes Tag bei einer explorativen Recherche hat ganz andere Auswirkungen als eine automatisierte Entscheidung darüber, wer Unterstützung erhält.
Auch manuell gelabelte Daten gehören auf den Prüfstand. Wenn sich Forschende schon uneinig sind, was eine Kategorie bedeutet, kann ein Modell dieses inhaltliche Problem nicht lösen, indem es einfach ein Set von Labels nachahmt. Schaffen Sie Klarheit über die beabsichtigte Lesart und analysieren Sie bestehende Abweichungen.
Eine Predictive Analysis kann zwar unter bestimmten Annahmen zukünftige Ergebnisse schätzen – eine Vorhersage erklärt aber noch kein Warum. Eine Variable, die statistisch mit Abwanderung zusammenhängt, ist nicht automatisch ein sinnvoller Hebel für Gegenmaßnahmen.
Das Modell bei Datenänderungen neu prüfen
Produkte, Zielgruppen, Sprache und Datenerfassung entwickeln sich nach dem Rollout weiter. Beobachten Sie kontinuierlich, ob das Modell seine Aufgabe weiterhin zuverlässig erfüllt, und behalten Sie Möglichkeiten, Ergebnisse zu prüfen und zu korrigieren.
Dokumentieren Sie das verwendete Modell, den Datenumfang, die Evaluation und alle Transformationen. Wenn Machine Learning in eine Inhaltsanalyse oder andere Forschungsmethoden einfließt, sollte diese Rolle im Report transparent dargelegt werden. Lesende müssen nachvollziehen können, was beobachtetes Originalmaterial ist, was vom Modell interpretiert wurde und welche Prüfungen diesen Einsatz stützen.