Ein Modell stuft einen Account als kündigungsgefährdet ein, weil die Aktivität nachgelassen hat. Das hilft dem Team zwar bei der Entscheidung, wo es genauer hinschauen sollte, lässt aber die eigentliche Erklärung offen. Vielleicht ist der Kunde unzufrieden, steckt zwischen zwei Projekten oder verlagert die Arbeit auf ein anderes Konto. Bei Vorhersagen geht es darum, was unter den in den Daten abgebildeten Bedingungen wahrscheinlich passieren wird – nicht zwingend darum, warum es passiert.
Predictive Analytics nutzt Daten sowie statistische oder Machine-Learning-Modelle, um unbekannte Ergebnisse zu schätzen. Dabei handelt es sich oft um künftige Ereignisse wie Kündigungen oder die Nachfrage – Vorhersagen können sich aber auch auf einen aktuell nicht beobachteten Wert beziehen.
Die Vorhersage für einen bestimmten Zeitpunkt definieren
In einem hypothetischen Retention-Modell legst du genau fest, welche Accounts bewertet werden, an welchem Stichtag die Prognose erfolgt und in welchem künftigen Zeitraum eine Kündigung gewertet wird. Nutze dabei ausschließlich Informationen, die zu diesem Zeitpunkt bereits vorlagen. Würde man ein Kündigungsanfrage-Feld einbeziehen, das erst danach erstellt wurde, sähe die Performance im Rückblick zwar beeindruckend aus, böte aber keinerlei praktischen Vorlauf.
Der scikit-learn-Leitfaden zu Data Leakage erklärt, warum Informationen aus Evaluationsdaten niemals in das Training oder die Datenvorbereitung einfließen dürfen. Teile die Daten so auf, wie es dem späteren Praxiseinsatz entspricht – einschließlich der zeitlichen Dimension und mehrfacher Einträge derselben Personen oder Accounts, wo relevant.
Ein zufälliger Zeilen-Split kann täuschen, wenn fast identische Datensätze desselben Accounts auf beiden Seiten landen. Die Evaluierung sollte genau die Art von neuen Fällen testen, mit denen das Modell auch im echten Einsatz konfrontiert wird.
Leistung an einer praxisnahen Baseline messen
Vergleiche das Modell mit einer einfachen Alternative und wähle Metriken, die zur anstehenden Entscheidung passen. Wenn Kündigungen selten vorkommen, erreicht die pauschale Vorhersage, dass niemand kündigt, zwar eine hohe Gesamtgenauigkeit – erkennt aber keinen einzigen gefährdeten Kunden.
Ranking und Kalibrierung beantworten unterschiedliche Fragen. Ein Modell kann Accounts mit höherem Risiko gut sortieren, deren Wahrscheinlichkeiten aber systematisch überschätzen. Wenn ein Score ein Risiko von 70 % ausweist, prüfe, ob vergleichbare Fälle das Ergebnis tatsächlich in etwa dieser Häufigkeit zeigen – natürlich mit Blick auf Stichprobengröße und Rahmenbedingungen.
Überprüfe die Performance über relevante Gruppen und Zeiträume hinweg. Produktänderungen, neue Zielgruppen oder angepasste Datenerfassungen können dazu führen, dass frühere Evaluierungen wenig über das aktuelle Verhalten aussagen.
Den Score von der Intervention trennen
Ein starker Prädiktor ist nicht automatisch ein sinnvoller Hebel. Wer Logins durch Erinnerungen ankurbelt, ändert vielleicht ein erfasstes Symptom, geht aber nicht den Grund an, warum jemand gehen wollte. Treiberanalysen und qualitative Forschung helfen dabei, Hypothesen aufzustellen – kausale Zusammenhänge erfordern jedoch eigene Belege.
Wenn Scores dazu führen, dass Kunden kontaktiert werden, verändert diese Intervention künftige Daten und sollte dokumentiert werden. Ein reiner Vergleich zwischen tatsächlichen Ergebnissen und Modellvorhersagen belegt noch nicht automatisch den Effekt der Maßnahme.
Nutze Vorhersagen, um einen klar definierten Prozess zu unterstützen – mit passender Kontrolle und einem Monitoring für die Folgen. Ein nützliches Modell sollte die unterstützte Entscheidung verbessern und nicht bloß auf historischen Daten treffsicher aussehen.