L'apprentissage automatique peut aider les chercheurs à analyser des volumes de données qui seraient autrement impossibles à traiter à grande échelle. Un classifieur peut trier des tickets d'assistance, un modèle vocal transcrire des entretiens, et un modèle prédictif repérer les clients susceptibles de partir. Ce sont des tâches très différentes, avec des manières tout aussi différentes de se tromper.
La méthode doit donc être évaluée dès la conception de la recherche. La réputation générale d'un modèle ou une démonstration convaincante ne prouvent en rien que ses résultats constituent des preuves solides pour répondre à la question posée.
Définir ce qu'est un résultat utile
Pour la classification des tickets, l'équipe a besoin de catégories qui ont du sens sur le plan opérationnel et d'un jeu d'évaluation représentatif de ce qu'elle rencontrera sur le terrain. Un modèle performant sur les demandes courantes de facturation peut passer à côté de problèmes d'accès rares mais critiques. Se fier uniquement à la précision globale peut masquer ce genre de décalage.
Pour la transcription, examinez les mots qui portent le sens : noms de produits, négations, montants, et attribution des prises de parole. Une transcription globalement exacte peut complètement inverser le propos d'un participant si elle omet un simple « ne pas ». Pour le clustering, vérifiez si les groupes formés ont un sens dans le cadre de votre étude, au lieu de considérer le découpage de l'algorithme comme une vérité absolue sur les personnes observées.
Le guide de scikit-learn sur les pièges courants explique bien pourquoi l'évaluation doit empêcher toute fuite d'informations des données de test vers le développement du modèle. Ce principe est essentiel lorsqu'un modèle semble anormalement performant sur des données très proches de celles qu'il a déjà vues.
Adapter l'évaluation à la décision
Utilisez des exemples mis de côté et analysez les performances selon les groupes pertinents, les périodes temporelles et les cas complexes. La marge d'erreur acceptable dépend directement des conséquences : une mauvaise étiquette lors d'une recherche exploratoire n'a pas le même impact qu'une décision automatisée déterminant qui reçoit de l'aide.
Les données annotées par des humains doivent aussi être examinées de près. Si les chercheurs ne s'entendent pas sur la signification d'une catégorie, le modèle ne réglera pas ce désaccord de fond simplement en imitant un jeu d'étiquettes particulier. Clarifiez l'interprétation visée et penchez-vous sur les divergences.
Une analyse prédictive peut estimer un résultat futur selon certaines hypothèses, mais prédire ne suffit pas à expliquer pourquoi les choses arrivent. Une variable associée à l'attrition ne constitue pas automatiquement un levier d'action pertinent.
Réévaluer le modèle à mesure que les données évoluent
Les produits, les publics, le langage et la collecte de données peuvent changer après le déploiement. Assurez-vous que le modèle remplit toujours sa fonction initiale et conservez un moyen de vérifier ou de corriger ce qu'il produit.
Gardez une trace du modèle, du périmètre des données, de l'évaluation et des transformations appliquées. Lorsque le machine learning contribue à une analyse de contenu ou à une autre méthode de recherche, explicitez cette contribution dans le rapport. Les lecteurs doivent pouvoir distinguer ce qui relève de l'observation brute de ce qui relève de l'interprétation générée par le modèle, et comprendre les vérifications qui justifient son utilisation.
