Un modelo marca una cuenta como propensa a cancelar porque su actividad ha bajado. Esto puede ayudar al equipo a decidir dónde investigar, pero deja la explicación de fondo en el aire. Puede que el cliente esté descontento, entre un proyecto y otro, o pasando su trabajo a otra cuenta. La predicción se centra en qué es probable que ocurra bajo las condiciones reflejadas en los datos, no necesariamente en por qué ocurrirá.

El análisis predictivo utiliza datos y modelos estadísticos o de machine learning para estimar resultados desconocidos. Esos resultados suelen ser eventos futuros, como una cancelación o la demanda, aunque la predicción también puede referirse a un valor actual no observado.

Define la predicción en un momento concreto

En un modelo hipotético de retención, define qué cuentas se evalúan, la fecha de la predicción y el periodo futuro en el que cuenta la cancelación. Utiliza solo la información disponible en ese momento. Incluir un campo de solicitud de cancelación creado a posteriori haría que el rendimiento retrospectivo pareciera impresionante, pero no aportaría ninguna alerta previa útil.

La guía de scikit-learn sobre fuga de datos (data leakage) explica por qué la información de los datos de evaluación no debe filtrarse en el entrenamiento ni en el preprocesamiento. Divide los datos de forma que reflejen cómo se usarán en la práctica, teniendo en cuenta el tiempo y los registros repetidos de las mismas personas o cuentas cuando sea relevante.

Dividir las filas al azar puede ser engañoso si aparecen registros casi idénticos de la misma cuenta en ambos lados. La evaluación debe poner a prueba el tipo de casos nuevos a los que el modelo se enfrentará en el mundo real.

Evalúa el rendimiento frente a una referencia práctica

Compara el modelo con una alternativa sencilla y elige métricas de rendimiento que encajen con la decisión que vas a tomar. Si las cancelaciones son poco comunes, predecir que nadie cancelará puede dar una precisión global alta sin llegar a identificar a ningún cliente en riesgo.

La clasificación y la calibración responden a preguntas distintas. Un modelo puede ordenar bien las cuentas de mayor riesgo y, al mismo tiempo, exagerar sus probabilidades reales. Si una puntuación se presenta como un 70 % de riesgo, comprueba si los casos similares experimentan realmente ese resultado en una proporción parecida, prestando atención al tamaño de la muestra y a las condiciones.

Revisa el rendimiento en diferentes grupos y periodos. Los cambios en el producto, las nuevas audiencias o los ajustes en la recopilación de datos pueden hacer que una evaluación anterior ya no sirva para entender el comportamiento actual.

Separa la puntuación de la intervención

Un buen predictor no es automáticamente una palanca útil. Aumentar los inicios de sesión mediante recordatorios puede maquillar el síntoma sin solucionar el motivo por el que alguien se iba. El análisis de causas (driver analysis) y la investigación cualitativa ayudan a plantear hipótesis, pero las relaciones de causa y efecto necesitan sus propias pruebas.

Si las puntuaciones activan acciones directas con los clientes, esa intervención alterará los datos futuros y debe registrarse. Comparar únicamente los resultados reales con las predicciones del modelo no demuestra necesariamente el impacto de la intervención.

Utiliza las predicciones para respaldar un proceso definido, con una supervisión adecuada y un seguimiento de sus consecuencias. Un modelo útil debe mejorar la decisión en la que se apoya, en lugar de limitarse a generar una puntuación aparentemente precisa con datos históricos.