En el mundo del aprendizaje automático, un desafío recurrente que enfrentan los equipos es que sus modelos, a pesar de alcanzar altos niveles de precisión durante las pruebas, no logran impactos comerciales significativos una vez implementados. Un caso ilustrativo es el de un modelo que, a pesar de lograr un 94% de precisión en validaciones, no generó los resultados de negocio esperados tras seis meses de uso en un motor de recomendaciones.

El problema radica en que el desarrollo de modelos suele enfocarse en la perfección técnica, con énfasis en métricas como la puntuación F1 y el área bajo la curva (AUC). Sin embargo, este enfoque descuida elementos cruciales como la experiencia del usuario y la integración del modelo en sus flujos de trabajo.

Adoptar un enfoque de pensamiento de producto demanda un cambio de perspectiva, priorizando las necesidades del usuario y los problemas comerciales a resolver sobre datos y algoritmos. El éxito, entonces, no solo se mide por precisión técnica, sino por cómo el modelo mejora la experiencia del usuario y los resultados comerciales. Un sistema de recomendaciones, por ejemplo, debe centrarse no solo en tasas de clics, sino en si ayuda a los usuarios a cumplir sus objetivos.

Es esencial incluir una fase de definición de problemas para garantizar que las soluciones técnicas aborden las verdaderas preocupaciones de los usuarios. Comprender los puntos de dolor y los retos de éxito evita la creación de soluciones técnicas impresionantes que no abordan problemas relevantes.

La implementación debe considerar la adopción del usuario y facilitar el uso efectivo del modelo, incluyendo capacitación adecuada. Un modelo centrado en identificar patrones de riesgo de abandono, priorizando acciones recomendadas, mejoró la retención de clientes en un 15%, demostrando que soluciones menos complejas pueden tener mayor impacto.

El éxito de un modelo debe medirse más allá de métricas técnicas, incorporando indicadores de satisfacción del usuario, adopción y resultados comerciales. Mecanismos de retroalimentación continua permiten mejorar el modelo con base en la experiencia del usuario.

El futuro del desarrollo de modelos requiere equipos interdisciplinarios, integrando científicos de datos, gerentes de producto, diseñadores de experiencia y expertos de dominio. Esta colaboración permite entender mejor las necesidades del usuario y crear productos de ML que verdaderamente resuelvan problemas.

Este cambio no implica solo modificaciones en procesos, sino una reimaginación de qué significa construir sistemas de ML exitosos. Al tratar los modelos como productos, se crean sistemas que generan valor real, mostrando que el verdadero éxito radica en la satisfacción del usuario más que en resultados técnicos.