Por Daniel Cuervo, socio de IQuartil
En analítica de datos no solo vale que las empresas y sus líderes tengan la intención de aplicarla para tomar decisiones de negocio. También es importante saber hasta qué punto refinar o no los modelos analíticos y decidirse por la implementación rápida, y eso va más allá de la ciencia. Te contamos por qué.
Si dos científicos de datos reciben el mismo conjunto de datos y desarrollan un mismo tipo de modelo analítico, con la misma técnica y los mismos parámetros, esperaríamos que lleguen a respuestas similares o idénticas.
Es por esto por lo que llamamos “ciencia” a la ciencia de datos. Contamos con metodologías y esquemas de pruebas (particiones y validaciones cruzadas) que nos permiten establecer si un modelo está bien construido y si los resultados son replicables por otros científicos de datos.
Sin embargo, en la práctica hay incontables opciones de cómo manejar los datos, qué técnicas utilizar, cómo parametrizar los modelos, qué hacer con los datos faltantes, etc. que hacen de la ciencia de datos todo un arte.
Esta gran cantidad de opciones le imponen al científico de datos dos retos importantes: primero, cómo establecer la forma de construir los modelos para que den unos “buenos” resultados. Y segundo, hasta qué punto seguir mejorando los modelos, ya que normalmente es posible mejorar un modelo analítico con un poco más de trabajo.
Existen diferentes técnicas y metodologías para optimizar los parámetros de un modelo, seleccionar la técnica más apropiada y determinar si se debe transformar o categorizar una variable. En nuestra experiencia, ahí no se obtiene el mayor valor en el modelaje. Se obtiene más valor al hacer un entendimiento detallado del negocio y de los datos. Esto dará mayores luces de cómo tratar los datos y qué técnicas utilizar.
La recomendación es dedicarle un buen tiempo a entender el negocio a fondo y cómo están estructurados los datos. Es común que al analizar los datos en detalle se deba volver a verificar con los expertos del negocio sobre su comportamiento. En este proceso se descubren muchas situaciones y realidades de negocio que guían cómo se deben tratar los datos y desarrollar los modelos.
En cuanto a la pregunta de hasta qué punto mejorar un modelo analítico, debe prevalecer la necesidad de proveer rápidamente resultados para el negocio. Una vez que se tiene un modelo con una buena capacidad predictiva, es más importante enfocarse en que genere valor al negocio implementándolo, que esperar más tiempo para que el modelo mejore.
Normalmente, los beneficios que se obtienen de mejorar un buen modelo son marginales y son superados por los beneficios de utilizar los modelos rápidamente.
¡Es mejor un buen modelo que se utiliza en el corto plazo, que un modelo perfecto que toma meses en implementarse! Es todo un arte saber cuándo dejar de refinar el modelo y enfocarse en la puesta en producción y su monetización.