¿Que hacer cuando no podemos confiar en los labels? Una implementacion practica

Descripción completa

Cuando hablamos del workflow completo de un sistema de Machine Learning en producción solemos pasar por alto una etapa que es crítica para el suceso del sistema, el etiquetado de datos. En ambientes académicos o de aprendizaje, todos los datos de entrenamiento se encuentran evaluados y las etiquetas son consideradas 100% correctas, con lo cual generalmente no se realiza un análisis más profundo de las mismas. Sin embargo, en sistemas productivos online, rara vez se nos presenta dicho escenario, puede ser que al inicio de un proyecto directamente no contemos con los valores target, que solo contemos con una fracción de los mismos o incluso que los valores asignados no siempre sean correctos. Por otra parte, en la otra punta del pipeline con el monitoreo de modelo, se nos presenta un problema muy emparentado como lo es el feedback incompleto, o sea, que muchas veces no tendremos visibilidad de errores cometidos por el modelo, los cuales muchas veces se perpetúan al reintroducirlos como datos de reentrenamiento. Todos estos escenarios, nos llevan a buscar metodologías para evaluar la confianza de los labels, de multiplicar el impacto de los más confiables y excluir o corregir aquellos los que generen ruido. En esta charla deseo mostrar cómo se atacaron estas problemáticas dentro de la iniciativa de moderación de artículos prohibidos en el marketplace de MercadoLibre, y las lecciones aprendidas.