Great Expectations: Validar data pipelines como un profesional
Accepted
Cuando hablamos de validaciones lo primero que pensamos es en el código, unit test, integration tests, etc. Pero ¿Quién mira a los datos? Great Expectations!
Type: Charla estandard, 25 minutos
Level: Medium
Speakers: Eric Rishmüller
Speakers Bio: Ingeniero de datos en Mutt Data. Analista de sistemas de Ort. Intento de youtuber
Time: 19:00 - 19:30 - 11/26/2020
Room: Sala 1
Labels: great expectations data engineering data quality data pipelines data-driven apps airflow workflows productivity qa qc
Description
En esta charla vamos a desarrollar la importancia de implementar validaciones a nuestros datos dentro de un pipeline. Para esto mostraremos un prometedor framework de validaciones y cómo se integra dentro de un complejo pipeline con múltiples sistemas alimentando la entrada.