Airflow en Kubernetes: Escalando al mas alla!
Accepted
Vamos a aprender a hacer pipelines en Airflow, como testearlos para que estemos confiades de nuestros cambios y vamos a deployarlos en Kubernetes para poder escalar Airflow tanto como se necesite. Mate incluide.
Type: Taller
Level: Beginner
Speakers: Axel Sirota
Speakers Bio: Matematico, Machine Learning Engineer por vocacion e infra lover. Actualmente tratando de estimar eventos en Jampp.
Time: 16:00 - 18:00 - 11/18/2020
Room: Sala 1
Labels: machine learning deuda tecnica orquestración de modelos deep learning
Description
Airflow es una tool maravillosa para administrar pipelines, sean pipelines de datos, pipelines de machine learning, o pipelines para deployar. Sin embargo, levantar Airflow en Kubernetes para escalar es complicado; hacer los tests para validar los pipelines tiene sus trucos, e implementarles de una manera que funcione tanto en un clúster remoto como localmente puede ser engorroso. En este taller, revisaremos todos estos elementos e implementaremos una instancia de Airflow en Kubernetes para escalar hasta el infinito desde cero.