Airflow en Kubernetes: Escalando al mas alla!

Aceptada

Vamos a aprender a hacer pipelines en Airflow, como testearlos para que estemos confiades de nuestros cambios y vamos a deployarlos en Kubernetes para poder escalar Airflow tanto como se necesite. Mate incluide.

Tipo: Taller

Nivel: Principiante

Disertantes: Axel Sirota

Biografiá del Disertante: Matematico, Machine Learning Engineer por vocacion e infra lover. Actualmente tratando de estimar eventos en Jampp.

Horario: 16:00 - 18:00 - 18/11/2020

Sala: Sala 1

Etiquetas/Tags: machine learning deuda tecnica orquestración de modelos deep learning

Descripción completa

Airflow es una tool maravillosa para administrar pipelines, sean pipelines de datos, pipelines de machine learning, o pipelines para deployar. Sin embargo, levantar Airflow en Kubernetes para escalar es complicado; hacer los tests para validar los pipelines tiene sus trucos, e implementarles de una manera que funcione tanto en un clúster remoto como localmente puede ser engorroso. En este taller, revisaremos todos estos elementos e implementaremos una instancia de Airflow en Kubernetes para escalar hasta el infinito desde cero.