Visão Geral

Este Curso Advanced Apache Airflow vai além dos fundamentos para ensinar aos participantes como criar DAGs (gráficos acíclicos direcionados) mais sofisticados e aplicar práticas de segurança ao Apache Airflow. Além disso, os alunos aprendem como dimensionar o Airflow no Kubernetes.

Objetivo

Após realizar este Curso Advanced Apache Airflow você será capaz de:

• Proteja sua instalação do Apache Airflow
• Crie DAGs altamente simultâneos no Kubernetes
• Aproveite a maior parte das novas funcionalidades que o Airflow 2.x traz

Pre-Requisitos

Todos os alunos devem ter feito Introdução ao Apache Airflow ou ter conhecimento equivalente.

Materiais

Conteúdo Programatico

Introduction

Creating DAGs

1. Secrets, connections, and variables
2. Creating connections on startup
3. Using Pools for long-running and demanding tasks
4. Simulating long-running tasks
5. DAG serialization
6. DAG versioning
7. Testing DAGs
8. CI/CD in Airflow

Modularizing DAGs

1. TaskGroups vs subDAGs
2. TaskFlowAPI and XComs
3. Modularizing
4. Dynamic and Functional DAGs
5. SmartSensors and timeouts

Airflow Security

1. RBAC in Airflow
2. Setting up OAuth authentication
3. Add Google OAuth
4. Adding SSL certs
5. Default Roles and custom roles
6. Creating a custom role

Airflow in Kubernetes

1. The Helm chart
2. Deploying Airflow with Helm
3. Deploying single tasks to Kubernetes: KubernetesPodOperator
4. Adding a task in Kubernetes
5. Scaling Airflow with Kubernetes executor
6. Changing the Helm charts values
7. KEDA autoscaler
8. Preparing DAGs for Kubernetes
9. Creating a DAG fully in Kubernetes
10. The CeleryKubernetes executor for extreme scalability

Upgrading from Airflow 1.10

1. Conclusion