Visão Geral

Este curso aprofunda o uso do Apache Airflow em ambientes produtivos, com foco em performance, escalabilidade, confiabilidade e operação contínua. O aluno aprenderá como preparar, operar e evoluir clusters de Airflow para cenários reais de negócio, lidando com grandes volumes de DAGs, múltiplos times, alta concorrência, SLAs rigorosos e requisitos de observabilidade e segurança.

Objetivo

Após realizar este curso Airflow em Produção: Performance, Escala e Confiabilidade, você será capaz de:

• Preparar ambientes de Airflow para uso produtivo
• Ajustar performance e paralelismo de DAGs e tasks
• Escalar Airflow horizontal e verticalmente
• Projetar pipelines confiáveis e tolerantes a falhas
• Implementar observabilidade e monitoramento efetivo
• Gerenciar falhas, backfills e incidentes em produção
• Aplicar boas práticas de segurança e governança
• Operar Airflow com previsibilidade e estabilidade

Publico Alvo

•  
• Engenheiros de dados
• Engenheiros de software que operam Airflow em produção
• Arquitetos de plataformas de dados
• Profissionais de DevOps e SRE
• Profissionais responsáveis por pipelines críticos de dados
•  

Pre-Requisitos

•  
• Experiência prática com Apache Airflow
• Conhecimentos sólidos de Python
• Noções de engenharia de dados
• Familiaridade com pipelines ETL ou ELT
• Conhecimento básico de ambientes Linux
•  

Materiais

Conteúdo Programatico

Module 1: Airflow in Production Overview

1. From development to production
2. Production challenges
3. Reliability and scalability goals
4. Airflow as a critical platform

Module 2: Production Architecture

1. Webserver, scheduler and workers
2. Executors comparison
3. Metadata database considerations
4. High availability design

Module 3: Performance Fundamentals

1. DAG parsing performance
2. Scheduler tuning
3. Task execution efficiency
4. Reducing overhead

Module 4: Concurrency, Parallelism and Scale

1. Parallelism vs concurrency
2. Pools and queues
3. Worker scaling strategies
4. Managing high DAG volume

Module 5: Reliable DAG Design

1. Idempotent tasks
2. Retry and backoff strategies
3. Failure isolation
4. Safe backfills

Module 6: Observability and Monitoring

1. Key Airflow metrics
2. Logs and traces
3. SLA monitoring
4. Alerting strategies

Module 7: Metadata Database and State Management

1. Metadata growth challenges
2. Database tuning
3. Cleanup and retention
4. State consistency

Module 8: Security and Access Control

1. Authentication and authorization
2. RBAC in Airflow
3. Secrets management
4. Secure connections

Module 9: Operating Airflow at Scale

1. Multi-team environments
2. CI/CD for DAGs
3. Environment separation
4. Change management

Module 10: Incident Management and Best Practices

1. Common production failures
2. Incident response workflows
3. Postmortems and learning
4. Production readiness checklist