Visão Geral

Este curso avançado aprofunda o uso do Apache Flink SQL para construção de pipelines complexos de streaming, abordando janelas avançadas, joins temporais sofisticados, otimização de consultas, tuning de performance e integração com arquiteturas de dados em grande escala. É voltado para quem já domina o básico e deseja usar o Flink SQL em cenários reais de alta demanda e baixa latência.

Objetivo

Após realizar este curso, você será capaz de:

• Criar pipelines avançados usando janelas complexas e joins sofisticados.
• Implementar consultas SQL otimizadas para alto volume e baixa latência.
• Usar Flink SQL em ambientes de produção com boas práticas e tuning.
• Criar integrações profissionais com Kafka, CDC, bancos SQL e NoSQL.
• Entender profundamente como o Flink processa e atualiza tabelas dinâmicas.
• Lidar com desafios como late events, retractions e schema evolution.

Publico Alvo

• Engenheiros de dados intermediários e avançados.
• Arquitetos de dados que trabalham com streaming.
• Desenvolvedores que já utilizam Flink e desejam otimizar pipelines SQL.
• Profissionais que trabalham com processamento de eventos, Kafka, CDC e sistemas distribuídos.

Pre-Requisitos

• Conhecimento sólido de SQL tradicional.
• Domínio dos fundamentos de Apache Flink SQL.
• Experiência básica com Apache Kafka ou outra fonte de streaming (desejável).
• Noções de arquitetura distribuída.

Conteúdo Programatico

Module 1 – Advanced Flink SQL Internals

1. Deep dive into the SQL Planner and Optimizer
2. Understanding changelog modes and updates
3. State management under the hood
4. How Flink handles retractions

Module 2 – Complex Table Definitions

1. Advanced connector configurations
2. Advanced watermarking techniques
3. Schema evolution: add, remove, alter columns
4. Using custom formats (JSON, Avro, Debezium, Protobuf)

Module 3 – Advanced Time and Window Processing

1. Session windows with advanced gap strategies
2. Multi-window pipelines
3. Window merging and splitting
4. Handling late data with precision

Module 4 – Advanced Joins

1. Interval joins
2. Complex temporal table joins
3. Stream–stream joins with large state
4. Lookup joins with high throughput
5. Multi-way joins and performance considerations

Module 5 – Aggregations and Pattern Processing

1. Complex aggregations on dynamic tables
2. Incremental aggregations
3. Pattern Recognition with MATCH_RECOGNIZE
4. Real-time anomaly detection using SQL

Module 6 – Query Optimization and Performance Tuning

1. Understanding query plans and EXPLAIN
2. Memory and state optimization strategies
3. Tuning parallelism, slots, and resources
4. Reducing backpressure
5. Avoiding hotspots in streaming SQL

Module 7 – Building Production-Ready Pipelines

1. Designing end-to-end pipelines using Kafka + Flink SQL
2. Multi-sink pipelines
3. Error handling, retries, and exactly-once semantics
4. Logging, observability, and metrics

Module 8 – Real Use Cases

1. Real-time fraud detection pipeline
2. Clickstream analytics at scale
3. CDC processing using Flink SQL
4. IoT event processing with high cardinality

Module 9 – Best Practices

1. Naming conventions and governance
2. Managing catalogs in production
3. Handling schema drift
4. Lessons learned from large-scale deployments