Visão Geral

Este Curso Apache Flink Intermediate, aprofunda os conceitos fundamentais de Apache Flink, capacitando o aluno a trabalhar com operações avançadas de estado, conectores modernos, otimização de desempenho e práticas reais de implementação em clusters distribuídos. Você aprenderá a construir pipelines robustos, escaláveis e tolerantes a falhas, aplicando técnicas utilizadas em sistemas de streaming profissionais.

Objetivo

Após realizar este curso Apache Flink Intermediate, você será capaz de:

• Implementar padrões de stream processing mais avançados
• Gerenciar estados complexos
• Trabalhar com conectores modernos
• Criar jobs mais eficientes, resilientes e escaláveis
• Otimizar o desempenho e o paralelismo do Flink

Publico Alvo

• Engenheiros de dados
• Desenvolvedores backend
• Data engineers que já utilizam Flink
• Profissionais que concluíram o curso Flink Fundamentals

Pre-Requisitos

• Conclusão do curso Apache Flink Fundamentals
• Experiência com Java, Scala ou Python
• Conhecimento de mensagens (Kafka ou Kinesis)

Materiais

Conteúdo Programatico

Module 1 – Advanced DataStream API

1. Complex stream transformations
2. Co-Process functions
3. Broadcast streams
4. Side outputs and multi-stream handling
5. Connected streams patterns

Module 2 – Advanced State Management

1. Timers and event-driven state
2. Custom state serialization
3. Optimizing RocksDB state backend
4. Memory tuning and spillover strategies
5. Hands-on with advanced state APIs

Module 3 – Complex Time Management

1. Advanced watermarking strategies
2. Managing out-of-order events
3. Dynamic windowing
4. Event pattern flows

Module 4 – Connectors & Integrations

1. Modern Kafka connector (KafkaSource/KafkaSink)
2. Flink CDC (Change Data Capture)
3. Integration with PostgreSQL, Elastic, Pulsar, Redis
4. Building hybrid streaming architectures

Module 5 – Performance Optimization

1. Parallelism tuning
2. Operator chain optimization
3. Task slot management
4. Backpressure detection and mitigation
5. Hands-on: Fixing a job with backpressure

Module 6 – Deployment Scenarios

1. Flink on Docker Swarm
2. Flink on Kubernetes (basic deployment)
3. Checkpoint storage tuning (S3, HDFS)
4. Optimizing job restart behavior

Module 7 – Final Project

1. Intermediate-level streaming analytics pipeline with:
2. Co-process streams
3. CDC source
4. Broadcast configuration state
5. Dynamic windows