Visão Geral

Este curso aborda o desenvolvimento de pipelines e aplicações de processamento de dados em tempo real utilizando o Apache Flink. Você aprenderá a lidar com eventos contínuos, janelas, estados, tempos de processamento, além de integrar o Flink com sistemas modernos de mensageria e armazenamento. O foco é construir aplicações robustas, rápidas e escaláveis para cenários reais.

Objetivo

Após realizar este curso, você será capaz de:

• Entender o funcionamento do Apache Flink no contexto de dados em tempo real
• Criar pipelines completos de streaming com a DataStream API
• Utilizar janelas, operadores e estados de forma profissional
• Trabalhar com tempos de evento e lidar com dados fora de ordem
• Integrar aplicações com Kafka e outros sistemas de mensageria
• Realizar deploy, monitoramento e tuning para alta performance

Publico Alvo

• Engenheiros de dados
• Desenvolvedores backend
• Profissionais que trabalham com streaming e sistemas reativos
• Estudantes interessados em Big Data, dados em tempo real e processamento distribuído

Pre-Requisitos

• Lógica de programação
• Noções básicas de Java, Scala ou Python
• Conceitos introdutórios de sistemas distribuídos
• Conhecimento básico sobre data pipelines (desejável)

Conteúdo Programatico

Module 1 – Introduction to Real-Time Processing

1. Understanding real-time and near-real-time data
2. Event-driven architecture
3. Why Apache Flink for stream processing?
4. Flink ecosystem overview

Module 2 – Flink Core Concepts

1. Streams, events, and operators
2. Time semantics (processing, ingestion, event time)
3. Watermarks and lateness
4. Stateful and stateless operations

Module 3 – Setting Up Flink for Streaming

1. Local installation
2. Project setup using Maven or Gradle
3. Working with Flink DataStream API

Module 4 – Transformations and Operators

1. Map, flatMap, filter
2. Keyed streams
3. Rich functions
4. Custom operators

Module 5 – Windowing & Event Time

1. Tumbling, sliding, and session windows
2. Window assigners and triggers
3. Handling out-of-order events
4. Late data strategies

Module 6 – State Management

1. Keyed state fundamentals
2. Operator state
3. State backends (RocksDB, filesystem, memory)
4. State TTL and cleanup policies

Module 7 – Checkpoints & Fault Tolerance

1. Consistency models
2. Checkpointing mechanism
3. Savepoints for upgrades
4. Recovery workflows

Module 8 – Integration with Streaming Platforms

1. Kafka as source and sink
2. Schema registry and serialization formats
3. Integrating with databases and cloud storage
4. Producing enriched and aggregated streams

Module 9 – Real-Time Patterns & Use Cases

1. Stream enrichment
2. Event routing
3. Real-time fraud detection
4. Real-time analytics dashboards

Module 10 – Monitoring & Optimization

1. Flink UI and metrics
2. Identifying backpressure
3. Tuning parallelism and resources
4. Performance optimization best practices

Module 11 – Final Project

1. Designing a complete real-time processing pipeline
2. Ingesting data from Kafka
3. Applying transformations, windows and states
4. Exporting results to downstream systems
5. Deploying and validating the pipeline