Visão Geral

Este curso foi desenvolvido para capacitar profissionais a compreender e aplicar o Apache Flink na construção de pipelines de dados em tempo real. Você aprenderá os fundamentos do stream processing, como trabalhar com estados, janelas, tolerância a falhas e como integrar o Flink com sistemas como Kafka, SQL, bancos NoSQL e data lakes.
Ao final, estará apto a criar aplicações distribuídas de alta performance utilizando o Apache Flink.

Objetivo

Após realizar este curso Apache Flink Fundamentals, você será capaz de:

• Entender o modelo de processamento de streams do Flink
• Desenvolver aplicações em tempo real usando DataStream API
• Implementar operações com estado e janelas
• Aplicar tolerância a falhas com checkpoints e savepoints
• Integrar Flink com Apache Kafka, bancos e arquivos
• Monitorar e otimizar jobs em produção

Publico Alvo

• Engenheiros de dados
• Desenvolvedores backend
• Cientistas de dados
• Engenheiros de machine learning
• Profissionais interessados em processamento de dados em tempo real

Pre-Requisitos

• Conhecimentos básicos de programação (preferencialmente Java, Scala ou Python)
• Noções de arquitetura distribuída
• Noções de sistemas de mensageria (opcional, mas ajuda)

Materiais

Conteúdo Programatico

Module 1 – Introduction to Apache Flink

1. Overview of stream vs. batch processing
2. What is Apache Flink?
3. Flink ecosystem components
4. Flink vs Spark vs Kafka Streams
5. Installing and running Flink locally
6. Flink Cluster architecture: JobManager, TaskManager, Slots

Module 2 – Flink DataStream API

1. Understanding data streams
2. Sources and Sinks (Files, Kafka, Socket, Custom)
3. Transformations: map, flatMap, filter, keyBy
4. Parallelism and distributed execution model
5. Stateless vs Stateful operations

Module 3 – Time & Windows

1. Event Time vs Processing Time
2. Watermarks and late data
3. Tumbling, Sliding, Session windows
4. Window functions (reduce, aggregate, process)
5. Hands-on: real-time windowed aggregations

Module 4 – Stateful Stream Processing

1. Keyed state vs Operator state
2. ValueState, ListState, MapState, ReducingState
3. State backends (RocksDB, Memory)
4. Scaling stateful jobs
5. Checkpoints and barriers

Module 5 – Fault Tolerance & Recovery

1. Checkpoints
2. Savepoints
3. Exactly-once processing
4. Restart strategies
5. High availability mode
6. Hands-on: running a job with checkpoints

Module 6 – Integrating Apache Flink

1. Flink + Apache Kafka
2. Flink + JDBC (PostgreSQL / MySQL)
3. Flink + NoSQL (Elasticsearch, Cassandra)
4. Flink + Data Lakes (S3, HDFS)
5. Hands-on: building an end-to-end streaming pipeline

Module 7 – Flink SQL & Table API

1. Introduction to Table API
2. Streaming SQL
3. Catalogs and connectors
4. Real-time analytics with SQL queries
5. Hands-on: SQL-based aggregations

Module 8 – Monitoring & Deployment

1. Flink Web UI
2. Metrics and logs
3. Job managers and task slots
4. Deploying Flink on:
5. Standalone cluster
6. Kubernetes
7. Docker
8. Best practices for production

Module 9 – Final Project

1. Build a real-time streaming application using Apache Flink + Kafka + PostgreSQL/S3 with:
2. Stateful transformations
3. Window aggregations
4. Checkpoints
5. Custom sinks
6. Monitoring and deployment