Visão Geral

Este Curso Building Streaming Pipelines with Flink ensina como projetar, desenvolver e implementar pipelines de streaming utilizando o Apache Flink. O foco é criar fluxos de dados contínuos, confiáveis e escaláveis, usando boas práticas de arquitetura, integração com sistemas modernos e estratégias de tolerância a falhas. Você aprenderá desde os fundamentos do streaming até a construção de pipelines complexos prontos para produção.

Objetivo

Após realizar este curso, você será capaz de:

• Planejar e criar pipelines de streaming de ponta a ponta
• Usar operações avançadas com a DataStream API
• Trabalhar com estados, janelas e processamento baseado em eventos
• Integrar o Flink com Kafka, bancos de dados e sistemas de armazenamento
• Implementar pipelines resilientes, escaláveis e observáveis
• Fazer deploy e manter aplicações de streaming em produção

Publico Alvo

• Engenheiros de dados
• Desenvolvedores backend
• Profissionais que trabalham com dados em tempo real
• Estudantes de TI que desejam aprender pipelines de streaming de ponta a ponta

Pre-Requisitos

• Noções de programação (Java, Scala ou Python)
• Conhecimento básico de Apache Flink
• Conceitos de sistemas distribuídos
• Familiaridade com mensagens/eventos (desejável)

Conteúdo Programatico

Module 1 – Introduction to Streaming Pipelines

1. What is a streaming pipeline?
2. Batch vs streaming pipelines
3. Architectural patterns for streaming systems
4. Why Flink? Key advantages

Module 2 – Flink Pipeline Fundamentals

1. Streams, operators, and topologies
2. Parallelism and scaling
3. Data flow and execution graphs
4. Overview of Flink runtime

Module 3 – Designing Pipeline Architectures

1. Event sourcing principles
2. Ingestion → processing → output flows
3. Stateless vs stateful design
4. Handling real-world data constraints

Module 4 – Working with the DataStream API

1. Transformations
2. Keyed streams and partitioning
3. Rich functions and custom logic
4. Handling serialization

Module 5 – Windowing and Event-Time Processing

1. Time characteristics
2. Advanced window strategies
3. Watermark design
4. Out-of-order event handling

Module 6 – State Management & Consistency

1. State backends
2. Local and distributed state
3. Checkpoints, savepoints, and recovery
4. Designing exactly-once pipelines

Module 7 – Ingesting and Emitting Data

1. Kafka integration
2. Working with file systems (S3/HDFS/local)
3. JDBC sinks and NoSQL systems
4. Schema evolution and data formats

Module 8 – Advanced Pipeline Patterns

1. Streaming joins
2. Enrichment pipelines
3. Routing and dynamic control logic
4. CEP integration for complex patterns

Module 9 – Observability & Monitoring

1. Metrics and logging
2. Detecting backpressure
3. Resource tuning
4. Debugging streaming pipelines

Module 10 – Deploying Streaming Pipelines

1. Standalone vs cluster modes
2. Docker and Kubernetes deployments
3. CI/CD for streaming apps
4. Managing multiple environments

Module 11 – Capstone Project

1. Designing a complete real-time pipeline
2. Building ingestion with Kafka
3. Processing and windowing events
4. Publishing results to external systems
5. Running the pipeline in a cluster environment