Visão Geral

Este Apache Flink + Apache Kafka apresenta, na prática, como integrar Apache Flink e Apache Kafka para construir pipelines de dados robustos, escaláveis e em tempo real. Você aprenderá a criar aplicações de streaming completas, desde a produção e consumo de eventos no Kafka até o processamento avançado no Flink, incluindo estratégias de tolerância a falhas, integração com APIs modernas e deploy em ambientes distribuídos.

Objetivo

Após realizar este curso, você será capaz de:

• Construir pipelines de streaming que conectam Kafka e Flink
• Configurar produtores, consumidores e tópicos de eventos
• Implementar transformações avançadas com a DataStream API
• Garantir entrega e processamento exatamente-once
• Integrar pipelines com bancos, sistemas de storage e APIs
• Fazer deploy e monitorar pipelines em ambiente de produção

Publico Alvo

• Engenheiros de dados
• Desenvolvedores backend e de streaming
• Profissionais que trabalham com sistemas distribuídos e eventos
• Estudantes e iniciantes com foco em Big Data

Pre-Requisitos

• Conhecimento básico de Apache Kafka
• Conhecimento introdutório de Apache Flink
• Noções de programação (Java, Scala ou Python)
• Entendimento básico de sistemas distribuídos

Conteúdo Programatico

Module 1 – Foundations of Event Streaming

1. Introduction to streaming ecosystems

2. Real-time vs batch comparisons
3. Role of Flink and Kafka in modern architectures

Module 2 – Apache Kafka Essentials

1. Brokers, partitions, replicas

2. Producers and consumers
3. Topic configuration best practices
4. Delivery guarantees (at-least, at-most, exactly-once)

Module 3 – Apache Flink Essentials

1. Flink runtime overview

2. DataStream API
3. Time semantics (event-time, ingestion-time, processing-time)
4. Stateful operators

Module 4 – Flink + Kafka Integration

1. Kafka connectors for Flink

2. Source and sink configuration
3. Consuming streams with schema registry
4. Writing back results to Kafka topics

Module 5 – Transformations & Stream Processing

1. Mapping, filtering, windowing
2. Joins, aggregations, event-time processing
3. Handling late data
4. Designing resilient event pipelines

Module 6 – Exactly-Once Processing

1. Checkpoints and savepoints
2. Transactional sinks
3. Idempotent writes
4. Ensuring consistency across distributed systems

Module 7 – Real-World Architectures

1. CDC (Change Data Capture) with Debezium
2. Combining Flink, Kafka, and OLAP systems
3. Event-driven microservices
4. Data quality patterns

Module 8 – Monitoring & Observability

1. Kafka monitoring fundamentals
2. Flink Dashboard
3. Metrics, logs, and tracing
4. Detecting bottlenecks and backpressure

Module 9 – Deployment Scenarios

1. Standalone, YARN, Kubernetes modes
2. Kafka + Flink in container environments
3. CI/CD pipelines for streaming jobs

Module 10 – Hands-On Project

1. Building an end-to-end real-time pipeline
2. Ingesting events with Kafka
3. Processing with Flink
4. Producing enriched data to downstream systems