Visão Geral

Este curso ensina como construir pipelines completos de análise em tempo real utilizando Apache Flink SQL integrado ao Apache Kafka. Você aprenderá a consumir dados de streams, aplicar janelas e agregações avançadas, detectar padrões, realizar análises contínuas e enviar resultados para sistemas analíticos. É uma formação prática voltada para quem deseja implementar soluções modernas de Real-Time Analytics em larga escala.

Objetivo

Após realizar este curso, você será capaz de:

• Integrar Apache Kafka com Apache Flink SQL para análises em tempo real.
• Criar consultas SQL avançadas sobre fluxos contínuos.
• Construir janelas temporais, agregações e análises contínuas.
• Criar pipelines completos para monitoramento, alertas e dashboards.
• Lidar com altos volumes de dados com baixa latência.
• Entregar análises em tempo real para múltiplos sistemas de destino.

Publico Alvo

• Engenheiros de dados
• Analistas de dados que desejam migrar para streaming
• Cientistas de dados que precisam de dados em tempo real
• Desenvolvedores e arquitetos de sistemas distribuídos
• Profissionais que trabalham com Kafka ou Flink e querem unir as duas tecnologias

Pre-Requisitos

• Conhecimento básico de SQL
• Noções de Big Data e streaming
• Conhecimento básico de Kafka e/ou Flink (desejável)

Conteúdo Programatico

Module 1 – Introduction to Real-Time Analytics

1. What is real-time analytics?
2. Batch vs streaming analytical models
3. When to use Flink SQL + Kafka

Module 2 – Kafka Fundamentals for Streaming Analytics

1. Kafka topics, partitions, retention
2. Producers, consumers, consumer groups
3. Designing event schemas for analytics
4. High-throughput ingestion strategies

Module 3 – Flink SQL Essentials for Analytics

1. Dynamic tables and changelog streams
2. Defining Kafka sources using SQL DDL
3. Understanding event time and watermarks

Module 4 – Windowed Analytics

1. Tumbling, hopping, and cumulative windows
2. Session windows for user behavior analytics
3. Windowed aggregations at scale
4. Working with late events and watermarks

Module 5 – Advanced Analytical Queries

1. Trend detection queries
2. Time-series analytics
3. Pattern detection with MATCH_RECOGNIZE
4. Funnel analysis and clickstream pipelines

Module 6 – Joining Streaming Data

1. Stream–stream joins
2. Temporal table joins
3. Lookup joins for reference enrichment
4. Optimizing join performance

Module 7 – Building End-to-End Pipelines

1. Kafka → Flink SQL → Kafka
2. Kafka → Flink SQL → Elasticsearch / OLAP systems
3. Creating dashboards with BI tools (Grafana, Superset)
4. Error handling and exactly-once analytics

Module 8 – Performance and Optimization

1. Managing backpressure
2. Choosing parallelism and resources
3. Connector tuning for high-volume analytics
4. Memory and state management

Module 9 – Real-World Use Cases

1. Real-time metrics pipeline
2. Fraud detection analytics
3. Monitoring IoT sensor streams
4. Marketing and user behavior analytics

Module 10 – Best Practices

1. Schema governance for analytics
2. Handling schema evolution
3. Data quality in streaming
4. Operational considerations for production