Visão Geral

Este curso ensina, de forma prática e completa, como projetar, estruturar e implementar pipelines de streaming utilizando apenas Apache Flink SQL. Você aprenderá a conectar fontes e destinos, criar transformações contínuas, lidar com tempo de evento, construir janelas e entregar resultados em tempo real. É ideal para quem deseja criar pipelines profissionais sem precisar escrever código Java/Scala, usando somente SQL declarativo.

Objetivo

Após realizar este curso, você será capaz de:

• Criar pipelines completos de streaming utilizando apenas SQL.
• Definir fontes, destinos e transformações com Flink SQL DDL.
• Aplicar filtros, joins, agregações e janelas em tempo real.
• Trabalhar com tempo de evento, watermarks e dados atrasados.
• Integrar Kafka, bancos SQL/NoSQL e sistemas de saída.
• Otimizar consultas, reduzir latência e manter pipelines estáveis em produção.

Publico Alvo

• Engenheiros de dados
• Desenvolvedores back-end que trabalham com eventos
• Arquitetos de dados e soluções
• Analistas que precisam de pipelines de dados contínuos
• Profissionais que já conhecem SQL e querem trabalhar com streaming

Pre-Requisitos

• Conhecimento de SQL
• Noções de Big Data e processamento em streaming
• Conhecimento básico de Apache Kafka (desejável)
• Entendimento básico de Flink ou Flink SQL (preferível)

Conteúdo Programatico

Module 1 – Introduction to Streaming Pipelines

1. What is a streaming pipeline?
2. Why build pipelines using Flink SQL?
3. Streaming vs batch data flows
4. Architectural patterns for pipelines

Module 2 – Defining Sources and Sinks

1. SQL DDL for Kafka sources
2. JDBC connectors
3. File and object storage connectors
4. Configuring schemas, formats and watermarks

Module 3 – Transformations with SQL

1. Filtering and projections
2. Computed columns
3. Enriching data with reference tables
4. Handling changelogs

Module 4 – Time Semantics in Pipelines

1. Event time vs processing time
2. Configuring watermarks
3. Late event handling
4. Practical strategies for time-sensitive streams

Module 5 – Building Windowed Pipelines

1. Tumbling, hopping and cumulative windows
2. Session windows
3. Window aggregations
4. Multi-stage windowed transformations

Module 6 – Joining Streams and Tables

1. Stream–stream joins
2. Temporal joins
3. Lookup table joins
4. Performance considerations for large joins

Module 7 – Multi-Step Pipeline Design

1. Designing multi-hop pipelines
2. Chaining transformations across stages
3. Creating reusable intermediate tables
4. Ensuring consistency between pipeline layers

Module 8 – End-to-End Pipeline Implementation

1. Kafka → Flink SQL → Kafka
2. Multi-sink pipelines (Kafka + database + dashboard)
3. Real-case pipeline walkthroughs
4. Error handling and reliability patterns

Module 9 – Optimization and Performance

1. Query EXPLAIN and plan analysis
2. Reducing backpressure
3. Memory and state tuning
4. Scalability strategies

Module 10 – Production Best Practices

1. Deploying SQL pipelines in production environments
2. Schema evolution and governance
3. Monitoring with metrics and logs
4. Operational guidelines for stable pipelines