Visão Geral

O curso Apache Flink SQL Fundamentals apresenta os conceitos essenciais para trabalhar com processamento de dados em streaming e batch utilizando o módulo SQL do Apache Flink. O participante aprenderá a criar consultas SQL para transformar, enriquecer, analisar e manipular dados em tempo real, integrando com sistemas como Apache Kafka, bancos de dados e data lakes.
O curso combina teoria e prática em laboratório individual, proporcionando uma base sólida para construir pipelines de dados modernos, escaláveis e orientados a eventos.

Objetivo

Após realizar este Curso Apache Flink SQL Fundamentals, você será capaz de:

• Entender como funciona o processamento streaming e batch no Flink SQL
• Trabalhar com dynamic tables e changelog streams
• Criar tabelas conectadas ao Kafka, bancos de dados e arquivos
• Aplicar consultas SQL contínuas sobre streams em tempo real
• Realizar joins, agregações e cálculos com janelas
• Criar pipelines de transformação, enriquecimento e análise utilizando Flink SQL
• Executar e validar jobs SQL no Flink
• Construir bases para projetos event-driven baseados em SQL

Publico Alvo

• Engenheiros de Dados
• Analistas de Dados
• Desenvolvedores Backend
• Arquitetos de Software e de Dados
• Profissionais que trabalham com pipelines streaming, Kafka ou ferramentas de real-time analytics
• Times que desejam implementar soluções event-driven usando Flink SQL

Pre-Requisitos

• Conhecimentos básicos de SQL
• Noções gerais de Apache Kafka (não obrigatório, mas recomendado)
• Noções de engenharia de dados ou ETL
• Experiência com Linux é desejável

Materiais

Conteúdo Programatico

Module 1 – Introduction to Apache Flink SQL

1. What is Flink SQL
2. Streaming vs Batch processing
3. Flink’s Table & SQL API
4. Key concepts: Dynamic Tables, Continuous Queries, Changelog Streams

Module 2 – Flink SQL Architecture

1. How Flink SQL works internally
2. SQL Gateway and SQL Client
3. Planner, Optimizer, and Execution Model
4. Overview of Catalogs, Tables, and Schemas

Module 3 – Working with Tables

1. Creating tables (DDL)
2. Managed vs External tables
3. Table formats: JSON, Avro, CSV, Parquet
4. Table connectors overview

Module 4 – Kafka Integration

1. Creating Kafka source/sink tables
2. Defining watermarks and event time
3. Reading/writing streams via SQL
4. Hands-on: Kafka → Flink SQL → Kafka pipeline

Module 5 – Querying Streaming Data

1. Basic SELECT queries
2. Filtering and projections
3. Calculated columns
4. Handling late events

Module 6 – Windowing Operations

1. Tumbling, Hopping, Sliding, and Session windows
2. Window aggregates and metrics
3. Window functions best practices
4. Hands-on: Real-time KPI calculations

Module 7 – Joins in Streaming SQL

1. Inner, left/right, full joins
2. Temporal joins
3. Lookup joins with JDBC tables
4. Streaming enrichment patterns

Module 8 – Aggregations & Analytics

1. Group-by processing
2. Incremental and complete aggregates
3. Top-N and Ranking queries
4. Complex event transformations

Module 9 – Working with Time in Flink SQL

1. Event Time vs Processing Time
2. Watermarks
3. Out-of-order event handling

Module 10 – Deploying SQL Pipelines

1. Submitting SQL jobs to Flink clusters
2. Using SQL Gateway for deployment
3. Monitoring jobs
4. Debugging and troubleshooting

Module 11 – Real-Time Use Cases

1. ETL and data enrichment pipelines
2. Fraud detection and real-time alerts
3. Live dashboards and analytics
4. IoT and event monitoring