Visão Geral

Este Curso Apache Flink SQL Essentials apresenta os fundamentos do uso do Apache Flink SQL para processamento de dados em tempo real. Você aprenderá como escrever consultas SQL para fluxos contínuos, trabalhar com janelas, conectar fontes e destinos de dados e construir pipelines de streaming utilizando apenas SQL. É um curso ideal para quem quer usar o poder do Flink sem escrever código complexo com APIs tradicionais.

Objetivo

Após realizar este curso, você será capaz de:

• Criar pipelines de streaming usando somente SQL
• Trabalhar com tabelas dinâmicas e fluxos contínuos
• Criar consultas com janelas de tempo e agregações
• Conectar o Flink SQL a sistemas como Kafka, bancos de dados e storage
• Implementar transformações e modelos de dados em tempo real
• Publicar resultados em múltiplos destinos

Publico Alvo

• Engenheiros de dados
• Analistas de dados que desejam trabalhar com streaming
• Desenvolvedores que preferem SQL a linguagens de programação
• Profissionais de BI e Analytics
• Estudantes interessados em dados em tempo real

Pre-Requisitos

• Conhecimentos básicos de SQL
• Noções de engenharia de dados
• Entendimento introdutório sobre streaming (desejável)

Conteúdo Programatico

Module 1 – Introduction to Flink SQL

1. What is Flink SQL?
2. Differences between batch SQL and streaming SQL
3. Dynamic tables concept
4. Overview of Table API vs SQL API

Module 2 – Setting Up Flink SQL Environment

1. SQL Client
2. Creating catalogs, databases and tables
3. Working with connectors
4. Basic SQL workflow in Flink

Module 3 – Working with Streams as Tables

1. Dynamic tables explained
2. INSERT, SELECT, CREATE TABLE
3. Time attributes (processing time & event time)
4. Understanding changelogs

Module 4 – Windowing in SQL

1. Tumbling, sliding and session windows
2. Window aggregations
3. Watermarks and lateness handling
4. Complex time-based calculations

Module 5 – Joins & Advanced Queries

1. Stream-stream joins
2. Table-stream joins
3. Temporal joins
4. Lookup tables
5. Subqueries and nested logic

Module 6 – Connectors & Serialization

1. Kafka connector
2. File system connectors (S3, HDFS, local)
3. JDBC connector
4. Formats: JSON, CSV, Avro, Debezium, etc.

Module 7 – Real-Time Pipeline Design with SQL

1. Designing SQL pipelines end-to-end
2. Data enrichment
3. Multi-step transformations
4. Materialized views & incremental computation

Module 8 – Performance & Optimization

1. Query planner
2. Resource tuning basics
3. Parallelism considerations
4. Common SQL pitfalls in streaming

Module 9 – Deployment & Operations

1. Running SQL jobs in cluster mode
2. Savepoints & upgrades
3. Monitoring queries
4. Debugging streaming SQL jobs

Module 10 – Final Project

1. Building a real-time pipeline with SQL only
2. Ingesting data from Kafka
3. Applying windowing, joins and aggregations
4. Emitting results to a database or data lake