Visão Geral

Este Curso Apache Flink® Table API Processing Data Streams in Java oferece uma introdução prática e detalhada ao uso da Table API do Apache Flink® para processamento de fluxos de dados em tempo real utilizando a linguagem Java. Você aprenderá a criar pipelines de dados dinâmicos, realizar consultas SQL-like em streams e integrar fontes e destinos de dados, tudo isso com exemplos aplicados e exercícios práticos.

Por que você deve fazer este curso

O processamento de dados em tempo real é uma habilidade essencial no mundo atual de big data e análise de eventos. Este curso capacita você a dominar o Apache Flink, uma das ferramentas mais poderosas e amplamente utilizadas para streaming, permitindo que você construa soluções escaláveis e eficientes. Se você deseja se destacar em áreas como engenharia de dados ou ciência de dados, este curso é um passo fundamental.

Objetivo

Após realizar este Curso Apache Flink® Table API Processing Data Streams in Java, você será capaz de:

• Configurar e executar pipelines de dados em tempo real com o Apache Flink.
• Utilizar a Table API para realizar consultas e transformações em fluxos de dados.
• Integrar fontes externas (como Kafka) e destinos (como arquivos ou bancos de dados) em seus projetos.
• Aplicar janelas temporais e agregações para análise de dados dinâmicos.
• Desenvolver soluções escaláveis e otimizadas para processamento de streams.

Publico Alvo

• Desenvolvedores Java interessados em streaming de dados.
• Engenheiros de dados ou analistas que desejam aprender a processar fluxos em tempo real.
• Profissionais de TI buscando expandir suas habilidades em big data.

Pre-Requisitos

• Conhecimento básico de programação em Java (orientação a objetos, coleções, etc.).
• Familiaridade com conceitos básicos de bancos de dados ou SQL é um diferencial, mas não obrigatório.
• Noções introdutórias de sistemas distribuídos são úteis, mas não essenciais.

Materiais

Conteúdo Programatico

Introduction to Apache Flink and Streaming

1. Overview of Apache Flink and its use cases
2. Batch vs. Streaming: Key differences
3. Setting up the Flink environment with Java and Maven
4. First Flink program: Hello, Stream!

Fundamentals of the Table API

1. Introduction to Table API and its relation to DataStream API
2. Basic structure: Tables, Rows, and Schema
3. Setting up a TableEnvironment in Java
4. Hands-on: Creating a table from static data

Working with Data Streams

1. Connecting Table API to data sources (e.g., Kafka, CSV)
2. Defining schemas for dynamic data
3. Basic operations: SELECT, WHERE, GROUP BY
4. Practical example: Processing a real-time sales event stream

Advanced Queries and Windowing

1. Temporal windows: Tumbling, Sliding, and Session
2. Aggregation functions: SUM, AVG, COUNT
3. Joining streams with static tables
4. Practical example: Computing moving averages over a 5-minute window

Integration and Deployment

1. Configuring sinks (e.g., Elasticsearch, JDBC, files)
2. Best practices for performance optimization
3. Monitoring and debugging Flink pipelines
4. Final project: Building a complete ingestion-transformation-output pipeline