Visão Geral

Este Curso Apache Flink Foundation apresenta os fundamentos do Apache Flink, uma plataforma moderna e distribuída para processamento de dados em tempo real e em batch. Você aprenderá como o Flink funciona, seus componentes principais, como desenvolver aplicações de streaming e como integrá-lo a ecossistemas de dados corporativos.

Objetivo

Após realizar este curso, você será capaz de:

• Compreender a arquitetura do Apache Flink
• Criar aplicações de streaming e batch
• Integrar o Flink com ferramentas de mensageria e armazenamento
• Fazer deploy e monitorar aplicações
• Entender como otimizar fluxos e pipelines de dados

Publico Alvo

• Profissionais iniciantes em Big Data
• Desenvolvedores interessados em processamento de dados em tempo real
• Analistas de dados e engenheiros de dados
• Estudantes de tecnologia buscando capacitação técnica

Pre-Requisitos

• Lógica de programação
• Noções básicas de Java, Python ou Scala
• Conhecimento introdutório sobre sistemas distribuídos (desejável)

Conteúdo Programatico

Module 1 – Introduction to Apache Flink

1. What is Apache Flink?

2. Batch vs Stream processing
3. Core concepts and terminology
4. Flink ecosystem overview

Module 2 – Flink Architecture

1. Distributed runtime

2. JobManager and TaskManager roles
3. Parallelism and scaling
4. Checkpoints and state management

Module 3 – Development Environment Setup

1. Installing Flink locally

2. Project structure and dependencies
3. Working with Flink APIs (Java, Python, Scala)

Module 4 – DataStream API

1. Streams and transformations

2. Operators, functions, and windows
3. Event time vs processing time
4. Stateful computations

Module 5 – DataSet API (Batch Processing)

1. DataSet creation

2. Transformations
3. Execution plans
4. When to prefer batch or streaming

Module 6 – Connectors and Integrations

1. Kafka, Kinesis, RabbitMQ

2. File systems (HDFS, S3, local)
3. JDBC, NoSQL, and data sinks
4. Using Flink SQL

Module 7 – Deployment & Monitoring

1. Running jobs on local, standalone, and cluster modes

2. Flink Dashboard overview
3. Logs, job metrics, and health monitoring
4. Introduction to Flink on Kubernetes

Module 8 – Optimization & Best Practices

1. Checkpoint tuning

2. Memory and performance optimization
3. Handling backpressure
4. Fault tolerance strategies

Module 9 – Hands-On Project

1. Designing a real-time streaming pipeline

2. Integrating with Kafka
3. Processing real-time events
4. Deploying a complete streaming job