Visão Geral

O curso Apache Flink AWS Kinesis Analytics oferece uma abordagem prática e detalhada sobre como desenvolver, implantar e gerenciar aplicações de streaming em tempo real utilizando o Apache Flink integrado ao Amazon Kinesis Data Analytics. O participante aprenderá a processar dados em tempo real, criar pipelines escaláveis e implementar soluções analíticas com alta disponibilidade e baixa latência dentro do ecossistema AWS.

Durante o curso, os alunos serão orientados desde os conceitos fundamentais de streaming e processamento de dados até a configuração de ambientes e a criação de aplicações complexas usando Flink e Kinesis em conjunto.

A metodologia combina teoria e prática, com exercícios laboratoriais guiados em ambiente real de nuvem.

Objetivo

Após realizar este curso Apache Flink AWS Kinesis Analytics, você será capaz de:

• Compreender os fundamentos do processamento de dados em tempo real.
• Integrar Apache Flink com o AWS Kinesis Data Analytics.
• Criar pipelines escaláveis e resilientes de streaming de dados.
• Implantar, monitorar e otimizar aplicações Flink no ambiente AWS.
• Aplicar boas práticas de segurança, performance e custos em aplicações de streaming.

Publico Alvo

Este curso é destinado a:

• Engenheiros de dados e arquitetos de soluções que trabalham com Big Data e aplicações em tempo real.
• Desenvolvedores que desejam aprender a integrar Apache Flink com serviços AWS.
• Profissionais de DevOps e SRE interessados em automação e orquestração de pipelines de dados.
• Analistas e cientistas de dados que precisam processar e analisar streams contínuos em tempo real.

Pre-Requisitos

• Conhecimento básico de AWS (IAM, EC2, Kinesis, S3).
• Noções de Apache Flink e conceitos de streaming de dados.
• Experiência básica com programação Java, Scala ou Python.
• Conta AWS ativa para práticas laboratoriais.

Materiais

Conteúdo Programatico

Module 1: Introduction to Real-Time Data Processing

1. Understanding streaming vs batch processing
2. Overview of Apache Flink and AWS Kinesis services
3. Flink architecture and data flow concepts
4. Use cases and business scenarios for real-time analytics

Module 2: Apache Flink Fundamentals

1. Flink runtime and job architecture
2. Streams, transformations, and windows
3. State management and checkpointing
4. Fault tolerance and event-time semantics

Module 3: AWS Kinesis Data Streams and Firehose

1. Overview of Kinesis Data Streams and Firehose
2. Stream creation and configuration
3. Data producers and consumers
4. Integrating Kinesis with S3, Lambda, and Redshift

Module 4: Kinesis Data Analytics for Apache Flink

1. Introduction to Kinesis Data Analytics (KDA)
2. Setting up KDA for Apache Flink applications
3. Deploying and scaling Flink jobs on KDA
4. Managing resources and monitoring applications

Module 5: Building Streaming Pipelines

1. End-to-end Flink + Kinesis pipeline design
2. Data ingestion, transformation, and enrichment
3. Writing results to Amazon S3 and DynamoDB
4. Real-time dashboards with Amazon CloudWatch and QuickSight

Module 6: Advanced Flink Features

1. Working with custom sources and sinks
2. Using Flink SQL for stream analytics
3. Integrating with Kafka, Glue, and EMR
4. Stateful stream processing and CEP (Complex Event Processing)

Module 7: Security, Cost Optimization and Best Practices

1. IAM roles and permissions for Kinesis and Flink
2. Data encryption and compliance on AWS
3. Cost monitoring and optimization strategies
4. Best practices for high availability and scaling

Module 8: Hands-On Labs and Case Studies

1. Building a real-time fraud detection pipeline
2. Deploying a real-time IoT data analytics solution
3. Monitoring and troubleshooting Flink jobs on KDA
4. Capstone project: end-to-end streaming analytics application