Visão Geral

Este curso aborda o desenvolvimento e a operação de pipelines de dados em tempo real, desde a ingestão de eventos até o processamento, transformação, enriquecimento e disponibilização dos dados. O participante aprenderá a utilizar arquiteturas baseadas em Event Streaming, message brokers e frameworks de stream processing, trabalhando com tecnologias como Apache Kafka, Kafka Streams, Apache Flink e Debezium. O conteúdo também aborda event time, windowing, processamento com estado, Change Data Capture, escalabilidade, tolerância a falhas, observabilidade e boas práticas para construção de pipelines de dados confiáveis e de baixa latência.

Objetivo

Após realizar este curso, você será capaz de:

• Projetar pipelines de dados em tempo real
• Implementar ingestão contínua de eventos
• Utilizar message brokers e plataformas de Event Streaming
• Desenvolver pipelines com processamento stateless e stateful
• Trabalhar com event time, watermarks e windowing
• Implementar Change Data Capture em pipelines de dados
• Integrar diferentes fontes, processadores e destinos
• Implementar estratégias de escalabilidade e tolerância a falhas
• Monitorar, diagnosticar e otimizar pipelines de baixa latência

Publico Alvo

• Engenheiros de Dados
• Engenheiros de Streaming
• Engenheiros de Big Data
• Engenheiros de Integração
• Engenheiros de Software
• Engenheiros DevOps
• Arquitetos de Data Platforms
• Arquitetos de Soluções

Pre-Requisitos

• Conhecimentos básicos de programação
• Familiaridade com bancos de dados e SQL
• Conhecimentos básicos de mensageria e Event Streaming
• Noções de sistemas distribuídos
• Conhecimentos básicos de Apache Kafka são recomendados

Materiais

Conteúdo Programatico

Module 1: Real-Time Data Pipeline Architecture

1. Real-time data processing concepts
2. Batch versus streaming processing
3. Event-driven data architectures
4. Streaming pipeline components
5. Data ingestion, processing and delivery
6. Lambda and Kappa architecture concepts

Module 2: Event Ingestion and Streaming Platforms

1. Event producers and consumers
2. Message brokers
3. Apache Kafka architecture
4. Topics and partitions
5. Consumer Groups
6. Event delivery and retention

Module 3: Data Ingestion with Change Data Capture

1. Change Data Capture concepts
2. Log-based CDC
3. Debezium architecture
4. Database source connectors
5. CDC event processing
6. Database-to-stream architectures

Module 4: Stream Processing Fundamentals

1. Stream transformations
2. Filtering and mapping
3. Data enrichment
4. Aggregation
5. Event routing
6. Stream-to-stream processing

Module 5: Event Time and Windowing

1. Processing Time
2. Event Time
3. Timestamps
4. Watermarks
5. Tumbling and Sliding Windows
6. Session Windows
7. Late event handling

Module 6: Stateful Stream Processing

1. Stateless versus stateful processing
2. Keyed state
3. State stores
4. Stateful aggregations
5. Stream joins
6. State recovery

Module 7: Real-Time Processing Frameworks

1. Kafka Streams architecture
2. Apache Flink architecture
3. Stream processing topologies
4. DataStream processing
5. Framework selection criteria
6. Distributed stream processing

Module 8: Reliability and Fault Tolerance

1. At-least-once processing
2. Exactly-once processing
3. Checkpointing
4. Offset management
5. Retry strategies
6. Dead-Letter Queues
7. Failure recovery

Module 9: Scalability and Performance Optimization

1. Partition-based parallelism
2. Consumer scaling
3. Backpressure
4. Throughput optimization
5. Latency optimization
6. Resource management
7. Capacity planning

Module 10: Data Quality, Schema and Governance

1. Event schemas
2. Schema Registry
3. Schema evolution
4. Data validation
5. Event contracts
6. Data quality monitoring
7. Governance strategies

Module 11: Observability and Operations

1. Streaming pipeline metrics
2. Consumer lag monitoring
3. Distributed tracing
4. Centralized logging
5. Pipeline health monitoring
6. Troubleshooting streaming workloads
7. Operational best practices

Module 12: Real-Time Data Pipelines Workshop

1. Event ingestion implementation
2. CDC pipeline configuration
3. Real-time stream transformation
4. Windowing and stateful processing
5. Monitoring, scaling and failure recovery
6. Final end-to-end real-time data pipeline project