Visão Geral

O curso Stream Processing with Kafka Streams and ksqlDB apresenta os conceitos fundamentais, a arquitetura e as práticas avançadas para construir aplicações de processamento de streams em tempo real utilizando Kafka Streams (framework nativo em Java/Scala) e ksqlDB (Streaming SQL).
Os participantes aprenderão a criar aplicações stateful com Kafka Streams, gerenciar estado, criar topologias complexas e complementar pipelines com consultas SQL contínuas usando ksqlDB.
O treinamento combina teoria com laboratórios práticos em ambiente isolado para cada aluno, seguindo as melhores práticas do mercado.

Objetivo

Após realizar este curso Stream Processing with Kafka Streams and ksqlDB, você será capaz de:

• Entender profundamente os conceitos de stream processing
• Criar aplicações de streaming utilizando Kafka Streams
• Utilizar state stores, windowing, joins e processors avançados
• Criar pipelines em real-time com ksqlDB utilizando SQL
• Executar transformações, agregações, filtros e correlações de eventos
• Integrar Kafka Streams e ksqlDB em arquiteturas modernas
• Monitorar, otimizar e operar pipelines em produção
• Aplicar as melhores práticas de arquitetura de streaming

Publico Alvo

• Engenheiros de Dados
• Desenvolvedores Backend
• Arquitetos de Soluções
• Administradores de Kafka
• Profissionais que criam pipelines de dados em tempo real
• Times que trabalham com microserviços orientados a eventos

Pre-Requisitos

• Conhecimento básico de Apache Kafka
• Noções de programação (Java ou outro backend)
• Noções de SQL
• Noções de Docker (desejável)

Materiais

Conteúdo Programatico

1. Introduction to Stream Processing

1. What is stream processing
2. Batch vs. Streaming
3. Event-driven architectures
4. Kafka Streams vs. ksqlDB: When to use each

2. Kafka Streams Fundamentals

1. Kafka Streams architecture
2. Streams, KStreams, KTables
3. Stateless operations (map, filter, flatMap)
4. Stateful operations (aggregations, joins)
5. Windowing concepts

3. Kafka Streams Development

1. Building a Streams application
2. Topology API
3. Serdes and serialization formats
4. State stores and RocksDB
5. Handling rebalances
6. Interactive queries

4. Advanced Kafka Streams

1. Processor API vs. DSL
2. Custom processors and transformers
3. Error handling and DLQ strategies
4. Exactly-once semantics
5. Fault tolerance and standby replicas
6. Scaling Kafka Streams applications

5. ksqlDB Fundamentals

1. What is ksqlDB
2. Streams and Tables in ksqlDB
3. Persistent and transient queries
4. SQL operations for real-time processing

6. Building Streaming Pipelines with ksqlDB

1. Filtering and transforming data
2. Creating materialized views
3. Aggregations with windows
4. Stream-stream, stream-table, and table-table joins
5. Using the Schema Registry with ksqlDB

7. Integrating Kafka Streams and ksqlDB

1. Coordinating processing between Streams and ksqlDB
2. Using ksqlDB to prototype pipelines
3. Offloading transformations to ksqlDB
4. Enriching Streams applications using ksqlDB tables
5. Operational patterns

8. Serialization, Schema, and Formats

1. Avro, JSON, Protobuf
2. Working with Schema Registry
3. Managing schema evolution
4. Handling incompatible changes

9. Operations, Monitoring, and Troubleshooting

1. Monitoring Kafka Streams metrics
2. Monitoring ksqlDB queries
3. Debugging serialization issues
4. Understanding internal topics
5. Scaling and resource planning

10. Real-Time Architecture Patterns

1. Event sourcing
2. CQRS with Kafka
3. Real-time ETL pipelines
4. Fraud detection
5. Anomaly detection
6. Data enrichment pipelines

11. Hands-on Labs

1. Creating a Kafka Streams application
2. Using windowed and session-based aggregations
3. Implementing joins with KStream and KTable
4. Deploying ksqlDB + Kafka environment
5. Creating streaming SQL pipelines
6. Integrating Kafka Streams with ksqlDB
7. Debugging and optimizing pipelines

12. Best Practices

1. Designing robust event schemas
2. Choosing keys and partition strategies
3. Minimizing reprocessing
4. Managing state store size and performance
5. Production deployment guidelines