Visão Geral

Este curso apresenta os fundamentos do Kafka Streams, biblioteca para construção de aplicações de processamento de streams sobre o Apache Kafka. O participante aprenderá os principais conceitos de stream processing, incluindo KStream, KTable, GlobalKTable, processors, state stores, joins, windowing, aggregation e transformação de dados. O curso também aborda escalabilidade, tolerância a falhas, processamento com estado e boas práticas para desenvolvimento de aplicações de streaming em tempo real.

Objetivo

Após realizar este curso, você será capaz de:

• Compreender a arquitetura e os principais conceitos do Kafka Streams
• Desenvolver aplicações de processamento de streams
• Utilizar KStream, KTable e GlobalKTable
• Implementar transformações, filtros e agregações
• Trabalhar com state stores e processamento com estado
• Implementar joins e windowing
• Projetar aplicações escaláveis e tolerantes a falhas
• Monitorar e otimizar aplicações Kafka Streams

Publico Alvo

• Desenvolvedores de Software
• Engenheiros de Dados
• Engenheiros de Streaming
• Engenheiros de Integração
• Desenvolvedores Java
• Engenheiros de Cloud
• Arquitetos de Soluções

Pre-Requisitos

• Conhecimentos básicos de Apache Kafka
• Conhecimentos básicos de programação
• Familiaridade com topics, partitions e consumer groups
• Conhecimentos de Java são recomendados
• Noções de processamento de dados são recomendadas

Conteúdo Programatico

Module 1: Kafka Streams Architecture and Fundamentals

1. Stream processing concepts
2. Kafka Streams overview
3. Kafka Streams architecture
4. Streams and Tables
5. Kafka Streams applications
6. Processing topology

Module 2: KStream, KTable and GlobalKTable

1. KStream fundamentals
2. KTable fundamentals
3. GlobalKTable
4. Stream-table duality
5. Choosing between KStream and KTable
6. Use cases

Module 3: Stream Transformations

1. Filter operations
2. Map and FlatMap
3. SelectKey
4. Branch
5. Transform
6. Stateless processing

Module 4: Aggregations and State Stores

1. Grouping operations
2. Reduce
3. Aggregate
4. Count
5. State Stores
6. Stateful stream processing

Module 5: Joins and Windowing

1. Stream-Stream joins
2. Stream-Table joins
3. Table-Table joins
4. Time windows
5. Tumbling and Sliding Windows
6. Session Windows

Module 6: Processing Guarantees and Fault Tolerance

1. At-least-once processing
2. Exactly-once processing
3. State recovery
4. Changelog topics
5. Fault tolerance
6. Failure recovery

Module 7: Scalability and Performance

1. Kafka Streams task model
2. Partition-based parallelism
3. Application scaling
4. Repartitioning
5. Performance optimization
6. Resource management

Module 8: Kafka Streams Fundamentals Workshop

1. Kafka Streams application setup
2. Stream transformation implementation
3. Aggregation and state store implementation
4. Windowing and join exercises
5. Monitoring and troubleshooting
6. Final Kafka Streams streaming application project