Visão Geral

Este curso é voltado para profissionais que já possuem conhecimentos básicos em Apache Kafka e desejam se aprofundar na criação e otimização de produtores Kafka em ambientes distribuídos. O curso aborda técnicas avançadas de envio de mensagens, estratégias de particionamento, serialização, gerenciamento de erros, e otimização de desempenho, garantindo alta eficiência e confiabilidade em pipelines de dados em tempo real.

Objetivo

Após realizar este curso Kafka Advanced Producers, você será capaz de:

• Configurar produtores Kafka para alto desempenho e confiabilidade.
• Implementar estratégias avançadas de particionamento e balanceamento de carga.
• Garantir consistência e idempotência em envio de mensagens.
• Monitorar, depurar e otimizar produtores Kafka em produção.
• Integrar produtores com diferentes formatos de serialização e sistemas externos.

Publico Alvo

• Desenvolvedores e engenheiros de dados que trabalham com Kafka.
• Profissionais de DevOps e SRE que implementam e mantêm produtores Kafka em produção.
• Arquitetos de soluções distribuídas que buscam otimizar o envio de mensagens.

Pre-Requisitos

• Conhecimento básico em Apache Kafka (produtores, consumidores e tópicos).
• Experiência em Java, Python ou outra linguagem compatível com Kafka.
• Familiaridade com conceitos de mensageria e sistemas distribuídos.

Materiais

Conteúdo Programatico

Módulo 1 – Revisão Rápida de Kafka Producers

1. Arquitetura de Kafka Producers.
2. Ciclo de vida de mensagens: envio síncrono e assíncrono.
3. Configurações básicas de produtor: brokers, tópicos e keys.

Módulo 2 – Configurações Avançadas de Produtores

1. Batch size, linger.ms e compressão.
2. Retries, acks e timeout settings.
3. Controle de throughput e latência.
4. Idempotência e garantia de exactly-once delivery.

Módulo 3 – Estratégias de Particionamento

1. Chaves de partição e balanceamento de carga.
2. Particionamento customizado.
3. Impacto de particionamento em escalabilidade e performance.

Módulo 4 – Serialização e Formatos de Dados

1. Serializers: String, JSON, Avro e Protobuf.
2. Schema Registry e versionamento de schemas.
3. Boas práticas para garantir compatibilidade e evolução de dados.

Módulo 5 – Monitoramento e Debug de Produtores

1. Métricas e logs de produtores Kafka.
2. Técnicas de troubleshooting e tratamento de erros.
3. Alertas e integração com sistemas de monitoramento.

Módulo 6 – Integração e Casos Práticos

1. Integração com aplicações distribuídas e microservices.
2. Envio de mensagens para múltiplos tópicos e clusters.
3. Projeto prático: implementação de produtores Kafka avançados em laboratório.