Visão Geral

O curso Event-Driven Applications with Apache Kafka foi projetado para desenvolvedores e engenheiros de software que desejam dominar a criação de aplicações baseadas em eventos utilizando o Apache Kafka, a plataforma de streaming mais popular do mercado.

Durante o treinamento, o participante aprenderá a instalar, configurar e operar clusters Kafka, bem como desenvolver produtores e consumidores de mensagens em múltiplas linguagens, integrar microserviços e implementar pipelines de dados em tempo real.

A formação é intensiva e prática, com laboratórios individuais que simulam cenários reais de integração e arquitetura corporativa, preparando o aluno para desafios técnicos de alta complexidade em ambientes distribuídos.

Objetivo

Após realizar o Curso Event-Driven Applications with Apache Kafka, você será capaz de:

• Compreender em profundidade a arquitetura e funcionamento do Apache Kafka
• Desenvolver produtores e consumidores com múltiplas linguagens de programação
• Projetar e construir pipelines de dados em tempo real
• Integrar o Kafka com bancos de dados, APIs e microserviços
• Aplicar segurança, monitoramento e boas práticas em clusters Kafka
• Gerenciar e otimizar o desempenho de aplicações baseadas em eventos

Publico Alvo

• Desenvolvedores de software e engenheiros backend
• Arquitetos de soluções e sistemas distribuídos
• Engenheiros DevOps e de integração
• Profissionais de dados e automação corporativa
• Equipes técnicas que utilizam ou pretendem utilizar Kafka em produção

Pre-Requisitos

• Conhecimentos básicos de Java, Python ou Node.js
• Noções de banco de dados e integração de sistemas
• Familiaridade com Docker e conceitos de microserviços é recomendada

Informações Gerais

Metodologia

Curso ao vivo via Microsoft Teams (Hands-On), com:

• Instrutor/consultor ativo no mercado e docente em sala de aula
• Curso prático, com um aluno por micro
• Laboratório individual disponibilizado no dia do curso
• Apostilas e materiais exclusivos
• Método de aprendizado ativo, combinando teoria e prática em todos os módulos

Recursos de Software Utilizados

• Apache Kafka (versão estável mais recente)
• Zookeeper
• Kafka UI / Kafdrop
• Docker e Docker Compose
• Prometheus e Grafana
• PostgreSQL (para integração de dados)
• Visual Studio Code / IntelliJ IDEA / PyCharm

Resultado Final

Ao concluir o curso, o participante estará apto a:

• Projetar e desenvolver sistemas baseados em eventos com Apache Kafka
• Criar produtores, consumidores e pipelines de dados em tempo real
• Integrar Kafka a microserviços, APIs e bancos de dados
• Aplicar boas práticas de segurança, desempenho e resiliência
• Atuar profissionalmente como Kafka Developer, Event Streaming Engineer ou Integration Specialist

Materiais

Conteúdo Programatico

Módulo 1 – Fundamentos e Arquitetura do Apache Kafka

1. Introdução ao conceito de event streaming
2. Arquitetura do Kafka: brokers, tópicos, partições, offsets e réplicas
3. Funcionamento dos producers e consumers
4. Entendendo consumer groups e paralelismo
5. Casos de uso: pipelines de dados, IoT, processamento de logs, integrações
6. Comparativo: Kafka vs RabbitMQ vs ActiveMQ

Laboratório 1: Instalar o Kafka e enviar a primeira mensagem com produtor e consumidor.

Módulo 2 – Configuração e Administração

1. Instalação e configuração do Kafka e Zookeeper
2. Criação e gerenciamento de tópicos e partições
3. Configuração com Docker e Docker Compose
4. Entendendo parâmetros de replicação, retenção e compactação
5. Uso de ferramentas gráficas (Kafka UI e Kafdrop)
6. Estrutura e armazenamento interno de logs

Laboratório 2: Criar e gerenciar tópicos, simular falha de broker e recuperação automática.

Módulo 3 – Desenvolvimento de Aplicações Kafka

1. API de produtores e consumidores
2. Serialização e desserialização (String, JSON, Avro)
3. Entendendo chaves e particionamento
4. Controle de offset manual e automático
5. Modos de entrega (at least once, at most once, exactly once)
6. Boas práticas de desenvolvimento

Laboratório 3: Criar uma aplicação de processamento de pedidos em tempo real.

Módulo 4 – Processamento de Dados em Tempo Real com Kafka Streams

1. Introdução ao Kafka Streams API
2. Operações de transformação (map, filter, join, aggregate)
3. Janelas temporais e controle de estado (windowing)
4. Aplicações stateful e stateless
5. Comparativo entre Kafka Streams e Spark Streaming

Laboratório 4: Construir um fluxo de análise de eventos em tempo real.

Módulo 5 – Integração com Outros Sistemas

1. Introdução ao Kafka Connect
2. Conectores Source e Sink
3. Integração com PostgreSQL, MongoDB, Elasticsearch e Amazon S3
4. Uso do Schema Registry e controle de compatibilidade
5. Estratégias de versionamento e schema evolution

Laboratório 5: Criar um pipeline de integração Kafka ↔ Banco de Dados.

Módulo 6 – Segurança e Alta Disponibilidade

1. Autenticação com SASL/PLAIN e SASL/SCRAM
2. Configuração de SSL/TLS
3. Controle de acesso com ACLs
4. Estratégias de alta disponibilidade e failover
5. Backup, recuperação e resiliência de dados

Laboratório 6: Configurar autenticação e simular falha de nó em cluster replicado.

Módulo 7 – Monitoramento e Performance

1. Monitoramento com Prometheus e Grafana
2. Principais métricas: throughput, lag, latência e erros
3. Uso do Kafka Manager e Kafdrop para auditoria
4. Técnicas de tuning em produtores e consumidores
5. Gerenciamento de logs e diagnóstico de falhas

Laboratório 7: Construir dashboard de monitoramento Kafka no Grafana.

Módulo 8 – Projeto Prático Final

Desafio Real:
Desenvolver e apresentar uma aplicação completa baseada em eventos:

1. Microserviço produtor → Kafka → Microserviço consumidor
2. Processamento em tempo real de dados de transações
3. Persistência em banco de dados
4. Monitoramento, métricas e segurança implementadas
5. Apresentação final e documentação técnica

Entrega: Código-fonte, relatório técnico e demonstração prática.