Visão Geral

O Curso APIs Kafka Fundamentals oferece uma introdução prática e aprofundada às principais APIs do Apache Kafka, capacitando o participante a compreender, desenvolver e integrar aplicações que se comunicam de forma eficiente e escalável utilizando o Kafka como backbone de mensagens e eventos.
Durante o curso, os alunos aprenderão sobre as APIs Producer, Consumer, Streams e Connect, entendendo seus papéis dentro do ecossistema Kafka, bem como suas melhores práticas de implementação em ambientes corporativos e distribuídos.

Objetivo

Após realizar este Curso APIs Kafka Fundamentals, você será capaz de:

• Compreender a arquitetura e os componentes principais do Apache Kafka.
• Utilizar e implementar as principais APIs do Kafka: Producer, Consumer, Streams e Connect.
• Desenvolver aplicações produtoras e consumidoras de mensagens.
• Criar pipelines de processamento de dados em tempo real usando Kafka Streams.
• Integrar o Kafka com sistemas externos através do Kafka Connect.
• Aplicar boas práticas de desenvolvimento, segurança e desempenho com APIs Kafka.

Publico Alvo

• Desenvolvedores de software que desejam compreender e trabalhar com APIs do Kafka.
• Engenheiros de dados e DevOps que atuam com pipelines de dados e mensageria.
• Arquitetos de soluções que desejam projetar sistemas orientados a eventos.
• Profissionais de integração de sistemas e backend developers.

Pre-Requisitos

• Conhecimentos básicos em programação (Java, Python ou Node.js).
• Noções de mensageria, filas e tópicos.
• Conhecimento introdutório sobre Apache Kafka (conceitos de brokers, tópicos, partições e offsets).

Materiais

Conteúdo Programatico

1. Introdução ao Apache Kafka e suas APIs

1. Visão geral do Apache Kafka e seus casos de uso.
2. Componentes principais: Brokers, Topics, Partitions, Offsets e Clusters.
3. Entendendo as APIs do Kafka: Producer, Consumer, Streams, Connect e AdminClient.
4. Comunicação síncrona e assíncrona no Kafka.

2. Kafka Producer API

1. Estrutura e funcionamento do Producer API.
2. Envio de mensagens para tópicos (síncrono e assíncrono).
3. Serialização e uso de chaves.
4. Configurações de confirmação (acks) e garantia de entrega.
5. Tratamento de erros e callbacks.
6. Prática: Criando um Producer com Java/Python/Node.js.

3. Kafka Consumer API

1. Estrutura e funcionamento do Consumer API.
2. Grupos de consumidores e balanceamento de carga.
3. Leitura e commit de offsets.
4. Estratégias de consumo (poll loop).
5. Tratamento de falhas e reprocessamento.
6. Prática: Desenvolvendo um Consumer resiliente.

4. Kafka Streams API

1. Introdução ao processamento de streams.
2. Conceito de stream e table no Kafka.
3. Topologia de streams, operações stateless e stateful.
4. Joins, Aggregations e Windows.
5. Gerenciamento de estado e fault tolerance.
6. Prática: Construindo uma aplicação de stream processing.

5. Kafka Connect API

1. Visão geral do Kafka Connect e sua importância.
2. Estrutura de conectores (source e sink).
3. Conectores nativos e personalizados.
4. Configuração e execução de um pipeline com Kafka Connect.
5. Monitoramento e escalabilidade.
6. Prática: Integração Kafka com banco de dados e sistemas externos.

6. Kafka AdminClient API

1. Introdução à API de administração.
2. Criação, listagem e exclusão de tópicos via código.
3. Gerenciamento de configurações e quotas.
4. Boas práticas de automação de infraestrutura Kafka.

7. Segurança e Boas Práticas

1. Autenticação e autorização (SASL, ACLs).
2. Criptografia e uso de SSL.
3. Idempotência e entrega garantida.
4. Monitoração e métricas das APIs.
5. Melhores práticas de desempenho e manutenção.

8. Projeto Final Hands-On

1. Desenvolvimento de uma aplicação completa integrando Producer, Consumer e Streams.
2. Implementação de conectores para ingestão e saída de dados.
3. Testes, monitoramento e validação de desempenho.
4. Discussão sobre arquitetura orientada a eventos no mundo real.