Visão Geral

Este curso apresenta de forma prática como trabalhar com o Apache Kafka em conjunto com o Confluent Schema Registry para criar pipelines de dados confiáveis, escaláveis e interoperáveis. O aluno aprenderá desde os fundamentos de mensageria com Kafka até a definição, versionamento e validação de esquemas de dados usando Avro, JSON Schema e Protobuf.

Objetivo

Após realizar este Curso Kafka e Schema Registry, você será capaz de:

• Compreender os conceitos fundamentais do Apache Kafka.
• Criar e gerenciar tópicos, produtores e consumidores.
• Integrar aplicações ao Schema Registry.
• Definir, registrar e versionar esquemas com Avro, JSON Schema e Protobuf.
• Garantir compatibilidade de dados entre serviços distribuídos.
• Aplicar boas práticas para pipelines confiáveis e resilientes.

Publico Alvo

• Desenvolvedores que trabalham com sistemas distribuídos e mensageria.
• Engenheiros de dados que desejam padronizar formatos de dados em pipelines.
• Arquitetos de software que buscam interoperabilidade em microsserviços.
• Administradores que gerenciam ambientes Kafka e desejam aplicar boas práticas.

Pre-Requisitos

• Conhecimentos básicos de sistemas distribuídos.
• Noções de programação em qualquer linguagem (Java, Python, Node.js).
• Familiaridade com conceitos de mensageria (desejável).

Materiais

Conteúdo Programatico

Introdução ao Apache Kafka

1. O que é Kafka e principais casos de uso
2. Arquitetura: Brokers, Topics, Producers, Consumers
3. Instalação e configuração básica do Kafka
4. Criando e consumindo mensagens

Conceitos Fundamentais do Kafka

1. Partições e réplicas
2. Grupos de consumidores e paralelismo
3. Retenção e offsets
4. Produção e consumo de mensagens em diferentes linguagens

Introdução ao Schema Registry

1. O problema da evolução de esquemas de dados
2. O que é o Confluent Schema Registry
3. Arquitetura e funcionamento do Schema Registry
4. Integração com o Apache Kafka

Trabalhando com Avro, JSON Schema e Protobuf

1. Criando e registrando esquemas no Registry
2. Serialização e desserialização com Avro
3. Suporte a JSON Schema e Protobuf
4. Diferenças e casos de uso de cada formato

Compatibilidade de Esquemas

1. Tipos de compatibilidade: Backward, Forward, Full
2. Evolução de esquemas sem quebrar consumidores

3. Exemplo prático de atualização de esquemas em produção

Integração de Aplicações com Schema Registry

1. Produtores e consumidores com Avro
2. Uso de clientes em Java, Python e Node.js
3. Configuração de serializers e deserializers
4. Debug e validação de mensagens

Monitoramento e Boas Práticas

1. Monitorando tópicos e esquemas
2. Lidando com erros de compatibilidade
3. Estratégias para versionamento de dados
4. Melhores práticas em ambientes distribuídos

Projeto Final

1. Criação de uma pipeline completa com Kafka + Schema Registry:
2. Definição e registro de esquemas
3. Produção e consumo de mensagens com Avro
4. Evolução de esquema com compatibilidade garantida
5. Deploy em Docker Compose ou Kubernetes