Visão Geral

O Curso Kafka Schema Registry and Avro foi desenvolvido para profissionais que desejam dominar a serialização de dados e o gerenciamento de esquemas em ambientes Apache Kafka.
Durante o treinamento, os participantes aprenderão a trabalhar com o Confluent Schema Registry, utilizar o formato Avro para troca eficiente de mensagens e garantir a compatibilidade e integridade dos dados entre produtores e consumidores.
O curso combina conceitos teóricos, exemplos práticos e laboratórios reais, permitindo ao aluno construir pipelines de dados consistentes e evolutivos.

Objetivo

Ao concluir o curso Kafka Schema Registry and Avro, o participante será capaz de:

• Compreender os conceitos de serialização e compatibilidade de esquemas no Kafka.
• Criar e gerenciar schemas Avro utilizando o Confluent Schema Registry.
• Configurar produtores e consumidores para publicar e ler mensagens serializadas.
• Garantir compatibilidade de dados entre diferentes versões de aplicações.
• Utilizar Avro, JSON Schema e Protobuf em pipelines Kafka.
• Aplicar boas práticas de versionamento e governança de dados em ambientes distribuídos.

Publico Alvo

• Engenheiros de dados, desenvolvedores e arquitetos de software que utilizam o Kafka em sistemas distribuídos.
• Profissionais de integração e analytics que trabalham com múltiplos formatos de dados.
• Administradores de sistemas e DevOps responsáveis por manter ambientes Kafka e Schema Registry.

Pre-Requisitos

• Conhecimento básico de Apache Kafka (tópicos, produtores e consumidores).
• Familiaridade com conceitos de serialização de dados (JSON, CSV, etc.).
• Experiência com Docker e linha de comando Linux (desejável).
• Noções de programação em Java ou Python.

Informações Gerais

Metodologia:

• Curso ao vivo e online, via Microsoft Teams.
• Ministrado por instrutor/consultor especializado em Kafka e engenharia de dados.
• Aulas teóricas e práticas, com laboratórios em Docker e scripts prontos.
• Ambiente individual configurado para cada aluno.
• Exemplos práticos e exercícios em cada módulo.
• Fornecimento de material digital e código-fonte de exemplo.

Materiais

Conteúdo Programatico

Module 1: Introduction to Schema Management

1. Why schema management is critical in data streaming
2. Common serialization formats: JSON, Avro, Protobuf
3. Overview of Confluent Schema Registry
4. Schema evolution and compatibility types

Module 2: Understanding Avro

1. What is Apache Avro and how it works
2. Avro data structure: schema, record, field types
3. Binary serialization vs. JSON serialization
4. Advantages of Avro in Kafka pipelines

Module 3: Working with Confluent Schema Registry

1. Schema Registry architecture and components
2. Schema subjects and versioning
3. Registering, retrieving, and deleting schemas
4. Using Schema Registry REST API

Module 4: Producing and Consuming Avro Messages

1. Configuring Avro producers and consumers
2. Schema-aware serialization and deserialization
3. Error handling and fallback strategies
4. Hands-on: building a producer/consumer app using Avro

Module 5: Schema Compatibility and Evolution

1. Compatibility modes: backward, forward, full, none
2. Managing schema evolution and version control
3. Handling schema breaking changes
4. Best practices for maintaining data compatibility

Module 6: Advanced Topics and Integrations

1. Working with Protobuf and JSON Schema
2. Integrating Schema Registry with Kafka Connect
3. Using Avro in stream processing (Kafka Streams, ksqlDB)
4. Monitoring and securing Schema Registry

Module 7: Hands-On Project

Project: Build a complete Kafka data pipeline using Avro and Schema Registry to serialize, store, evolve, and consume data across multiple applications with backward and forward compatibility.