Visão Geral

O curso Schema Registry abrange os conceitos, instalação e uso do Confluent Schema Registry e suas implementações para garantir compatibilidade e gerenciamento de esquemas em sistemas que utilizam Kafka para processamento de dados. Os alunos aprenderão a definir e evoluir esquemas de dados para garantir que os produtores e consumidores de mensagens possam comunicar-se com consistência e segurança de dados, facilitando a governança em pipelines de dados.

Objetivo

Após realizar este curso Schema Registry, você será capaz de:

• Configurar e gerenciar o Schema Registry.
• Definir e evoluir esquemas de dados para comunicação entre serviços.
• Implementar e validar a compatibilidade de esquemas em produtores e consumidores.
• Integrar Schema Registry com Kafka para maior governança e segurança de dados.

Publico Alvo

• Engenheiros de dados e desenvolvedores que trabalham com Apache Kafka.
• Profissionais de TI interessados em governança de dados e na construção de sistemas de transmissão de dados confiáveis.
• Desenvolvedores e arquitetos de soluções que precisem garantir a compatibilidade de dados entre microsserviços.

Pre-Requisitos

• Conhecimento básico em Apache Kafka e processamento de mensagens.
• Experiência com linguagens de programação como Java ou Python é vantajosa, mas não obrigatória.
• Familiaridade com conceitos de serialização e deserialização de dados (JSON, Avro, Protobuf).

Materiais

Conteúdo Programatico

Introduction to Schema Registry

1. Overview of Confluent Schema Registry.
2. Benefits and use cases for data transmission systems.
3. How Schema Registry integrates with Apache Kafka.

Installing and Configuring Schema Registry

1. Setting up and configuring Schema Registry.
2. Configuring Schema Registry for local and cloud environments.
3. Basic and advanced operational settings.

Working with Data Schemas

1. Introduction to serialized data types: Avro, JSON, Protobuf.
2. Defining and registering schemas in Schema Registry.
3. Data serialization and deserialization using schemas.

Schema Compatibility

1. Understanding schema compatibility policies.
2. Configuring and applying compatibility rules in Schema Registry.
3. Schema evolution without breaking compatibility between consumers and producers.

Integrating Schema Registry with Kafka

1. How Schema Registry communicates with Kafka.
2. Configuring Kafka producers and consumers to use schemas.
3. Data validation and compatibility error handling.

Governance and Security in Schema Registry

1. Managing schema versions and history.
2. Access control and permissions in Schema Registry.
3. Best practices for governance and data quality control.

Schema Registry APIs

1. Introduction to Schema Registry REST APIs.
2. Automating schema registration and validation via API.
3. Practical examples of API use in real applications.

Monitoring and Troubleshooting

1. Monitoring Schema Registry performance and logs.
2. Troubleshooting common compatibility and integration issues.
3. Tools and metrics for optimizing performance.

Real Case Study: Implementing Schema Registry in a Project

1. Defining and registering schemas for a Kafka application.
2. Schema evolution with changing requirements.
3. Publishing and consuming messages with schema validation.