Visão Geral

Este curso ensina, de forma prática e direta, como utilizar Kafka Connect e Debezium para implementar pipelines de Change Data Capture (CDC) em tempo real. Você aprenderá como capturar alterações de bancos de dados, transmitir eventos para o Apache Kafka e integrá-los com outros sistemas de destino. O curso prepara você para construir pipelines modernos, robustos e altamente escaláveis usados em engenharia de dados e arquiteturas de microservices.

Objetivo

Após realizar este curso, você será capaz de:

• Entender como funciona o CDC na prática
• Configurar e operar o Kafka Connect
• Implementar Debezium para capturar mudanças em diferentes bancos de dados
• Criar pipelines de ingestão confiáveis e tolerantes a falhas
• Integrar dados capturados com sistemas downstream
• Monitorar, ajustar e colocar projetos CDC em produção

Publico Alvo

• Engenheiros de dados
• Desenvolvedores backend
• Arquitetos de soluções
• Profissionais que trabalham com ingestão de dados, ETL/ELT e streaming
• Estudantes que desejam aprender CDC e integração de dados em tempo real

Pre-Requisitos

• Noções de Apache Kafka
• Conhecimento básico de bancos de dados relacionais
• Noções de JSON, logs ou integração de dados
• Familiaridade com ambientes Docker (desejável)

Conteúdo Programatico

Module 1 – Introduction to CDC and Event-Driven Data

1. What is CDC and why it matters
2. Traditional ETL vs CDC
3. Event-driven architectures and data streaming
4. Role of Kafka Connect and Debezium

Module 2 – Kafka Connect Fundamentals

1. Connectors, tasks, workers
2. Source vs sink connectors
3. Distributed vs standalone mode
4. Connector configuration structure

Module 3 – Debezium Fundamentals

1. Debezium architecture
2. Database transaction logs
3. Debezium connectors overview
4. Change events and their structure

Module 4 – Setting Up the Environment

1. Running Kafka + Connect + Debezium with Docker
2. Installing connectors
3. Configuring offsets, tasks, and workers
4. Exploring logs and monitoring startup

Module 5 – Debezium for Relational Databases

1. MySQL connector
2. PostgreSQL connector
3. SQL Server connector
4. Handling schema changes and metadata

Module 6 – Understanding CDC Events

1. Create, update, delete events
2. Before/after states
3. Envelopes and payload structure
4. Debezium event types and topics

Module 7 – Sink Connectors and Downstream Integration

1. File system sinks
2. JDBC sinks
3. ElasticSearch and NoSQL sinks
4. Multi-system fan-out strategies

Module 8 – Schema Management & Serialization

1. JSON vs Avro vs Protobuf
2. Schema Registry integration
3. Schema evolution scenarios
4. Compatibility and versioning

Module 9 – Fault Tolerance and Reliability

1. Rebalancing and task distribution
2. Offset management
3. Handling connector failures
4. Restarting, pausing and resuming connectors

Module 10 – Performance & Scalability

1. Worker scaling strategies
2. Tuning connector tasks
3. Efficient topic partitioning
4. Minimizing latency

Module 11 – Security & Governance

1. Securing connectors
2. Data masking
3. Change history retention
4. GDPR / LGPD considerations

Module 12 – Full End-to-End CDC Pipeline Project

1. Capturing data from a relational database
2. Streaming changes to Kafka
3. Transforming data with SMTs
4. Writing output into a data lake or analytics system
5. Validating consistency end-to-end